در زیر مطلبی که برای چهارمین سالگرد متمم نوشته بودم، در میان حرف‌ها و لطف‌های دوستان عزیزم، محمدصادق اسلمی سوالی را مطرح کرده بود که آن را اینجا نقل می‌کنم:
رفتار ما در صفحه نمایش‌های مختلف چگونه است؟
چه تفاوت‌هایی بین رفتار کسانی که با لپ‌تاپ، تبلت، موبایل وارد سایت می‌شن وجود داره؟
از لحاظ وقتی که می‌ذارن، دقتشون توی خوندن مطالب، حل کردن تمرین، زمان و شاخص‌های دیگه‌ای که می‌تونه وجود داشته باشه
میدونم جواب به این سوال خودش می‌تونه چند صد صفحه باشه و مطمنا وقت تو هم اجازه چنین‌کاری رو نمیده. اما قطعا شواهد ارزشمندی داری که می‌تونی در موردش حرف بزنی، حتی در حد چند خط، خیلی کنجکاوم بدونم چه تفاوت‌های رفتاری وجود داره در صفحه نمایش‌های مختلف ( مخصوصا برای یک شخص، یعنی کسی که یه بار با گوشی وارد شده یه بار با لپ‌تاپ)
اما جواب و توضیحات من:
محمدصادق جان.
اول اینکه خودت هم به دقت و به درستی اشاره کردی که چنین گزارشی اگر به شکل دقیق بخواد تنظیم و ارائه بشه زمان بسیاری می‌بره.
ما خودمون هم گزارش جامع به این شکل که مثلاً ۱۰۰ صفحه تنظیم کنیم نداریم. علت اصلیش هم اینه که بهمون کمک نمی‌کنه. عملاً بیشتر داده‌هایی که جمع‌آوری میشه مربوط به تست A/B هست (که البته هر هفته سه یا چهار مورد داریم) و دقیقاً هم پارامترهایی که مد نظر اون تست هست سنجیده میشه.
مثلاً در حالت عادی کاری نداریم که کی کجا چقدر کامنت می‌ذاره. اما چند وقت پیش می‌خواستیم Style در کامنت‌ها بذاریم (که بچه‌ها بتونن حرف‌هاشون رو بولد کنن یا لینک بدن) و طبیعتاً اینجا برامون مهمه که رفتار بچه‌ها چه تغییری می‌کنه. آیا کسانی هستند که قبلاً فقط روی لپ‌تاپ کامنت می‌ذاشتن و الان از موبایل هم استفاده کنند؟ آیا کسانی بوده‌اند که از موبایل استفاده کنند و متممی خاموش باشند، اما بعد از اضافه شدن استایل، میل بیشتری به مشارکت پیدا کنن.
بنابراین، اگر اعداد و ارقامی هست عموماً (و البته نه همیشه) به واسطه‌ی سنجش تغییر رفتار کاربران گردآوری می‌کنیم. چون اگر این کار رو نکنیم، همون‌طور که همیشه گفته‌ام، باید بر اساس ۵۰ – ۱۰۰ تا ایمیل تشکر یا نقد راجع به درست بودن یا نادرست بودن تصمیم‌هامون قضاوت کنیم و قطعاً در دنیای دیجیتال در مقیاس‌های بزرگ، نظر ۵۰ یا ۱۰۰ نفر، چیزی بیشتر از سلیقه نیست و نباید به عنوان نماینده‌ی افکار کل متممی‌ها در نظر گرفته بشه.
این شامل خود من هم میشه. بارها به بچه‌ها می‌گم: این تغییر یا اون تغییر رو ایجاد کنیم، مطمئنم که متممی‌ها لذت می‌برن. بعد که اجرا میشه می‌بینم که من و شاید ۴ – ۵ درصد دیگه از متممی‌ها خوشحالیم و رفتار ۹۵ درصد نشون میده که کاملاً ناراضی هستند.
چون در حرف‌هات به درس‌های تقویت مهارت خواندن انگلیسی اشاره کرده بودی شاید مثال خوب همین باشه. ما قبلاً این درس رو به شکلی گذاشته بودیم که با هر بار سر زدن، محتوای درس تغییر می‌کرد و بهش یه بخش‌هایی اضافه میشد. حس خود من این بود که خیلی کار عجیب و جالب و مفیدیه. اما بررسی رفتار متممی‌ها نشون داد که این روش نه تنها حس خوبی بهشون نداده، بلکه اصلاً حال‌شون رو بد کرده. در حدی که لج می‌کردن هر چیزی که مربوط به زبان میشد (حتی معرفی یک صفت ساده) رو رد می‌کردند. شاید به عنوان فرد، خود بچه‌ها حس نکرده باشن، اما در مقیاس انبوه من هرگز نمونه‌ای از این حد نارضایتی و لج کردن رو ندیده بودم توی بچه‌ها (و این نشون میده که ایده‌ی من چقدر احمقانه بوده). داستان پول هم نمونه‌ی دیگه‌ی همین اشتباه من بود که به نوعی شبیه همین ماجرا شد و الان آدم شدیم، مثل بچه‌های خوب؛ درس به درس منتشرش می‌کنیم.
بگذریم. همه‌ی حرفم این بود که ما مجموعه‌ی متنوعی از آمارها و فکت‌ها رو داریم، اما ایجاد ارتباط بین اونها و تحلیل‌شون کار متفاوتیه.
اما به هر حال، چند مورد رو که احساس می‌کنم شاید برات جالب باشه اینجا در قالب چند نکته می‌گم. این اعداد و ارقام که می‌بینی بر اساس بررسی ۵۱۰ هزار بازدید از متمم استخراج شده.
جاهایی که A می‌ذارم یعنی همه‌ی بازدیدکنندگان (متممی + بازدیدکنندگانی که مرتب سر می‌زنند اما ثبت نام نکرده‌اند + کسانی که با سرچ به متمم رسیده‌اند) و جاهایی که LI می‌ذارم یعنی یوزر لاگین کرده (متممی‌ها). اعشار بعد از ممیز رو هم حذف کردم. چون در حد یه گزارش کلی حس کردم لازم نیست و حواس‌مون رو پرت می‌کنه.
- کسانی که متمم رو روی (دسکتاپ + تبلت) می‌خونن، ۱۵۵٪ بیشتر از کسانی که روی موبایل متمم می‌خونن برای خوندن یک مطلب یکسان وقت می‌گذارن (A)
- بین کسانی که روی دسکتاپ وقت می‌ذارن، مشخصاً کسانی که از فایرفاکس استفاده می‌کنن ۳۸٪ بیشتر از کسانی که از سایر مرورگرها استفاده می‌کنند، برای خوندن یک درس یکسان وقت می‌ذارن (L)
- کسانی که روی آیفون مطلبی رو می‌خونن حدود ۳۴٪ کمتر از کسانی که روی اندروید همون مطلب رو می‌خونن وقت می‌ذارن (L).
- ۵۱٪ بازدیدهای متمم روی موبایل، ۴۶٪ روی دسکتاپ و ۳٪ روی تبلت هست (A)
- در بین خوانندگان خاموش متمم (ثبت نام کرده، حداقل هفته‌ای یک بار سر می‌زنه، اما کامنت نمی‌ذاره) ترکیب استفاده از صفحه نمایش اینطوریه: ۴۰٪ موبایل و ۵۵٪ دسکتاپ و ۵٪ تبلت
- در بین خوانندگانی که کامنت می‌گذارن (حتی اگر یک‌بار کامنت‌گذاشته باشن توی این گروه هستن) ترکیب صفحه نمایش اینه: ۲۸٪ موبایل، ۶۸٪ دسکتاپ و ۴٪ تبلت
- متممی‌هایی که هم از موبایل استفاده می‌کنن و هم از دسکتاپ، مدت زمان یک Session حضورشون در متمم روی موبایل حدود ۴۰٪ بیشتر از مدت زمان حضورشون روی دسکتاپ هست و البته عمقِ کلیک (Click depth) این دوستان روی موبایل ۱۷۵٪ بیشتره. به عبارتی از موبایل برای گردش بین درس‌های متمم استفاده می‌کنن یا شاید کلیک‌های پراکنده (L)
- تفاوتی که بین کامنت‌های دسکتاپ و موبایل وجود داره بیشتر در طول کامنت هست. متوسط کامنت‌هایی که روی موبایل ثبت می‌شن بر اساس تعداد کاراکتر حدود ۶۵٪ کوتاه‌تر هستند.
- راجع به اینکه اگر خود تو مثلاً روی دسکتاپ باشی یا روی موبایل، تمایل به کامنت‌گذاری (به قول این فعالان استراتژی محتوا: Propensity to Participate) چقدر تغییر می‌کنه، عدد دقیق ندارم. چون در مقیاس بزرگ کنترل نکردیم تا حالا. اما این رو می‌دونیم که Correlation منفی هست بین عمق کلیک و احتمال کامنت‌گذاری در یک Session خاص. یعنی اگر هیچ اطلاعات دیگری نداشته باشیم و بدونیم دو دسته متممی کامنت‌گذار داریم که عمق کلیک یک گروهشون مثلاً ۲٫۴ بوده و گروه دوم ۴٫۱ میشه با اطمینان نسبتاً بالایی گفت گروه اول تعداد کامنت بیشتری گذاشتن. توضیحی براش ندارم. جز اینکه احتمالاً وقتی کسی درس می‌خونه و متمم گردی می‌کنه و می‌خواد تمرین حل کنه. میره و بعداً سر حوصله میاد میشینه اون درس رو باز می‌کنه و می‌نویسه و عملاً خیلی وقت‌ها یه Session جدید شکل می‌گیره.
البته این رو هم بگم که این اطلاعات، همون‌اندازه که می‌تونه مفید یا جالب باشه، ممکنه بدون در نظر گرفتن اطلاعات دیگه گمراه‌کننده هم باشه. مثلاً ما در موبایل و دسکتاپ، عملاً دو تم مختلف داریم. بنابراین، عمق کلیک رو راحت نمیشه مقایسه کرد.
به خاطر همین گفتم که ما جز در تست A/B، در استفاده و تحلیل این داده‌ها خیلی حساس هستیم و سعی می‌کنیم تحلیل‌های عجیب و غریب بر اساس‌شون انجام ندیم.
سلام محمدرضا جان
بابت لطفی که کردی و وقتی که گذاشتی واقعا ازت ممنونم، باید اعتراف کنم که جزئیات بیش از حد انتظار من بود.
علاقه من به اعداد و ارقام و اطلاعات اینچنینی انقدر زیاده که وقتی یه پست توی وبلاگم منتشر می‌کنم با این که به زحمت ۳۰ تا ۴۰ بازدید میخوره ولی وقتی ساعت از دوازده می‌گذره و آمار گوگل آپدیت میشه. حدود یک ساعت، به آمار به دست اومده از رفتار مخاطبان نگاه می‌کنم. این که از چه مرورگری استفاده کردن، چند دقیقه موندن، بعدش کجا رفتن، چند نفر بیش از پنج دقیقه در سایت موندن و.. اگر چه بعدش هیچ اقدامی برای تغییر در این رفتار انجام نمیدم اما از دیدن این اطلاعات واقعا لذت می‌برم و تحلیل‌هایی هم (هر چند مسخره ) انجام میدم.
در مورد آموزش زبان هم خود من یکی از همون افرادی بودم که با اون شیوه نتونستم ارتباط برقرار کنم. دو سه باری تلاش کردم اما واقعا برام جالب نبود. اما شیوه‌ی جدید رو واقعا دوس دارم.
توی آمارهای بالا نکته‌ای که خیلی برام جالب بود و البته باعث تعجبم هم شد اینه که مدت زمان یک Session کسانی که با گوشی لاگین می‌کنند ( متممی‌ها) ۴۰٪ بیشتر از دسکتاپه، اگر چه این مربوط به متممی‌هاست و ممکنه قابل تعمیم به کل نباشه ولی برام علامت سواله، شاید علت همون باشه که گفتی و عمق کلیک ها و رفتن به صفحه‌های جدید، باعث میشه زمان ماند مخاطب افزایش پیدا کنه. شاید هم علتش قابل حمل‌تر بودن موبایله، مثلا خود من از اونجایی که کلا با لپ‌تاپ وارد متمم می‌شم وقتی قراره جایی برم(مکانمو عوض کنم) از متمم خارج می‌شم و بعد دوباره وارد می‌شم و این باعث میشه یه دوره‌ی جدید شروع بشه اما اگه گوشی دستم بود اونو با خودم می‌بردم.
به نظر من (البته با نیم نگاهی به اطلاعات بالا) مخاطب بیشتر برای متمم‌گردی از صفحات کوچکتر (موبایل) و برای متمم‌خوانی از صفحات بزرگتر (دسکتاپ) استفاده می‌کنه.
باز هم از لطفت سپاسگزارم
محمدرضای عزیز.
یه موردی در این گزارش بود که برای من جالب بود. اینکه گفتید در مورد خوندن درس‌های زبان انگلیسی که به شکل پویا بود، نوعی لجبازی در رفتار بچه‌ها مشاهده کردید.
راستش اون شکل از ارائه‌ی محتوا برای من خیلی جالب بود. خیلی خوب یادم میاد وقتی که متمم ارائه‌ی شکل پویای محتوا رو اعلام کرد، چقدر استقبال کردم و خوشحال شدم.
یادم میاد حتی توی مدتی که به مسافرت رفته بودم هم باز حتی اگه به درس‌های عادی سر نمی‌زدنم و اونها رو نمی‌خوندم ولی حتماً درس‌های زبان رو نگاه می‌کردم و می‌خوندم.
البته اگه راستش رو بخواهید وقتی هم که دیدم همون سری از درس‌ها به شکل یکجا اخیراً منتشر شده، این دفعه من لجبازی کردم و روی اون درس‌ها کلیک نکردم 😉
حتی وقتی دیدم درس‌های تاریخچه‌ی پول همون مطالبی هستن که قبلاً توی پیام اختصاصی اونها رو خوندم، تا الان وقت نذاشتم بخونم‌شون (البته این مورد از سر تنبلی بود و نه لجبازی).
در کل برخلاف این رفتارِ شخصیِ من که احتمالاً جزء آمارها و فکت‌های پرت متمم به حساب میاد، باعث خوشحالیه که کیفیت و محتوای درس‌های متمم همیشه با دقت بالا و براساس تأمین نیاز‌ها و رضایت حداکثر اعضاء تهیه میشه.