در زیر مطلبی که برای چهارمین سالگرد متمم نوشته بودم، در میان حرفها و لطفهای دوستان عزیزم، محمدصادق اسلمی سوالی را مطرح کرده بود که آن را اینجا نقل میکنم:
رفتار ما در صفحه نمایشهای مختلف چگونه است؟
چه تفاوتهایی بین رفتار کسانی که با لپتاپ، تبلت، موبایل وارد سایت میشن وجود داره؟
از لحاظ وقتی که میذارن، دقتشون توی خوندن مطالب، حل کردن تمرین، زمان و شاخصهای دیگهای که میتونه وجود داشته باشه
میدونم جواب به این سوال خودش میتونه چند صد صفحه باشه و مطمنا وقت تو هم اجازه چنینکاری رو نمیده. اما قطعا شواهد ارزشمندی داری که میتونی در موردش حرف بزنی، حتی در حد چند خط، خیلی کنجکاوم بدونم چه تفاوتهای رفتاری وجود داره در صفحه نمایشهای مختلف ( مخصوصا برای یک شخص، یعنی کسی که یه بار با گوشی وارد شده یه بار با لپتاپ)
اما جواب و توضیحات من:
محمدصادق جان.
اول اینکه خودت هم به دقت و به درستی اشاره کردی که چنین گزارشی اگر به شکل دقیق بخواد تنظیم و ارائه بشه زمان بسیاری میبره.
ما خودمون هم گزارش جامع به این شکل که مثلاً ۱۰۰ صفحه تنظیم کنیم نداریم. علت اصلیش هم اینه که بهمون کمک نمیکنه. عملاً بیشتر دادههایی که جمعآوری میشه مربوط به تست A/B هست (که البته هر هفته سه یا چهار مورد داریم) و دقیقاً هم پارامترهایی که مد نظر اون تست هست سنجیده میشه.
مثلاً در حالت عادی کاری نداریم که کی کجا چقدر کامنت میذاره. اما چند وقت پیش میخواستیم Style در کامنتها بذاریم (که بچهها بتونن حرفهاشون رو بولد کنن یا لینک بدن) و طبیعتاً اینجا برامون مهمه که رفتار بچهها چه تغییری میکنه. آیا کسانی هستند که قبلاً فقط روی لپتاپ کامنت میذاشتن و الان از موبایل هم استفاده کنند؟ آیا کسانی بودهاند که از موبایل استفاده کنند و متممی خاموش باشند، اما بعد از اضافه شدن استایل، میل بیشتری به مشارکت پیدا کنن.
بنابراین، اگر اعداد و ارقامی هست عموماً (و البته نه همیشه) به واسطهی سنجش تغییر رفتار کاربران گردآوری میکنیم. چون اگر این کار رو نکنیم، همونطور که همیشه گفتهام، باید بر اساس ۵۰ – ۱۰۰ تا ایمیل تشکر یا نقد راجع به درست بودن یا نادرست بودن تصمیمهامون قضاوت کنیم و قطعاً در دنیای دیجیتال در مقیاسهای بزرگ، نظر ۵۰ یا ۱۰۰ نفر، چیزی بیشتر از سلیقه نیست و نباید به عنوان نمایندهی افکار کل متممیها در نظر گرفته بشه.
این شامل خود من هم میشه. بارها به بچهها میگم: این تغییر یا اون تغییر رو ایجاد کنیم، مطمئنم که متممیها لذت میبرن. بعد که اجرا میشه میبینم که من و شاید ۴ – ۵ درصد دیگه از متممیها خوشحالیم و رفتار ۹۵ درصد نشون میده که کاملاً ناراضی هستند.
چون در حرفهات به درسهای تقویت مهارت خواندن انگلیسی اشاره کرده بودی شاید مثال خوب همین باشه. ما قبلاً این درس رو به شکلی گذاشته بودیم که با هر بار سر زدن، محتوای درس تغییر میکرد و بهش یه بخشهایی اضافه میشد. حس خود من این بود که خیلی کار عجیب و جالب و مفیدیه. اما بررسی رفتار متممیها نشون داد که این روش نه تنها حس خوبی بهشون نداده، بلکه اصلاً حالشون رو بد کرده. در حدی که لج میکردن هر چیزی که مربوط به زبان میشد (حتی معرفی یک صفت ساده) رو رد میکردند. شاید به عنوان فرد، خود بچهها حس نکرده باشن، اما در مقیاس انبوه من هرگز نمونهای از این حد نارضایتی و لج کردن رو ندیده بودم توی بچهها (و این نشون میده که ایدهی من چقدر احمقانه بوده). داستان پول هم نمونهی دیگهی همین اشتباه من بود که به نوعی شبیه همین ماجرا شد و الان آدم شدیم، مثل بچههای خوب؛ درس به درس منتشرش میکنیم.
بگذریم. همهی حرفم این بود که ما مجموعهی متنوعی از آمارها و فکتها رو داریم، اما ایجاد ارتباط بین اونها و تحلیلشون کار متفاوتیه.
اما به هر حال، چند مورد رو که احساس میکنم شاید برات جالب باشه اینجا در قالب چند نکته میگم. این اعداد و ارقام که میبینی بر اساس بررسی ۵۱۰ هزار بازدید از متمم استخراج شده.
جاهایی که A میذارم یعنی همهی بازدیدکنندگان (متممی + بازدیدکنندگانی که مرتب سر میزنند اما ثبت نام نکردهاند + کسانی که با سرچ به متمم رسیدهاند) و جاهایی که LI میذارم یعنی یوزر لاگین کرده (متممیها). اعشار بعد از ممیز رو هم حذف کردم. چون در حد یه گزارش کلی حس کردم لازم نیست و حواسمون رو پرت میکنه.
- کسانی که متمم رو روی (دسکتاپ + تبلت) میخونن، ۱۵۵٪ بیشتر از کسانی که روی موبایل متمم میخونن برای خوندن یک مطلب یکسان وقت میگذارن (A)
- بین کسانی که روی دسکتاپ وقت میذارن، مشخصاً کسانی که از فایرفاکس استفاده میکنن ۳۸٪ بیشتر از کسانی که از سایر مرورگرها استفاده میکنند، برای خوندن یک درس یکسان وقت میذارن (L)
- کسانی که روی آیفون مطلبی رو میخونن حدود ۳۴٪ کمتر از کسانی که روی اندروید همون مطلب رو میخونن وقت میذارن (L).
- ۵۱٪ بازدیدهای متمم روی موبایل، ۴۶٪ روی دسکتاپ و ۳٪ روی تبلت هست (A)
- در بین خوانندگان خاموش متمم (ثبت نام کرده، حداقل هفتهای یک بار سر میزنه، اما کامنت نمیذاره) ترکیب استفاده از صفحه نمایش اینطوریه: ۴۰٪ موبایل و ۵۵٪ دسکتاپ و ۵٪ تبلت
- در بین خوانندگانی که کامنت میگذارن (حتی اگر یکبار کامنتگذاشته باشن توی این گروه هستن) ترکیب صفحه نمایش اینه: ۲۸٪ موبایل، ۶۸٪ دسکتاپ و ۴٪ تبلت
- متممیهایی که هم از موبایل استفاده میکنن و هم از دسکتاپ، مدت زمان یک Session حضورشون در متمم روی موبایل حدود ۴۰٪ بیشتر از مدت زمان حضورشون روی دسکتاپ هست و البته عمقِ کلیک (Click depth) این دوستان روی موبایل ۱۷۵٪ بیشتره. به عبارتی از موبایل برای گردش بین درسهای متمم استفاده میکنن یا شاید کلیکهای پراکنده (L)
- تفاوتی که بین کامنتهای دسکتاپ و موبایل وجود داره بیشتر در طول کامنت هست. متوسط کامنتهایی که روی موبایل ثبت میشن بر اساس تعداد کاراکتر حدود ۶۵٪ کوتاهتر هستند.
- راجع به اینکه اگر خود تو مثلاً روی دسکتاپ باشی یا روی موبایل، تمایل به کامنتگذاری (به قول این فعالان استراتژی محتوا: Propensity to Participate) چقدر تغییر میکنه، عدد دقیق ندارم. چون در مقیاس بزرگ کنترل نکردیم تا حالا. اما این رو میدونیم که Correlation منفی هست بین عمق کلیک و احتمال کامنتگذاری در یک Session خاص. یعنی اگر هیچ اطلاعات دیگری نداشته باشیم و بدونیم دو دسته متممی کامنتگذار داریم که عمق کلیک یک گروهشون مثلاً 2.4 بوده و گروه دوم 4.1 میشه با اطمینان نسبتاً بالایی گفت گروه اول تعداد کامنت بیشتری گذاشتن. توضیحی براش ندارم. جز اینکه احتمالاً وقتی کسی درس میخونه و متمم گردی میکنه و میخواد تمرین حل کنه. میره و بعداً سر حوصله میاد میشینه اون درس رو باز میکنه و مینویسه و عملاً خیلی وقتها یه Session جدید شکل میگیره.
البته این رو هم بگم که این اطلاعات، هموناندازه که میتونه مفید یا جالب باشه، ممکنه بدون در نظر گرفتن اطلاعات دیگه گمراهکننده هم باشه. مثلاً ما در موبایل و دسکتاپ، عملاً دو تم مختلف داریم. بنابراین، عمق کلیک رو راحت نمیشه مقایسه کرد.
به خاطر همین گفتم که ما جز در تست A/B، در استفاده و تحلیل این دادهها خیلی حساس هستیم و سعی میکنیم تحلیلهای عجیب و غریب بر اساسشون انجام ندیم.