مرحبًا يا هابروفسك. غداً سنطلق الدورة التدريبية "مدير منتجات مشاريع تكنولوجيا المعلومات" . تحسبا لبداية الدورة ، نسارع إلى مشاركة تجربة المعلمين الحاليين معك.
تعتبر اختبارات A / B واحدة من أكثر الأدوات شيوعًا لمدير المنتج ، وقد تم تخصيص
ندوة الويب التالية في OTUS لهذا الموضوع. شارك ثلاثة خبراء فيها مرة واحدة:
سيرجي Koloskov - مدير المنتج في OZON.
ألكساندر بوفاروف - مدير المنتجات في TransferWise.
أندريه ميندي - مالك المنتج في Booking.com.
تحولت المناقشة إلى أن تكون موضوعية وساخنة. ناقشنا:
- في أي الحالات من الأفضل استخدام اختبارات A / B؟
- كيفية تحديد المقاييس وتفسير النتائج بشكل صحيح؟
- كيف يمكن أن أتلف اختبارات A / B؟
- ما يمكن أن يكون بدائل لاختبارات A / B؟
- ما هو الأفضل لإجراء الاختبار؟
- حالات fintech ، التجارة الإلكترونية والأسواق.
ومن المثير للاهتمام ، أنهم وافقوا حقًا على حدود تطبيق اختبارات A / B. ولكن دعونا نتحدث عن كل شيء بالترتيب.
ما هي اختبارات A / B؟
اختبار A / B هو طريقة معروفة لأبحاث التسويق. بعبارات بسيطة ، نقسم الجمهور على الموقع إلى بعض المجموعات المتساوية أو غير المتكافئة وننفذ تغييرًا / تحسينًا واحدًا على الموقع ، ونتيجة لذلك نجد أيًا من الصفحات يحل بشكل أكثر فاعلية مهام العمل والمنتج ككل. نحن نتحقق في إطار اختبار واحد لا يزيد عن فرضية واحدة (بحد أقصى اثنين).
مثال حقيقي A / B اختبار ل OZON:
في هذا المثال ، طرحنا زر الشراء بنقرة واحدة لبعض فئات المنتجات. خلال التجربة ، نظروا في المقاييس والأدوات ، واختبروا الفرضية حول ما إذا كان من الأفضل للمستخدمين استخدام البرنامج النصي بنقرة واحدة ، دون "الوقوع" في "السلة" ، أي دون إيماءات غير ضرورية. لم يتم اختيار فئات المنتجات بشكل عشوائي - فقد كانت تتعلق بالمنتجات التي يتم شراؤها في الغالب وفقًا لمنتج واحد فقط.
كقاعدة عامة ، أثناء اختبار A / B ، ننظر إلى
المقاييس ، من بينها:
- التحويلات (حصة الإجراءات الرئيسية) ؛
- المؤشرات المالية (نمو GMV ، الإيرادات ، متوسط الفاتورة) ؛
- المقاييس السلوكية (النقرات والتحولات).
هنا هي لوحة القيادة الحقيقية في OZON للوضوح:
يرجى ملاحظة أنه من الممكن تخصيص
الشرائح ، وهو أمر مهم أيضًا لاختبار A / B ، لأنه يمكننا معرفة الجمهور الذي يتأثر بتحسن معين. لنفترض أن هؤلاء يمكن أن يكونوا مستخدمين من موسكو تتراوح أعمارهم بين 35 و 50 عامًا مع معدل تحقق يزيد عن 2500 روبل وطفل في العائلة.
استخدام اختبارات A / B على Booking.com (Andrey Mende)
وفقًا لأندريه ميندي ، يوجد داخل Booking.com اعتقاد راسخ بأن الشركة حققت نجاحها من خلال الاختبار. يتضمن ذلك اختبارات A / B ، والتي بدونها
لن يتم إجراء أي شيء تقريبًا على Booking.com الآن. عدد الإصدارات المتوفرة في وقت واحد من موقع Booking.com كبير للغاية ، واختبارات A / B مختلفة هنا ، ويتم اختبار كل شيء تقريبًا يرتبط بالمنتج ، ويتم إجراء أي تغييرات فقط بعد اختبارات A / B. بالمناسبة ، ساعد هذا النهج في تجنب الكثير من الهراء.
ولكن هناك جانب آخر للعملة: تشير إحصائيات Booking.com طويلة الأجل إلى أن
90٪ من الفرضيات تفشل وفقًا لنتائج الاختبار . وهذا أمر جيد بالفعل ، لأنه يتيح لك التأكد من نسبة الـ 10٪ المتبقية. ومع ذلك ، يجب ألا تجرب كل الفرضيات في صف واحد ، وأن تلعب في نوع من اليانصيب ، لأنك تقضي الوقت والمال في تطوير واختبار أي فرضية.
دعنا نحلل حالة غريبة: على سبيل المثال ، هناك
بحث في القائمة
والبحث في الخريطة . وفقًا للإحصاءات ، فإن المستخدمين الذين يبحثون عن طريق الخريطة لديهم معدل تحويل أعلى. لاحظ هذا المنتج "الذكي" الذي لم يفشل في الاستفادة منه. لقد بدأ في إرسال الزائرين إلى البطاقات بعدة طرق ، وأحيانًا غدرا. على سبيل المثال ، يأتي المستخدمون من عملية بحث - يجدون أنفسهم على خريطة ، ويقارنون شيئًا ما ، - مرة أخرى ، يتم عرض الزر "إظهار على الخريطة" بشكل مفيد ، وما إلى ذلك. لقد قضى الكثير من الوقت في الابتكار ، لكن
النتيجة كانت صفرًا . وإذا لم يأت المستخدم إلى البطاقات بمبادرة منه ، فلن ينجح شيء.
في كثير من الأحيان ، يزداد الأمر سوءًا ، ولا يتحسن أبدًا . وكل ذلك لأن لدينا مثالًا رائعًا على
اختيار التحيز (أخذ العينات المتحيز):
هنا يمكنك أن تتذكر
القصة الشهيرة عن الطائرات ، والتي عاد بعضها إلى القاعدة ، في حين أن البعض الآخر لم يفعل ذلك. تمت دراسة الثقوب في قضيتهم لفهم المكان الذي يحتاج إلى مزيد من الدروع. نحن نتحدث عن ما يسمى
خطأ الاختيار المنهجي عندما يكون هناك الكثير من البيانات لمجموعة واحدة ("الناجين") وعملياً لا توجد بيانات عن المجموعة الأخرى ("الناجين") ، ونتيجة لذلك يحاول الباحثون البحث عن ميزات مشتركة بين "الناجين" ويتم تجاهلهم أن لا تقل أهمية المعلومات يختبئ بين "الموتى".
الموقف مشابه لنا: لقد درسنا الأشخاص الذين وصلوا إلى مرحلة الحجز على Booking.com عبر البطاقات ، لكننا لم ندرس الأشخاص الذين لم يصلوا إلى هذه المرحلة. نتيجة لذلك ، تم استخلاص استنتاجات خاطئة.
دعنا ننتقل. ما هي الثقافة الفائقة المفيدة التي تلعب فيها اختبارات A / B دورًا مهمًا:
مزايا اختبارات A / B واضحة:
- أولاً ، يتم اختبار الكثير من الأشياء وهناك قاعدة معارف مناسبة. إذا جاءت إليك فكرة "رائعة" ، يمكنك معرفة خلال 15 ثانية أن فكرتك الرائعة قد حدثت بالفعل في أحد المنتجات قبل عامين ، علاوة على ذلك ، فقد نجح في اختبارها وفشلت فشلاً ذريعًا. كيف يمكن للمرء ألا يتذكر الكلاسيكيات:
"استمع إلى ما رشيته الليلة الماضية مع ضوء وامض من مصباح كهربائي:" أتذكر لحظة رائعة ، لقد ظهرت أمامي ، مثل رؤية عابرة ، مثل عبقري من الجمال الخالص. " حقا جيد؟ المواهب؟ وفجرًا فقط ، عندما أضيفت السطور الأخيرة ، تذكرت أن هذه الآية كتبها بالفعل أ. بوشكين. هذه ضربة من جانب الكلاسيكية! هاه؟ "
مقتبسة من Ostap Bender من رواية The Golden Calf، I. Ilf، E. Petrov
- ثانياً ، من المريح العمل في مثل هذه الثقافة ، لأنه لا يوجد تنافس في الآراء تقريبًا. حلول المنتجات ، كما يقولون ، تتبلور ، بما في ذلك من خلال الاختبار. ولا يهم من أنت ، كبير أو أصغر - طالما أنك لا تملك اختبارًا جيدًا ، فلن تقوم بأي تغيير.
- ثالثا ، التعلم الآلي والخوارزميات الآلية الذكية تحظى بشعبية كبيرة الآن. واختبارات التعلم الآلي و A / B هي مجرد مزيج متفجر سيحدد تطوير المنتج في المستقبل القريب جدًا.
نظرة مختلفة على اختبارات A / B من الشركات الناشئة (ألكساندر بوفاروف)
وفقًا لألكسندر بوفاروف ، فإن نجاح Booking.com هو ، بالطبع ، أمر يستحق الثناء. ولكن إذا كنا نتحدث عن اختبارات الجودة ، فستتطلب الكثير من البيانات. لدى Booking.com جمهور كبير وقدرة على تجربة العديد من الأشياء في وقت واحد. إذا كنا نتحدث عن بعض المشاريع المتوسطة الحجم ، فغالبًا ما تكون البيانات وحركة المرور غير كافية في هذه المشروعات. إذا كانت حركة المرور أعلى من السقف ، فهذا ليس حلاً سحريًا ، حيث يمكن للمستخدم الحضور إلى موقعك لحل العديد من حالات المستخدمين ، والتي تتعلق بخصائص المنتج. إذا كان هذا بنكًا للإنترنت ، فحينئذٍ يأتي شخص ما للدفع مقابل الهاتف ، وينظر شخص ما إلى البيان. و هكذا. بالإضافة إلى ذلك ، غالبًا ما تختبر باختبار A / B واحد فقط لإجراء مستخدم واحد.
لتقديم استنتاج موجز ، فإن اختبار A / B له
القيود التالية:
- تتطلب الكثير من البيانات ؛
- مناسب فقط لحالات المستخدم المتجانسة ؛
- ركز على خطوة واحدة (انقر).
النقطة التالية -
اختبار A / B لا يوفر نموًا متعددًا :
- زيادة التحويل من 1 pp (على سبيل المثال ، 1٪ → 2٪) ؛
- حتى بعد 30 تكرارًا لا تنمو بنسبة 1٪ → 31٪ ؛
- من المحتمل أن تتدهور مسارات التحويل المجاورة ؛
- سيتم تحسين التحويل ، ولكن في خطوة واحدة.
إذا كنا نتحدث عن منتج معقد ، ثم اللعب باختبارات A / B ،
فمن المحتمل أن تقوم بتوصيل مسارات التحويل المجاورة ، وقد ينخفض التحويل إليها. المثال الأكثر شيوعًا هو عندما يتم بيع العديد من الميزات على صفحة العرض الترويجي لخدمة كبيرة. تسليط الضوء على واحد ، فإن التحول إلى الآخرين سوف تمر بالتأكيد. ولكن حتى لو سارت الأمور على ما يرام ، فستبدأ بسجل من التفاعل مع مستخدم يستخدم منتجك كل يوم وكل التحويل الذي قمت بتحسينه بطريقة ما لا يؤثر عليه على الإطلاق.
لذلك ، وفقًا لألكسندر بوفاروف ، من الأفضل استخدام مورد مديري المنتجات
لتطوير المنتج عدة مرات . من الناحية المثالية ، يجب أن تبحث عن نقاط نمو المنتج التي ستساعد على النمو بعشرات في المئة.
ما يمكنك توجيه طاقتك إلى:
- تحسين تجربة المستخدم ؛
- خلق قيمة إضافية ؛
- تحسين اقتصاد الوحدة ؛
- البحث عن منتجات جديدة / نماذج الأعمال.
يمكننا القول بثقة أن
ميزة المنتج أفضل بعدة مرات من تحسين الهبوط . على سبيل المثال ، أطلقت
Yandex.Money بطاقات بلاستيكية ملونة ، وهي رائعة جدًا وذات طبقة شفافة واحدة. لقد طرحوا ببساطة ، واستجاب الناس للطلب الكبير ، لأنهم يريدون ببساطة مثل هذه البطاقات لأنفسهم. وليس هناك حاجة لاختبار A / B. أي أن مسار الإنتاج قد نما وأصبح الآن على مستوى أعلى بكثير ، ولم يتغير المنتج نفسه كخدمة مالية على الإطلاق!
نعم ، لن تقدم كل ميزة للبقالة زيادة قدرها عشرات في المئة. من ناحية أخرى ، لن يؤدي أي تحسن في اختبار A / B إلى نمو متعدد.
وأكثر شيء واحد: أن
الجمهور الجديد سيعطي أكثر من تحسن في التحويل . لفهم هذه النقطة بشكل أفضل ، دعنا نعطي مثالاً على حالة حقيقية لـ TransferWise:
في الصورة أعلاه ، نرى طريقة الدفع ، والتي قد يكون لدى مدير المنتجات ذي الخبرة أسئلة. وعلى الأرجح ، سيكون على صواب ، لأنه بمساعدة اختبارات A / B ، من الممكن جعل هذا النموذج أكثر متعة وحتى زيادة التحويل ، على سبيل المثال ، بعد ستة أشهر ، مع العديد من التكرارات.
ومع ذلك ، فقد اتخذت TransferWise طريق البحث عن نقاط نمو المنتج. يوجد أدناه رسم بياني حيث يكون مؤشر MNU ثابتًا - عدد المستخدمين الجدد الذين ينضمون:
ما هو سبب النمو؟ والحقيقة هي أن الشركة تعمل في تحويل الأموال ، ولم يكن هناك أي دعم للمدفوعات عن طريق البطاقات ، ولكن تمت ملاحظة حركة المرور من هناك. بعد إضافة القدرة على دعم الخرائط لهذا البلد ، تلقينا مزيدًا من الأفكار المتعمقة وزادنا من قاعدة مستخدمينا النشطة.
وبقيت طريقة الدفع الأمثل بعيدة عن المثالية . على أي حال ، لن نحقق هذا النمو أبدًا إذا قضينا نصف عام في تحسين طريقة الدفع.
يشير هذا مرة أخرى إلى أنه من المهم بنفس القدر التركيز على
النمو الأساسي للمنتج ، أي على الأشياء التي تغير منتجك وجلب مستخدمين جدد.
هل تحتاج إلى اختبارات A / B أم لا؟
بعد أن تحدث المحاضرون ، حان الوقت لمناقشة حية ، من الأفضل مشاهدتها
مباشرة . سنقوم بتلخيصها على الفور.
ميزات وحدود تطبيق اختبارات A / B:- جمهور كبير (DAU ، MAU) ؛
- لا يوجد أكثر من فرضية واحدة (كحد أقصى) في الاختبار ؛
- نجاح المنتج في 10 ٪ من الاختبارات على مستوى نمو نقطة مئوية واحدة وعدم وجود نتائج في 90 ٪ من الاختبارات ؛
- تأثير محدود على مقاييس مقاييس العمل هذه ؛
- عدم قابلية تطبيق منتجات B2B والتطبيق المحدود لمنتجات fintech (حيث كل نقرة على الحساب).
في الوقت نفسه ، بطبيعة الحال ، يعتبر اختبار الانقسام الإجابة الأكثر شفافية على أي سؤال وفرصة عدم اللجوء إلى الحدس وعدم التفكير للمستخدم. بالإضافة إلى ذلك ، تعد اختبارات A / B صديقًا جيدًا ، حيث يمكنك الحصول على رؤى للمنتجات الحالية من خلالها. وأيضًا ، بفضل اختبار A / B ، تم تحسين مقاييس المنتج و NPS ، لذلك يوصى دائمًا باستخدام الاختبارات إذا كانت غير مكلفة ، وإذا كنا نبحث عن نقاط نمو للمنتجات الحالية.
ومع ذلك ، لا تزال اختبارات A / B تدور حول الحد الأقصى للخروج من نموذج العمل والمنتج الحالي.
وأين تبحث عن نمو المنتج والأعمال (سيرجي كولوسكوف)؟إنه في CustDev ، حيث يقوم بتحليل المنافسين (من خلال نفس شبكة الويب المماثلة) ، وتحليل منتجه (عند تحليل مسارات التحويل الرئيسية والمقاييس ذات الصلة حيث يتم البحث عن الأفكار وتحديد موقعها) ، وتحليلات السوق وتصميم سيناريوهات المستخدم (CJM ، حيث يمكنك رؤية ما يحلو لك ، وما يزعج المستخدم).
على سبيل المثال ، واحدة من القرارات الأنيقة التي اتخذت مرة واحدة في OZON بعد تحليل المنافسين وإجراء جلسات مقابلة وتصميم سيناريوهات المستخدم هي
التجارة في التكنولوجيا . الفكرة ليست جديدة ، ولكنها تعطي نقاطًا جديدة لنمو الأعمال. وفي الحقيقة ، ماذا لو كانت صديقتك تريد iPhone جديدًا ، في حين أن الإصدار السابق ، الذي تم شراؤه ، بالمناسبة ، أيضًا مقابل نقودك التي اكتسبتها بشق الأنفس ، لم تتم تغطيته بعد؟ الحل بسيط - احصل على خصم كبير على iPhone الجديد ، مع إعادة القديم. لهذا ، لا تحتاج حتى إلى مغادرة المنزل:
إن المنتجات التي تعطي نموًا للأعمال هي أساس عمل مدير المنتج. إنه العمل الذي يجلب أموال الشركة إلى أن المنتج يجب أن يكون الأولوية الأولى. يجب دائما أن نتذكر هذا.
ربما في هذه المذكرة الإيجابية والانتهاء. إذا كان الموضوع ممتعًا ،
شاهد الفيديو الكامل . في الوقت نفسه ، سترى حالات إضافية وتفاصيل أخرى.
وأراك في الدورة !