اختبار A / B لا يكفي

اختبار A / B لا يكفي

هناك رأي مشترك بأن اختبار A / B هو أداة عالمية نصف آلية تساعد دائمًا على زيادة التحويل والولاء و UX. ومع ذلك ، فإن سوء تفسير النتائج أو أخذ العينات بطريقة خاطئة يؤدي إلى فقدان جمهور مخلص وانخفاض الهامش. لماذا؟ ويستند A / B على الافتراض الأساسي أن هذه العينة متجانسة وتمثيلية ، وقابلية تطوير النتائج. في الواقع ، الجمهور غير متجانس - أذكر توزيع "20/80" للدخل. عدم التجانس يعني أن حساسية A / B تختلف اختلافا كبيرا داخل العينة.

تجميع المجموعات هو تأثير حقيقي (القاعدة ، وليس الاستثناء وفقًا لـ Pareto) ، مما يعني وجود مجموعات مختلفة من العملاء النفسيين في مجموعة واحدة. تقييم فاصل الثقة التحويل يتضمن التوحيد. لذلك ، يعني انتهاك هذه المعايير أن دقة النتائج لا تُقاس. النتيجة دون دقة هي القمامة. يتفاعل كل ملف تعريف نفسي فريد مع حساسية مختلفة للحملة أو الميزة. نحن نفترض أن الملف الشخصي هو مجموعة فريدة من الميزات. من أجل البساطة ، يمكن النظر في مجموعتي التشكيل الجانبي X و Y. قد تتقاطع بعض ملامح العديد من الملفات الشخصية - تحب صديقتك القهوة والشوكولاته أيضًا. دعونا نوضح هذا التأثير في شكل ثلاثة طبولوجيا:



بشكل افتراضي ، نفترض أننا نغطي جميع القطاعات دفعة واحدة - الحالة الأولى والثالثة والثالثة تتضمن سيناريوهات غير تافهة. النظر في سيناريو نموذجي للحالة الثانية. زاد التحويل بشكل كبير - تظهر مجموعة Y رد فعل إيجابي ، بينما أعطى X رد فعل سلبي وتغيير NPS سلبي. مجموعة Y أكبر في العينة العشوائية بدون أوزان ، وبالتالي فإن التأثير التراكمي إيجابي. زاد التحويل مرتين. الآن تخيل أن معدل التحقق من X أعلى 10 مرات وتراجع تحويل الجزء X بمقدار النصف. أخيرًا: زيادة التحويل وفقدان الجمهور وتراجع الأرباح. تتفاقم المشكلة بسبب الحيل البديهية. في بعض الأحيان ، تختبر نماذج السيارات الفرضية في الجزء X (الحالة الثالثة) وتحاول التعميم على الاتحاد (X + Y). ما هو الخطأ؟ تقنية أخذ العينات لا تأخذ بعين الاعتبار تجزئة. الحلول؟

• الطريق رقم 1 . قم بتجميع الجمهور باستخدام الوسائل k أو نماذج ML الأخرى أو تحليل RFM. تحتاج إلى معرفة hyperparameter - عدد المجموعات كمدخل. تعريفه ليس تافها. الخطوة التالية هي تحديد التحويل الفردي للجزء. إضفاء الطابع الشخصي على الحملة - تقديم البرنامج النصي A أو B ، حسب ملف التعريف.
  
• الطريق رقم 2 . قياس الهامش A / B. تذكر أن الهامش هو نتاج التحويل ، وحركة المرور ، ومتوسط ​​السعر. يمكن إصلاح المعلمتين الأخيرتين عن طريق تحديد فئة منفصلة من البضائع واختيار فترة مرور موحدة - معلمات بطيئة. قد تزيد من حرية قياس حركة المرور (كل يوم اثنين لمدة شهر) لتقليل المكون العشوائي.
  
• الطريق رقم 3 . تحليل الاستقرار. يتم استخدام أخذ العينات مع الاستبدال في هذه الحالة. تعتبر جميع القطاعات. يتم زيادة حجم العينة تدريجيا. يعطي تسجيل الدخول تمثيل حجم عينة نائب التحويل ميل الانحدار (عامل Hurst). أنه يوفر فهم التوحيد واستعادة الكلور.
  

ولكن. بغض النظر عن المسار الذي تختاره ، سيتغير الجمهور بتردد أعلى. هذا يعني أن اختبار A / B هو تجربة متكررة بانتظام. تجربة يجب أن يشرف عليها محلل متمرس على الرغم من وجود عدد كبير من الحلول الآلية التجارية. لا تنس أن جميع الطرز خاطئة ، لكن بعضها مفيد مؤقتًا ... في ظل ظروف معينة.

مخصص لأبي الذي علمني أن الحدس لا يقل أهمية عن الرياضيات