اختبار البيع بالتجزئة أ / ب دون اتصال بالإنترنت

هذه قصة حقيقية. وقعت الأحداث التي تم وصفها في هذا المنصب في بلد دافئ واحد في القرن الحادي والعشرين. فقط في حالة ، تم تغيير أسماء الشخصيات. احتراما لهذه المهنة ، كل شيء يقال كما كان حقا.

مرحباً هابر. في هذا المنشور ، سنتحدث عن اختبار A / B سيئ السمعة ، للأسف ، حتى في القرن الحادي والعشرين ، لا يمكن تجنبه. كانت خيارات الاختبار البديلة موجودة وازدهرت عبر الإنترنت لفترة طويلة ، في حين أن الخيارات غير المتصلة بالإنترنت يجب أن تتكيف وفقًا للحالة. سنتحدث عن أحد هذه التعديلات في البيع بالتجزئة الشامل بلا اتصال بالإنترنت ، لتتبيل تجربة العمل مع مكتب استشاري واحد ، بشكل عام ، تحت القطط.

التحدي

في الماضي ، عملت في مشروع واحد في شركة كبيرة تمتلك شبكة من متاجر البقالة ، أكثر من 500 متجر. أخشى أنه لا ينبغي لي أن أسمي الشركة ، وسوف نطلق على هذه المنظمة اسم الشركة. خلاصة القول هي أن المخازن ذات أحجام مختلفة ، يمكن أن تختلف في حجم عشرات المرات ؛ يمكن أن تكون المتاجر في مدن وقرى وقرى مختلفة ؛ يمكن أن تكون المتاجر في مناطق مختلفة من المدينة مع التركيبة السكانية الخاصة بها. هنا ، بشكل عام ، أميل إلى حقيقة أنه إذا كنت بحاجة إلى اختبار أي فرضية ، فعندئذ في نموذج اختبار A / B ، يكاد يكون من المستحيل القيام بذلك دون التسبب في ضرر كبير للأعمال. دعونا نفكر في هذا الأمر كله مع مثال البيرة. بمجرد أن يأتي المكتب الاستشاري إلى الشركة ، كما تعلمون ، فإنهم من أعلى المستويات ويقولون: "لكنك تعرف ، عزيزي ، لديك بيرة هنا ليست من العلامات التجارية الصحيحة في النوافذ ، وعمومًا ليس بالترتيب الذي تحتاجه ، أرسل إلينا زوجين من Kamaz gold وسنخبرك بالعلامات التجارية التي تحتاجها وكيفية طيها ، وفقًا لتقديراتنا ، سيجلب لك هذا مليار دولار كندي في السنة الأولى بعد الإصدار التجريبي ". المكتب محترم ، لذلك لا شك في وجود مليار. أيضا ، لا يمكن التشكيك في أساليب المكتب ، لأنها لا تكذب. ليس نحن فقط. بشكل عام ، يأتي مؤلف هذه السطور مع مهمة النموذج "حسنًا ، انظر هناك كيف يفعلون الطيار ، ساعدهم إذا كانوا بحاجة إلى أي شيء."

بعد الاستماع إلى محاضرة قصيرة حول كيفية عمل منهجهم لتوليد عرض البضائع على نافذة العرض ، اختفت تمامًا الرغبة في الدخول في تفاصيل الخوارزمية. قررت التركيز على قياس الجودة ، وهو الأمر الأكثر إثارة للاهتمام من وجهة نظر النظرية. كما يسمح للشركة بعدم الاستثمار في المشاريع غير المربحة عمدا. من خلال الوصول إلى الأكوان المتوازية ، سيكون من الممكن إجراء اختبار A / B ، حيث يسير كل شيء في الكون A كما كان من قبل ، وفي الكون B ، تغير تخطيط البضائع. اختبار A / B هو نوع من التجارب التي يتم التحكم فيها حيث يتم تقسيم المستخدمين عشوائيًا إلى مجموعات تحكم واختبار. يتم إجراء تدخل في مجموعة الاختبار ، وينتظر لفترة معينة ، ويتم قياس تأثير هذا التدخل على المؤشرات المستهدفة ، وأخيرًا تتم مقارنة مؤشرات المجموعتين. سيكون من المرغوب فيه تقليل التحيز بين مجموعات التحكم والمجموعات التجريبية بالنسبة لبعضها البعض. على سبيل المثال ، بحيث لا يوجد شيء من هذا القبيل في المجموعة أ يوجد مدن فقط ، وفي المجموعة ب فقط القرى. مع المواقع ، يبدو أن مشكلة الإزاحة يتم حلها بسهولة: إظهار المستخدمين برقم تعريف واحد ، ومع معرف فردي إصدار آخر من الموقع. في حالة وجود سلسلة من المتاجر ، كل شيء ليس بهذه البساطة ، بغض النظر عن كيفية كسر المستخدمين أو المتاجر ، يتبين دائمًا أن المجموعتين A و B ليستا متشابهتين. تأتي المجموعة "أ" إلى المتجر خلال النهار ، و "ب" في المساء. بمحاذاة الوقت ، اتضح أن A يأتي في عطلات نهاية الأسبوع أكثر من B. محاذاة جميع هذه التفاصيل ، اتضح أنه للحصول على نتائج مهمة إحصائيًا ، سيتعين عليك الانتظار نصف عام وإلغاء جميع شركات التسويق. إذا ضربت المدن ، اتضح أن موسكو موجودة في مجموعة واحدة وتغيب في مجموعة أخرى. بشكل عام ، هناك دائمًا تحول في مجموعة واحدة مقارنة بأخرى. يتم فرض العديد من الحملات التسويقية العالمية والمحلية ، والعطلات والظروف غير المتوقعة في شكل إصلاح وقوف السيارات على هذا.

تتذكر أن المكتب من أعلى المكاتب العالمية ، وبطبيعة الحال لديه حل لمشكلة الاختبار. النظر في منهجيتها ، مع اسم تسويقي صاخب - منهجية الفرق الثلاثي.

منهجية الفرق الثلاثي

إن جوهر منهجية الفرق الثلاثي هو البساطة. ولكي لا تجهد قمم الشركة عند الاستماع إلى العرض التقديمي ، سيتم إجراء هذا العرض التقديمي من قبل سيدة لا تبدو سيئة. يتم تحقيق البساطة من خلال تخفيف قيود اختبار أ / ب. الصعوبة الوحيدة التي تبقى على مسار المكتب هي اختيار مجموعة التحكم والاختبار ، لكننا سنحذف هذا الجزء من العملية ، حيث لا يوجد شيء مثير للاهتمام باستثناء مجموعة كبيرة من الافتراضات المريبة. لذلك ، نتيجة لتحليل شامل لسلسلة المتاجر الحالية ، يختار المكتب اثنين: واحد لمجموعة التحكم (أخضر) والآخر لمجموعة اختبار (أزرق).

نقدم الترميز التالي:

• $$$t_2$ : تاريخ البدء التجريبي ؛
• $$$t_3$ : تاريخ الانتهاء التجريبي ؛
• $$$t_0 = t_2 - $ one_year$ : التاريخ المقابل لتاريخ بدء الطيار العام الماضي ؛
• $$$t_1 = t_3 - one_year$ : التاريخ المقابل للسنة الأخيرة من الإصدار التجريبي.

وبالتالي ، لدينا فترتان زمنيتان:

• $$$\ يسار [t_2، t_3 \ right]$ : فترة التجربة (فترة التجربة) ؛
• $$$\ يسار [t_0 ، t_1 \ يمين]$ : الفترة المناظرة لفترة الطيار العام الماضي.

يقترح مقارنة دخل مخزن الاختبار وفترة التحكم لفترات التجريبية وقبل عام. للقيام بذلك ، تحتاج إلى حساب ثلاث مجموعات من الاختلافات. تشير إلى المبيعات في اليوم الواحد $$$t$ في مخزن الاختبار لـ $$$x ^ T_t$ و $$$x ^ C_t$ - في التحكم. تحدد المجموعة الأولى خط الأساس الذي سيتم من خلاله قياس نمو أو انخفاض المبيعات في الفترة التجريبية:

• $$$\ delta ^ T_1 = x ^ T_ {t_2} - x ^ T_ {t_0}$ : الفرق في المبيعات بين بداية الإصدار التجريبي والتاريخ نفسه قبل عام في المتجر التجريبي ؛
• $$$\ delta ^ T_2 = x ^ T_ {t_3} - x ^ T_ {t_1}$ : الفرق في المبيعات بين نهاية الإصدار التجريبي والتاريخ نفسه قبل عام في متجر الاختبار ؛
• $$$\ delta ^ C_1 = x ^ C_ {t_2} - x ^ C_ {t_0}$ : الفرق في المبيعات بين بداية الإصدار التجريبي والتاريخ نفسه قبل عام في متجر التحكم ؛
• $$$\ delta ^ C_2 = x ^ C_ {t_3} - x ^ C_ {t_1}$ : الفرق في المبيعات بين نهاية الإصدار التجريبي والتاريخ نفسه قبل عام في متجر التحكم.

المجموعة الثانية من الاختلافات تحدد النمو أو الانخفاض في المبيعات في الفترة التجريبية:

• $$$\ delta ^ T = \ delta ^ T_2 - \ delta ^ T_1$ : الفرق في المبيعات بين نهاية الإصدار التجريبي وبداية الإصدار التجريبي في مخزن الاختبار (المعدل حسب التواريخ قبل عام) ؛
• $$$\ delta ^ C = \ delta ^ C_2 - \ delta ^ C_1$ : الفرق في المبيعات بين نهاية الإصدار التجريبي وبداية الإصدار التجريبي في متجر التحكم (المعدل حسب التواريخ قبل عام).

وأخيرًا ، يحدد الفرق الحاسم أي متجر يعمل بشكل أفضل في الفترة التجريبية:

• $$$\ delta = \ delta ^ T - \ delta ^ C$

حسنًا ، قرار تنفيذ مشروع بتكلفة KAMAZ Gold بسيط للغاية إذا $$$\ delta> 0$ - هذا يعني أن المتجر التجريبي باع المزيد من الجعة ، وبالتالي تعمل منهجية المكتب وتعطي تأثيرًا إيجابيًا ، وبالتالي يجب تقديمه. هذا كل شيء.

اختبار A / B مع خط القاعدة ML

بعد دراسة منهجية الفرق الثلاثي ووجدت أن السلطات قد وافقت بالفعل على طريقة القياس هذه وبدأ الطيار في التخطيط ، ضربتني يدي بشكل مؤلم في وجهي. اتضح لنا أن المكتب يعرض علينا استثمار KAMAZ gold في المشروع ، حتى لو لم تنجح المنهجية ، وكان الفرق في المبيعات 1 روبل ، عن طريق الصدفة. كان من الملح تطوير شيء يمنح على الأقل بعض الثقة في فعالية الطريقة الجديدة لوضع البيرة على الرف. كما تتذكر ، فإن إحدى طرق إجراء اختبار A / B الصادق في وضع عدم الاتصال هي وجود الأكوان المتوازية ، ثم في طريقة واحدة يمكننا تقديم منهجية حساب البيرة ، في الثانية نترك كل شيء كما هو ، ننتظر بعض الوقت ونقارن النتائج. ولكن ماذا لو قمنا بمحاكاة الأكوان الموازية مع التعلم الآلي؟

افترض أن لدينا سلسلة زمنية من المبيعات اليومية لكل متجر. يقسم الخط الرمادي الداكن الفترات قبل الإصدار التجريبي وبعده . المنطقة الواقعة بين الخط الرمادي الصلب والخط الرمادي المتقطع هي فترة تكيف المشترين مع مزيج المنتجات الجديد والعلامات التجارية الجديدة ، خلال هذه الفترة ، لا تؤثر بيانات المبيعات على نتيجة الاختبار ويتم تجاهلها ببساطة. اللون الأحمر الخالص هو البيع الحقيقي لأي متجر في الفترة التي سبقت الإصدار التجريبي. على الجانب الأيمن يوجد مزيج من مخازن الاختبار والتحكم. الخط المتقطع الأخضر هو توقعات مبيعات أي متجر ، وذلك باستخدام البيانات المتاحة فقط في الفترة قبل بدء الإصدار التجريبي.

• الخط الأحمر هو المبيعات الحقيقية لمتجر التحكم في الفترة التي تلت إطلاق الطيار. بالنسبة للمخازن من المجموعة الضابطة ، في الفترة التي تلي بدء الإصدار التجريبي ، نلاحظ فقط توقعات المبيعات (الخضراء المتقطعة) والمبيعات الحقيقية (الحمراء المتقطعة).
• الأزرق الخالص هو المبيعات الحقيقية للمخزن من مجموعة الاختبار في الفترة بعد إطلاق الإصدار التجريبي. في متاجر الاختبار ، نلاحظ فقط توقعات المبيعات (الخضراء المتقطعة) والمبيعات الحقيقية (الزرقاء الصلبة).

الخط الأخضر المتقطع هو الخط الأساسي في التعلم الآلي.

إذا كان الطيار ناجحًا ، أي نظرًا لأن تدخل الاختبار في شكل تشكيلة محدثة وتخطيط جديد له تأثير إيجابي على المبيعات اليومية ، فإن المبيعات الحقيقية في متاجر الاختبار (الزرقاء الصلبة) ستكون أعلى في المتوسط من المبيعات الحقيقية في متاجر التحكم (الأحمر المتقطع).

دعونا نرى ما يعنيه في المتوسط. لهذا يجب علينا افتراض واحد ، نفترض أن الأخطاء المتوقعة للنموذج لها توزيع طبيعي:

$$

$$\ Large \ epsilon_i \ sim \ mathcal {N} \ left (0، \ sigma ^ 2 \ right)$$

دعنا نضيف افتراضًا أكثر جرأة ، دعنا نقول أن المبيعات في الفئة التي نحن مهتمون بها اليوم تعتمد بشكل خطي على المبيعات في الفئات ذات الصلة اليوم والمبيعات في الفئة التي نهتم بها بالأمس وفي الماضي القريب ، ويمكننا أيضًا أن ننسب بيانات تعريف المتجر المختلفة إلى هذا لأخذ التحيز بعين الاعتبار في الخصائص الديمغرافية والسمات الأخرى.

$$

$$\ Large y_i = \ vec {w} ^ T \ vec {x} _i + \ epsilon_i$$

اتضح أنه نموذج مألوف للغاية. تجدر الإشارة إلى أن اختيار النموذج ليس مهمًا بشكل خاص هنا ، فمن المهم أن يكون للأخطاء توزيع طبيعي ، أو آخر معروف ، من أجل إجراء اختبار إحصائي لمساواة القيم المتوسطة. مع هذه العبارات عن المشكلة ، يمكن للمرء دائمًا إجراء اختبار الحياة الطبيعية في مرحلة بناء النموذج ، وعلى أي نماذج تقريبًا سيكون التوزيع طبيعيًا ، وفقًا لإصدار الاختبار المعياري ، يتم التحقق منه.

لذا ، كنموذج تنبؤي ، استخدمت الانحدار الخطي ، على الرغم من أن هذا ليس شرطًا إلزاميًا ، وقد استرشدت ببساطة النموذج وقابليته للتفسير. تجدر الإشارة إلى أن النموذج تنبئي ، لكني سأصفه بأنه توضيحي. نظرًا لأننا لا نتنبأ بالمستقبل ، ولكننا نستخدم المبيعات من الفئات ذات الصلة في نفس اليوم ، وهو في الأساس عنصر محفز. بدلاً من ذلك ، نحن نحاول شرح مبيعات البيرة اليوم عن طريق المبيعات في المتجر ككل. هذا يخلق مشكلة جديدة بالنسبة لنا - من الضروري اختيار الميزات المستخدمة في النموذج بعناية. يمكن تقسيم الميزات المتعلقة بفئات المنتجات ذات الصلة إلى ثلاث مجموعات:

• مجموعة من السلع التي تهمنا (بيرة خفيفة ، بيرة داكنة ، صفر بيرة ، كفاس ، ربما حتى حوت أصفر) ، تشكل بعض هذه العلامات المتغير المستهدف ، وبعضها مستبعد تمامًا من النموذج ؛
• مجموعات السلع التي ترتبط على الأرجح إلى حد ما بالمجموعة المستهدفة ، على سبيل المثال ، قصة الأكورديون التي تقول إن مبيعات الحفاضات والبيرة لها معامل ارتباط إيجابي مرتفع ؛
• مجموعات المنتجات ، والتي بالتأكيد ليس لها علاقة كبيرة بالمجموعات المستهدفة ، هذه طريقة تسوية حتى قبل بناء النموذج ، وسيكون هناك إغراء كبير لإضافة كل شيء إلى المجموعة الثانية ، في حالة حدوث ذلك.

كمتغيرات توضيحية ، نضيف خصائص من المجموعة الثانية إلى النموذج. الفكرة هي أننا نفترض أن التغيرات في المبيعات في المجموعة الثانية ككل لها تأثير كبير على المجموعة الأولى ، والتغيرات في المبيعات في المجموعة الأولى ليس لها تأثير خاص على المجموعة الثانية (الثانية أكبر بكثير وأكثر تنوعًا).

كان السؤال الشائع خلال عرض الطريقة هو: ماذا لو كان هناك إصلاح لوقوف السيارات في متجر الاختبار / التحكم ، فسوف ينكسر الاختبار؟ الجواب لا. سوف تؤثر مواقف السيارات على مبيعات المتجر ككل ، وليس على وجه التحديد البيرة ، ومبيعات البيرة في بلدنا تعتمد على المبيعات في فئات أخرى ، وبالتالي سيتم إنفاقها مع الجميع. يمكنك إجراء اثنين من المحاكاة بشكل مقنع على retrodat.

من الجدير بالذكر أيضًا أننا لا نختبر الحساب بالطريقة A مقابل الحساب بالطريقة B ، ولكننا نختبر السلوك الجديد ضد القديم . وهذا يعني أنه لا يجب على المتاجر والمجموعة ككل إلغاء أي حملات تسويقية مخططة تم استخدامها سابقًا. على سبيل المثال ، إذا قمت بتخفيض سعر الجعة القوية مرتين خلال الأشهر الستة الماضية ، في الأسابيع الزوجية ، استمر في القيام بذلك ، إذا توقفت عن فعل ذلك ، فسيكون السلوك مختلفًا. الامتناع فقط عن إجراء تجارب جديدة في متاجر مختارة.

مرحلة بناء النموذج لا يمكن الاستغناء عنها أيضًا. قد تتضمن مجموعات الاختبار والتحكم متاجر مختلفة تمامًا ، وتتمثل مهمة نموذجنا في محاذاة جميع المخازن ، بحيث يتم تركيز خطأ عشوائي عشوائي في أي متجر عند صفر (أو تعويض متساوٍ من صفر). في البداية ، توقعت أنه سيتعين علي فرز جميع أنواع المعايير الفائقة عند التحقق حتى يتم الحصول على النتيجة المرجوة. ولكن اتضح أنه مع مجموعة كافية من الميزات ، يتم تحقيق ذلك في المرة الأولى ، وهو أمر مثير للاهتمام ، كما أن تباين الخطأ العشوائي لم يختلف كثيرًا من متجر لآخر. من المحتمل أن يكون هذا أحد نقاط الضعف في الطريقة ، حيث لا يوجد ضمان بالوفاء بهذه الشروط. لم تقدم مراجعة الأدبيات أيضًا أي نتائج ، يبدو أن الكثير من الناس يستخدمون خط الأساس في التعلم الآلي ، ولكن لا يوجد أي شيء حول الضمانات النظرية في أي مكان. بشكل عام ، بعد كل عمليات الاحتيال هذه ، نحصل على نموذج يتم تدريبه على جميع البيانات بالكامل ، ويمكننا عمل توقعات مبيعات يومية لأي متجر محدد . ونحن لسنا قلقين بشكل خاص بشأن الدقة ، ولكن فقط إذا كان توزيع الخطأ لجميع المتاجر متحيزًا بشكل متساوٍ (أكثر متعة بالطبع ، إن لم يكن متحيزًا بالنسبة للصفر). وحقيقة أن التباين يمكن أن يكون كبيرًا ، فإن ذلك سيؤثر فقط على حجم مجموعة البيانات المطلوبة للأهمية الإحصائية لنتائج الاختبار (مما يعني أنه نظرًا لدلالة إحصائية مسبقة وقوة إحصائية للاختبار ، فإن عدد المشاهدات. يتطلب الحصول على هذه النتائج اعتمادًا على التباين )

دعنا نعود إلى الرسم البياني أعلاه بخطوط حمراء وخضراء وزرقاء ، وأخيرًا نقدم مفهوم متوسط أعلى أو أدنى. بالنسبة لمخازن التحكم ، يمكننا طرح المبيعات اليومية الفعلية (الخط الأحمر المتقطع) المبيعات اليومية التي يتنبأ بها النموذج (الخط الأخضر المتقطع). ونتيجة لذلك ، نحصل على توزيع طبيعي للأخطاء يتمركز عند الصفر ، لذلك لم يتغير شيء فيها وسيتزامن النموذج في المتوسط ​​مع الواقع. بالنسبة للمتاجر من مجموعة الاختبار ، نطرح أيضًا من المبيعات اليومية الحقيقية (الخط الأزرق الصلب) ، ومبيعات نماذج المبيعات اليومية (الخضراء المتقطعة) ، كما نحصل على توزيع طبيعي. ثم إذا لم يتغير شيء ، فسيكون المركز في مكان ما حول الصفر ؛ إذا تحسنت المبيعات ، فسيتم تحويلها إلى اليمين ؛ إذا ساءت ، ثم إلى اليسار. هكذا تبدو على البيانات المحاكية.

وهنا نجد أنفسنا في ظروف الاختبار الإحصائي المعتاد لمساواة متوسط ​​توزيعين ، ولا شيء يمنعنا من إجراء هذا الاختبار. بالنسبة لاختبار Stat ، نحتاج إلى معرفة ما يلي:

• $$$\ alpha$ و $$$\ بيتا$ : اختر نفسك ، أو إذا كنت محظوظًا ومثقفًا يجلس الناس في التسويق ، فإننا نختار معهم ؛
• التشتت: مأخوذ من retrodat.
• المصعد: مطلوب لاختبار ليس فقط المساواة ، ولكن نمو المبيعات في مجموعة الاختبار لا يقل عن مبلغ معين من الدولارات الكندية المشروطة ؛ لا نريد تنفيذ مشروع يستحق الذهب الكاماز ، ولكن حتى يكون فعالا من حيث التكلفة ولا يدفع ثمن نفسه في مائة عام ، نحن لا نبني جسرا إلى شبه جزيرة القرم.

ستكون هذه البيانات كافية لحساب عدد الأيام المطلوبة للتجربة. مكافأة أخرى لهذا النهج هو قابلية التوسع. في حالتنا ، أعطى الاختبار 60 يومًا ، أي نحتاج إلى ملاحظات لمدة 60 يومًا للاختبار وملاحظات لمدة 60 يومًا للمجموعة الضابطة للحصول على نتائج اختبار ذات دلالة إحصائية. يمكننا اختيار متجر واحد في كل مجموعة وننتظر شهرين ، أو اثنين في كل مجموعة وننتظر شهرًا واحدًا ، وهكذا. بطبيعة الحال ، تعتمد ميزانية التجربة على إضافة متاجر جديدة إلى مجموعة الاختبار ، ولكن هذه هي مهمتك كيفية اختيار هذا التوازن. أوصي بدراسة هذه المواد لفهم منهجية حساب العدد المطلوب من الملاحظات.

بيانات حقيقية

النظر في صورتين مع مبيعات حقيقية ، تم تدريب النموذج على عدة سنوات من البيع الرجعي. المتجر رقم واحد:

والمخزن الثاني:

كما ترون ، كل شيء جيد جدًا في العين . ستلاحظ بسهولة الأنماط الأسبوعية ، بالإضافة إلى حدوث شيء واضح مؤخرًا في أحد المتاجر ، وقد تغيرت الديناميكيات. إذا نظرت عن كثب ، يمكنك أن ترى أن النموذج في كلا المخزنين يرتكب خطأً كبيرًا عدة مرات. في هذه الحالة ، هناك خياران:

• , , ;
• , ; , ; , , , , , .

:

يبدو بخير . للإقناع ، يمكنك إجراء اختبار للحياة الطبيعية ، والتأكد من أن كل شيء على ما يرام . إذا أسفر بعض الاختبارات عن نتائج غير طبيعية ، فقم إما بالتسجيل أو التراجع إلى نقطة اختيار الميزة. في هذه الحالة ، لا نحتاج إلى إعادة تشغيل الإصدار التجريبي ، ولكن فقط أعد بناء النموذج وأعد الأرقام (لذلك قد تفكر مسبقًا في تضمين أيام تجريبية أكثر قليلاً في فترة الاختبار من الإصدار الأول من النموذج). في حالتنا ، كان كل شيء كما ينبغي.

بعد ذلك ، نقوم بدمج جميع مخازن مجموعة الاختبار في مجموعة واحدة وجميع مخازن التحكم في مجموعة واحدة ، حتى نتمكن من القيام بذلك ، لذلك افترضنا أعلاه أن خطأ النموذج متحيز بشكل متساوٍ لأي متجر. نحصل على توزيعين ونقوم باختبار ستات.

كما كنت قد خمنت ، وفقًا لشكوكي في البداية ، لم يكن للمنهجية الفريدة الجديدة لعرض المنتجات واختيار العلامة التجارية تأثيرًا مهمًا إحصائيًا على المبيعات. كان هذا ، من حيث المبدأ ، متوقعًا ، حيث رأيت منهجية اختيار العلامات التجارية الجديدة وطريقة عرضها. أخشى أنه لا يمكنني التحدث عن هذه التقنيات الفريدة ، لكن أحد المصورين الذين ذهبوا إلى المنافسين لالتقاط صورة لنافذة متجر مع بيرة تم استلامها ... تم طرده بوقاحة من المبنى.

الخلاصة

— ? , , 1-2 . - , — . , , , , . :

• ;
• $$$d_2$ , ;
• $$$d_1$ .

, - , . $$$d_2$ , , , , $$$d_2$ . $$$d_1 + d_2$ , , , , .

لكن ماذا حدث للطيار؟ وكل شيء على ما يرام ، إنه قادم ومزدهر ، ينتظرون مليار مقابل الذهب الممنوح لكماز. كانت إحدى المهام الأخيرة في المشروع مجرد تنفيذ منهجية اختبار الترقيات ، ولكن عندما غادرت المشروع ، أعاد المكتب المحترم بسرعة اختبار تشابه الفرق الثلاثي. ربما نفس المصير الذي أصاب هذا الاختبار ، لكنني لست على علم بذلك.

بالمناسبة ، يتم تنفيذه الآن بنجاح في متجر بيع بالتجزئة آخر ، يتم اختبار تحسين مجموعة متنوعة ، اقترحه مكتب استشاري آخر ، ولكن ليس هذا المكتب. تلبي النتائج توقعات العميل والمكتب ، ويخطط العميل لتقديم تحسينات متنوعة جديدة بناءً على نتائج مثل هذا الاختبار.