ऑफलाइन ए / बी खुदरा परीक्षण

यह एक वास्तविक कहानी है। पोस्ट में जिन घटनाओं का वर्णन किया गया है, वे 21 वीं शताब्दी में एक गर्म देश में हुई थीं। बस मामले में, पात्रों के नाम बदल दिए गए हैं। पेशे के सम्मान के बाहर, सब कुछ बताया जाता है जैसा कि वास्तव में था।

हाय, हैब्र। इस पोस्ट में हम कुख्यात ए / बी परीक्षण के बारे में बात करेंगे, दुर्भाग्य से, यहां तक ​​कि 21 वीं सदी में भी, इसे टाला नहीं जा सकता। वैकल्पिक परीक्षण के विकल्प लंबे समय से ऑनलाइन मौजूद और विकसित हुए हैं, जबकि ऑफ़लाइन लोगों को स्थिति के अनुसार अनुकूलित करना है। हम सामूहिक ऑफ़लाइन रिटेल में ऐसे ही एक अनुकूलन के बारे में बात करेंगे, जिसमें एक शीर्ष परामर्श कार्यालय के साथ काम करने का अनुभव है, सामान्य तौर पर, बिल्ली के नीचे।

कार्य

अतीत में, मैंने एक बड़ी कंपनी में एक परियोजना पर काम किया, जिसमें किराना स्टोर का एक नेटवर्क है, 500 से अधिक स्टोर हैं। मुझे डर है कि मुझे कंपनी का नाम नहीं देना चाहिए, हम इस संगठन को कंपनी कहेंगे। लब्बोलुआब यह है कि स्टोर विभिन्न आकारों के होते हैं, दसियों बार आकार में भिन्न हो सकते हैं; दुकानें विभिन्न शहरों, गांवों और गांवों में हो सकती हैं; दुकानें शहर के विभिन्न क्षेत्रों में अपने स्वयं के जनसांख्यिकी के साथ हो सकती हैं। यहां, सामान्य तौर पर, मैं इस तथ्य की ओर जाता हूं कि यदि आपको किसी परिकल्पना का परीक्षण करने की आवश्यकता है, तो ए / बी परीक्षण प्रतिमान में व्यवसाय को महत्वपूर्ण नुकसान पहुंचाए बिना ऐसा करना लगभग असंभव है। आइए इस पूरी बात को बीयर के उदाहरण से समझते हैं। एक बार जब परामर्श कार्यालय कंपनी में आता है, तो आप जानते हैं, ये बहुत ऊपर से हैं और कहते हैं: "लेकिन आप जानते हैं, प्रिय, आपके पास यहाँ बीयर है जो खिड़कियों में सही ब्रांडों की नहीं है, और आम तौर पर उस क्रम में नहीं है जिसकी आपको ज़रूरत है, हमें कमज़ गोल्ड का एक जोड़ा भेजें और हम आपको बताएंगे कि आपको किस ब्रांड की आवश्यकता है और हमारे अनुमान के अनुसार उन्हें कैसे मोड़ना है, यह पायलट के बाद पहले वर्ष में आपको एक अरब कनाडाई डॉलर लाएगा। " कार्यालय का सम्मान किया जाता है, इसलिए एक अरब के बारे में कोई संदेह नहीं हो सकता है। इसके अलावा, कार्यालय के तरीकों को प्रश्न में नहीं बुलाया जा सकता है, क्योंकि वे झूठ नहीं बोल सकते। बस हम नहीं। सामान्य तौर पर, इन पंक्तियों का लेखक "अच्छी तरह से कार्य के साथ नीचे आता है, वहां देखो कि वे पायलट कैसे करते हैं, मदद करते हैं कि उन्हें कुछ भी चाहिए।"

एक छोटी खिड़की पर एक व्याख्यान सुनने के बाद कि प्रदर्शन विंडो पर सामानों के प्रदर्शन के लिए उनकी कार्यप्रणाली कैसे काम करती है, एल्गोरिथम के विवरण में जाने की इच्छा पूरी तरह से गायब हो गई। मैंने गुणवत्ता को मापने पर ध्यान केंद्रित करने का फैसला किया, जो सिद्धांत के दृष्टिकोण से बहुत अधिक दिलचस्प है। यह कंपनी को जानबूझकर लाभहीन परियोजनाओं में निवेश नहीं करने की भी अनुमति देता है। समानांतर ब्रह्मांडों तक पहुंच होने के बाद, ए / बी परीक्षण करना संभव होगा, जहां ब्रह्मांड ए में सब कुछ पहले की तरह चल रहा है, और ब्रह्मांड बी में माल का लेआउट बदल गया है। ए / बी परीक्षण एक प्रकार का नियंत्रित प्रयोग है जहां उपयोगकर्ताओं को नियंत्रण और परीक्षण समूहों में यादृच्छिक रूप से विभाजित किया जाता है। परीक्षण समूह में एक हस्तक्षेप किया जाता है, यह एक निश्चित समय के लिए इंतजार करता है, लक्ष्य संकेतकों पर इस तरह के हस्तक्षेप का प्रभाव मापा जाता है, और अंत में दो समूहों के संकेतकों की तुलना की जाती है। एक दूसरे के सापेक्ष नियंत्रण और परीक्षण समूहों के बीच पूर्वाग्रह को कम करना वांछनीय होगा। उदाहरण के लिए, ताकि ऐसी कोई बात न हो कि समूह A में केवल शहर हैं, और समूह B में केवल गाँव हैं। साइटों के साथ ऐसा लगता है कि ऑफसेट का मुद्दा आसानी से हल हो गया है: उपयोगकर्ताओं को एक समान आईडी के एक संस्करण के साथ दिखाएं, और एक विषम आईडी के साथ साइट का दूसरा संस्करण। दुकानों की श्रृंखला के साथ एक स्थिति में, सब कुछ इतना सरल नहीं है, चाहे आप उपयोगकर्ताओं या स्टोरों को कैसे तोड़ें, यह हमेशा पता चलता है कि समूह ए और बी एक जैसे नहीं हैं। वह समूह ए दिन के दौरान दुकान में आता है, और शाम को बी। समय को देखते हुए, यह पता चलता है कि ए बी से अधिक बार सप्ताहांत पर आता है ऐसे सभी विवरणों को संरेखित करते हुए, यह पता चलता है कि सांख्यिकीय रूप से महत्वपूर्ण परिणामों के लिए आपको आधे साल इंतजार करना होगा और सभी विपणन कंपनियों को रद्द करना होगा। यदि आप शहरों से टकराते हैं, तो यह पता चलता है कि मॉस्को एक समूह में मौजूद है और दूसरे में अनुपस्थित है। सामान्य तौर पर, एक समूह में हमेशा दूसरे के सापेक्ष एक बदलाव होता है। पार्किंग की मरम्मत के रूप में विभिन्न वैश्विक और स्थानीय विपणन अभियान, छुट्टियां और अप्रत्याशित परिस्थितियां इस पर आरोपित हैं।

आपको याद है कि कार्यालय दुनिया के शीर्ष कार्यालयों से है, और स्वाभाविक रूप से यह परीक्षण समस्या का समाधान है। उनकी कार्यप्रणाली पर विचार करें, एक जोर से विपणन नाम के साथ - ट्रिपल अंतर पद्धति।

ट्रिपल अंतर पद्धति

ट्रिपल डिफरेंस मेथडोलॉजी का सार सरलता है। और ताकि कंपनी के टॉपर्स प्रस्तुति को सुनते समय तनाव न करें, यह प्रस्तुति खराब उपस्थिति की महिला द्वारा आयोजित की जाएगी। ए / बी टेस्ट की सीमाओं को शिथिल करके सादगी हासिल की जाती है। एकमात्र कठिनाई जो कार्यालय के मार्ग पर बनी हुई है, एक नियंत्रण और परीक्षण समूह का विकल्प है, लेकिन हम इस प्रक्रिया के इस भाग को छोड़ देंगे, क्योंकि संदिग्ध मान्यताओं के एक बड़े सेट के अलावा कुछ भी दिलचस्प नहीं है। इसलिए, दुकानों की मौजूदा श्रृंखला के गहन विश्लेषण के परिणामस्वरूप, कार्यालय दो का चयन करता है: एक नियंत्रण समूह (हरा) के लिए और एक परीक्षण समूह (नीला) के लिए।

हम निम्नलिखित संकेतन प्रस्तुत करते हैं:

• $$$t_2$: पायलट प्रारंभ दिनांक;
• $$$t_3$: पायलट की अंतिम तिथि;
• $$$t_0 = t_2 - one_year$: पायलट द्वारा पिछले वर्ष शुरू की गई तारीख के अनुरूप तारीख;
• $$$t_1 = t_3 - one_year$: पायलट के अंतिम वर्ष के अनुरूप तारीख।

इस प्रकार, हमारे पास दो समय अवधि हैं:

• $$$\ left [t_2, t_3 \ right]$: पायलट की अवधि (प्रयोग की अवधि);
• $$$\ left [t_0, t_1 \ right]$: पिछले वर्ष पायलट की अवधि के अनुरूप अवधि।

यह पायलट की अवधि और एक साल पहले परीक्षण स्टोर की आय और नियंत्रण अवधि की तुलना करने का प्रस्ताव है। ऐसा करने के लिए, आपको मतभेदों के तीन समूहों को गिनने की आवश्यकता है। प्रति दिन बिक्री को अस्वीकार करें $$$टी$के लिए परीक्षण की दुकान में $$$x ^ T_t$, और $$$x ^ C_t$- नियंत्रण में। पहला समूह आधार रेखा निर्धारित करता है जिससे पायलट अवधि में बिक्री में वृद्धि या गिरावट को मापा जाएगा:

• $$$\ डेल्टा ^ T_1 = x ^ T_ {t_2} - x ^ T_ {t_0}$: परीक्षण की दुकान में एक साल पहले पायलट की शुरुआत और एक ही तारीख के बीच बिक्री में अंतर;
• $$$\ डेल्टा ^ T_2 = x ^ T_ {t_3} - x ^ T_ {t_1}$: टेस्ट स्टोर में एक साल पहले पायलट के अंत और एक ही तारीख के बीच बिक्री में अंतर;
• $$$\ डेल्टा ^ C_1 = x ^ C_ {t_2} - x ^ C_ {t_0}$: कंट्रोल स्टोर में एक साल पहले पायलट की शुरुआत और एक ही तारीख के बीच बिक्री में अंतर;
• $$$\ डेल्टा ^ C_2 = x ^ C_ {t_3} - x ^ C_ {t_1}$: पायलट और एक ही तारीख के अंत के बीच बिक्री में अंतर नियंत्रण स्टोर में एक साल पहले।

मतभेदों का दूसरा समूह पायलट अवधि में बिक्री में वृद्धि या गिरावट निर्धारित करता है:

• $$$\ डेल्टा ^ T = \ डेल्टा ^ T_2 - \ डेल्टा ^ T_1$: टेस्ट स्टोर में पायलट के अंत और पायलट की शुरुआत के बीच की बिक्री में अंतर (एक साल पहले की तारीखों के लिए समायोजित);
• $$$\ डेल्टा ^ C = \ डेल्टा ^ C_2 - \ डेल्टा ^ C_1$: कंट्रोल स्टोर में पायलट के अंत और पायलट की शुरुआत के बीच की बिक्री में अंतर (एक साल पहले की तारीखों के लिए समायोजित)।

और अंत में, निर्णायक अंतर यह निर्धारित करता है कि पायलट अवधि में किस स्टोर ने बेहतर काम किया:

• $$$\ डेल्टा = \ डेल्टा ^ टी - \ डेल्टा ^ सी$

ठीक है, कामाज़ सोने की लागत के साथ एक परियोजना को लागू करने का निर्णय बहुत सरल है अगर $$$\ डेल्टा> 0$- इसका मतलब है कि परीक्षण की दुकान अधिक बीयर बेचती है, इसलिए कार्यालय की कार्यप्रणाली काम करती है और सकारात्मक प्रभाव देती है, इसलिए इसे पेश करने की आवश्यकता है। वह सब है।

एमएल बेस लाइन के साथ ए / बी टेस्ट

ट्रिपल अंतर की कार्यप्रणाली का अध्ययन करने और पता चला कि अधिकारियों ने पहले ही इस माप पद्धति को मंजूरी दे दी है और पायलट ने योजना बनाना शुरू कर दिया है, मेरे हाथ ने मुझे चेहरे पर जोर से मारा। यह पता चलता है कि कार्यालय हमें परियोजना में कामाजी सोने का निवेश करने की पेशकश करता है, भले ही कार्यप्रणाली काम न करे, और बिक्री का अंतर कुछ अवसरों से 1 रूबल था। यह कुछ विकसित करने के लिए जरूरी था जो शेल्फ पर बीयर डालने के नए तरीके की प्रभावशीलता में कम से कम कुछ विश्वास दिलाएगा। जैसा कि आपको याद है, एक ईमानदार ए / बी टेस्ट ऑफ़लाइन करने के तरीकों में से एक समानांतर ब्रह्मांडों का अस्तित्व है, तो एक में हम बीयर गणना पद्धति को पेश कर सकते हैं, दूसरे में हम सब कुछ छोड़ देते हैं जैसा कि यह है, थोड़ी देर प्रतीक्षा करें और परिणामों की तुलना करें। लेकिन क्या होगा अगर हम मशीन सीखने के साथ समानांतर ब्रह्मांडों का अनुकरण करते हैं?

मान लीजिए कि हमारे पास प्रत्येक स्टोर के लिए दैनिक बिक्री का एक समय श्रृंखला है। ग्रे ठोस रेखा पायलट से पहले और पायलट के बाद की अवधि को विभाजित करती है। ठोस ग्रे लाइन और धराशायी ग्रे लाइन के बीच का क्षेत्र नए उत्पाद मिश्रण और नए ब्रांडों के अनुकूल खरीदारों की अवधि है, इस अवधि के दौरान, बिक्री डेटा परीक्षण के परिणाम को प्रभावित नहीं करते हैं और बस नजरअंदाज कर दिए जाते हैं। ठोस लाल पायलट से पहले की अवधि में किसी भी दुकान की वास्तविक बिक्री है। दाईं ओर टेस्ट स्टोर्स और कंट्रोल का संयोजन है। हरे रंग की धराशायी रेखा किसी भी दुकान की बिक्री के लिए पूर्वानुमान है, केवल पायलट शुरू होने से पहले की अवधि में उपलब्ध डेटा का उपयोग करके।

• लाल रेखा पायलट के लॉन्च के बाद की अवधि में नियंत्रण स्टोर की वास्तविक बिक्री है। नियंत्रण समूह के स्टोरों के लिए, पायलट शुरू होने के बाद की अवधि में, हम केवल बिक्री पूर्वानुमान (हरा आंतरायिक) और वास्तविक बिक्री (लाल आंतरायिक) का निरीक्षण करते हैं।
• पायलट के लॉन्च के बाद की अवधि में परीक्षण समूह से स्टोर की वास्तविक बिक्री ठोस नीला है। परीक्षण दुकानों में, हम केवल बिक्री पूर्वानुमान (हरा आंतरायिक) और वास्तविक बिक्री (ठोस नीला) का निरीक्षण करते हैं।

हरे धराशायी लाइन मशीन सीखने पर आधार रेखा है।

यदि पायलट सफल था, अर्थात्। चूंकि एक अद्यतन वर्गीकरण के रूप में परीक्षण हस्तक्षेप और एक नए लेआउट का दैनिक बिक्री पर सकारात्मक प्रभाव पड़ता है, टेस्ट स्टोर्स (ठोस नीला) में वास्तविक बिक्री नियंत्रण स्टोर (लाल आंतरायिक) में वास्तविक बिक्री की तुलना में औसत से अधिक होगी।

आइए देखें कि औसत पर इसका क्या अर्थ है। इसके लिए हमें एक धारणा बनानी होगी, हम मानते हैं कि मॉडल की पूर्वानुमान त्रुटियों का एक सामान्य वितरण है:

$$

$$\ बड़े \ epsilon_i \ sim \ mathcal {N} \ left (0, \ sigma ^ 2 सही)$$

आइए हम एक और अधिक बोल्ड धारणा को जोड़ते हैं, हम जिस श्रेणी में रुचि रखते हैं, उसकी बिक्री आज से संबंधित श्रेणियों में बिक्री पर निर्भर करते हैं और जिस श्रेणी में हम कल और हाल के दिनों में रुचि रखते हैं, उसमें बिक्री करते हैं, और हम विभिन्न स्टोर मेटाडेटा को भी ध्यान में रख सकते हैं। जनसांख्यिकी और अन्य विशेषताओं में।

$$

$$\ बड़े y_i = \ vec {w} ^ T \ vec {x} _i + \ epsilon_i$$

यह एक बहुत ही परिचित मॉडल है । यह ध्यान देने योग्य है कि मॉडल का विकल्प यहां विशेष रूप से महत्वपूर्ण नहीं है, यह महत्वपूर्ण है कि औसत मूल्यों की समानता के लिए एक सांख्यिकीय परीक्षण करने के लिए त्रुटियों का एक सामान्य वितरण है, या एक और ज्ञात है। समस्या के ऐसे बयानों के साथ, कोई हमेशा मॉडल निर्माण के चरण में एक सामान्यता परीक्षण कर सकता है, और लगभग किसी भी मॉडल पर वितरण सामान्य होगा, आदर्श परीक्षण के संस्करण के अनुसार , इसकी जाँच की जाती है।

इसलिए, एक पूर्वानुमान मॉडल के रूप में, मैंने रैखिक प्रतिगमन का उपयोग किया, हालांकि यह एक अनिवार्य आवश्यकता नहीं है, और मुझे मॉडल और व्याख्या की सादगी द्वारा निर्देशित किया गया था। यह ध्यान देने योग्य है कि मॉडल भविष्य कहनेवाला है, लेकिन मैं इसे व्याख्यात्मक कहूंगा। चूंकि हम भविष्य की भविष्यवाणी नहीं करते हैं, लेकिन उसी दिन संबंधित श्रेणियों से बिक्री का उपयोग करते हैं, जो अनिवार्य रूप से एक दैनिक है। बल्कि, हम आज समग्र रूप से स्टोर में बिक्री द्वारा बीयर की बिक्री की व्याख्या करने की कोशिश कर रहे हैं। यह हमारे लिए एक नई समस्या पैदा करता है - मॉडल में उपयोग की जाने वाली सुविधाओं का सावधानीपूर्वक चयन करना आवश्यक है। संबंधित उत्पादों की श्रेणियों से संबंधित सुविधाओं को तीन समूहों में विभाजित किया जा सकता है:

• हमें ब्याज की वस्तुओं का एक समूह (प्रकाश बीयर, डार्क बीयर, शून्य बीयर, क्वास, शायद एक पीली व्हेल), इनमें से कुछ संकेत लक्ष्य चर बनाते हैं, और कुछ पूरी तरह से मॉडल से बाहर रखा गया है;
• सामानों के समूह जिनका लक्ष्य समूह के साथ कुछ हद तक संबंध है, उदाहरण के लिए, डायपर और बीयर की बिक्री के लिए एक उच्च सकारात्मक सहसंबंध गुणांक है;
• उत्पाद समूह, जो निश्चित रूप से लक्ष्य समूहों के साथ एक महत्वपूर्ण संबंध नहीं रखते हैं, यह मॉडल बनाने से पहले ही ऐसी नियमितीकरण विधि है, और दूसरे समूह में सब कुछ जोड़ने के लिए एक महान प्रलोभन होगा, बस मामले में।

व्याख्यात्मक चर के रूप में, हम दूसरे समूह से मॉडल में विशेषताओं को जोड़ते हैं। विचार यह है कि हम मानते हैं कि दूसरे समूह में बिक्री में परिवर्तन के रूप में एक पहले पर एक महत्वपूर्ण प्रभाव पड़ता है, और पहले समूह में बिक्री में परिवर्तन का दूसरे पर एक विशेष प्रभाव नहीं होता है (दूसरा बहुत बड़ा और अधिक विविध है)।

विधि की प्रस्तुति के दौरान एक लोकप्रिय सवाल यह था: क्या होगा यदि परीक्षण / नियंत्रण स्टोर में पार्किंग की मरम्मत है, तो परीक्षण टूट जाएगा? जवाब है नहीं। पार्किंग पूरी तरह से स्टोर की बिक्री को प्रभावित करेगी, और विशेष रूप से बीयर नहीं, और हमारे देश में बीयर की बिक्री अन्य श्रेणियों में बिक्री पर निर्भर करती है और, तदनुसार, सभी के साथ मिलकर खर्च किया जाएगा। आप किसी रीति-रिवाज़ पर एक-दो अनुकरण कर सकते हैं।

यह भी ध्यान देने योग्य है कि हम विधि बी द्वारा गणना के खिलाफ विधि ए द्वारा गणना का परीक्षण नहीं करते हैं, लेकिन हम पुराने के खिलाफ नए व्यवहार का परीक्षण करते हैं। इसका मतलब यह है कि स्टोर और एक पूरे के रूप में समूह को पहले से उपयोग किए गए किसी भी योजनाबद्ध विपणन अभियान को रद्द नहीं करना चाहिए। उदाहरण के लिए, यदि आपने पिछले 6 महीनों में मजबूत बीयर की कीमत 2 गुना कम कर दी है, तो सप्ताह में भी ऐसा करना जारी रखें, यदि आप ऐसा करना बंद कर देते हैं, तो व्यवहार अलग होगा। केवल चयनित दुकानों में नए प्रयोग करने से बचना चाहिए।

मॉडल के निर्माण का चरण भी नुकसान के बिना नहीं कर सकता। परीक्षण और नियंत्रण समूहों में पूरी तरह से अलग-अलग स्टोर शामिल हो सकते हैं, और हमारे मॉडल का कार्य सभी दुकानों को संरेखित करना है, ताकि किसी भी दुकान के लिए, एक यादृच्छिक पूर्वानुमान त्रुटि शून्य पर केंद्रित हो (या समान रूप से शून्य से ऑफसेट)। सबसे पहले, मुझे उम्मीद थी कि वांछित परिणाम प्राप्त होने तक मुझे सत्यापन पर सभी प्रकार के हाइपरपरमेटर्स को सुलझाना होगा। लेकिन यह पता चला कि सुविधाओं के पर्याप्त सेट के साथ, यह पहली बार हासिल किया गया है, जो दिलचस्प है, और यादृच्छिक त्रुटि का विचरण भी स्टोर से स्टोर करने के लिए अलग नहीं था। यह संभवतः विधि की कमजोरियों में से एक है, क्योंकि इस बात की कोई गारंटी नहीं है कि ऐसी शर्तें पूरी की जाएंगी। साहित्य की समीक्षा ने भी कोई परिणाम नहीं दिया, ऐसा लगता है कि बहुत से लोग मशीन सीखने पर एक आधार रेखा का उपयोग करते हैं, लेकिन कहीं भी सैद्धांतिक गारंटी के बारे में कुछ भी नहीं है। सामान्य तौर पर, इस तरह के सभी धोखाधड़ी के बाद, हमें एक मॉडल मिलता है, जो अपनी संपूर्णता में सभी डेटा पर प्रशिक्षित होता है , और हम किसी भी चयनित स्टोर के लिए दैनिक बिक्री पूर्वानुमान बना सकते हैं। और हम सटीकता के बारे में विशेष रूप से चिंतित नहीं हैं, लेकिन केवल अगर सभी दुकानों के लिए त्रुटि वितरण समान रूप से पक्षपाती था (शून्य से अधिक पक्षपाती नहीं तो निश्चित रूप से सुखद)। और तथ्य यह है कि विचरण बड़ा हो सकता है, यह केवल परीक्षण परिणाम के सांख्यिकीय महत्व के लिए आवश्यक डेटासेट के आकार को प्रभावित करेगा (जिसका अर्थ है कि परीक्षण के एक प्राथमिक सांख्यिकीय महत्व और सांख्यिकीय शक्ति के लिए, टिप्पणियों की संख्या। ऐसे परिणामों को प्राप्त करने के लिए आवश्यक रूपांतर पर निर्भर करता है। )।

लाल, हरे और नीले रंग की रेखाओं के साथ चार्ट पर वापस जाएं, और अंत में औसत उच्च या निम्न की अवधारणा को पेश करें। नियंत्रण स्टोर के लिए, हम वास्तविक दैनिक बिक्री (लाल धराशायी लाइन) से घटा सकते हैं मॉडल द्वारा प्रतिदिन की गई बिक्री (हरे रंग की लाइन)। नतीजतन, हमें शून्य पर केंद्रित त्रुटियों का एक सामान्य वितरण मिलता है, इसलिए उनमें कुछ भी नहीं बदला है और मॉडल वास्तविकता से औसत संयोग पर होगा। परीक्षण समूह के स्टोर के लिए, हम वास्तविक दैनिक बिक्री (ब्लू सॉलिड लाइन), दैनिक बिक्री मॉडल की बिक्री (ग्रीन इंटरमिटेंट) से घटाते हैं, और हमें एक सामान्य वितरण भी मिलता है। फिर अगर कुछ भी नहीं बदला है, तो केंद्र कहीं शून्य के आसपास होगा; यदि बिक्री में सुधार हुआ है, तो इसे दाईं ओर स्थानांतरित कर दिया जाएगा; यदि वे खराब हो गए हैं, तो बाईं ओर। यह इसी तरह से सिम्युलेटेड डेटा पर दिखता है।

और यहां हम खुद को दो वितरणों के माध्य की समानता के लिए सामान्य सांख्यिकीय परीक्षण की स्थितियों में पाते हैं, और कुछ भी हमें इस परीक्षण को आयोजित करने से रोकता है। स्टेटमेंट टेस्ट के लिए हमें निम्नलिखित जानने की आवश्यकता है:

• $$$\ अल्फा$और $$$\ बीटा$: अपने आप को चुनें, या यदि आप भाग्यशाली हैं और शिक्षित लोग विपणन में बैठे हैं, तो हम उनके साथ मिलकर चुनते हैं;
• फैलाव: एक रेट्रोडैट से लिया गया;
• एलेवेटर: न केवल समानता का परीक्षण करने की आवश्यकता है, लेकिन परीक्षण समूह में बिक्री वृद्धि सशर्त कनाडाई डॉलर की एक निश्चित राशि से कम नहीं है; हम कमज़ोर सोने की परियोजना को लागू नहीं करना चाहते हैं, लेकिन यह लागत प्रभावी है और सौ वर्षों में खुद के लिए भुगतान नहीं करता है, हम क्रीमिया के लिए एक पुल का निर्माण नहीं कर रहे हैं।

यह डेटा पायलट के लिए आवश्यक दिनों की आवश्यक संख्या की गणना करने के लिए पर्याप्त होगा। इस दृष्टिकोण के लिए एक और बोनस स्केलेबिलिटी है। हमारे मामले में, परीक्षण ने 60 दिन दिए, अर्थात्। हमें परीक्षण के लिए 60 दिन के अवलोकनों और नियंत्रण समूह के लिए 60 दिवसीय अवलोकनों की आवश्यकता है ताकि सांख्यिकीय रूप से महत्वपूर्ण परीक्षा परिणाम प्राप्त हो सकें। हम प्रत्येक समूह में एक स्टोर चुन सकते हैं और प्रत्येक समूह में 2 महीने या दो प्रतीक्षा कर सकते हैं और 1 महीने प्रतीक्षा कर सकते हैं, और इसी तरह। स्वाभाविक रूप से, प्रयोग का बजट परीक्षण समूह में नए स्टोरों को जोड़ने पर निर्भर करता है, लेकिन यह आपका काम है कि इस तरह के संतुलन को कैसे चुनें। मेरा सुझाव है कि आप इस सामग्री का अध्ययन करें ताकि आवश्यक संख्याओं की गणना के लिए कार्यप्रणाली को समझ सकें।

वास्तविक डेटा

वास्तविक बिक्री के साथ दो छवियों पर विचार करें, मॉडल को कई वर्षों के रेट्रो-बिक्री पर प्रशिक्षित किया गया है। दुकान नंबर एक:

और स्टोर नंबर दो:

जैसा कि आप देख सकते हैं , आंख पर सब कुछ बहुत अच्छा है। आप आसानी से साप्ताहिक पैटर्न को नोटिस करेंगे, साथ ही हाल ही में एक स्टोर में स्पष्ट रूप से कुछ हुआ, गतिशीलता बदल गई है। यदि आप बारीकी से देखते हैं, तो आप देख सकते हैं कि दोनों स्टोर में मॉडल कई बार एक महत्वपूर्ण गलती करता है। इस मामले में, दो विकल्प हैं:

• , , ;
• , ; , ; , , , , , .

:

यह ठीक लग रहा है । अनुनय के लिए, आप सामान्यता के लिए एक परीक्षा आयोजित कर सकते हैं, और सुनिश्चित करें कि सब कुछ ठीक है । यदि कुछ परीक्षण असामान्य परिणाम पैदा करते हैं, तो या तो चयन करें या फीचर चयन बिंदु पर वापस जाएं। इस स्थिति में, हमें पायलट को पुनरारंभ करने की आवश्यकता नहीं है, लेकिन केवल मॉडल को फिर से बनाएं और संख्याओं को फिर से बनाएं (इसलिए अग्रिम रूप से आप सोच सकते हैं कि मॉडल के पहले संस्करण की तुलना में परीक्षण अवधि में थोड़ा अधिक पायलट दिनों को शामिल करना शामिल है)। हमारे मामले में, सब कुछ जैसा होना चाहिए था।

अगला, हम एक समूह में परीक्षण समूह के सभी स्टोर और एक समूह में नियंत्रण के सभी स्टोर को मिलाते हैं, इसलिए हम यह कर सकते हैं, इसलिए हमने ऊपर माना कि मॉडल त्रुटि किसी भी स्टोर के लिए समान रूप से पक्षपाती है। हम दो वितरण प्राप्त करते हैं और एक स्टेट टेस्ट करते हैं।

जैसा कि आपने शुरुआत में ही मेरे संशय के अनुसार अनुमान लगाया होगा, उत्पाद प्रदर्शन और ब्रांड चयन के लिए नई अनूठी कार्यप्रणाली का बिक्री पर कोई महत्वपूर्ण प्रभाव नहीं था। सिद्धांत रूप में, यह अपेक्षा की गई थी, क्योंकि मैंने नए ब्रांडों को चुनने के तरीके और उन्हें प्रदर्शित करने के तरीके को देखा। मुझे डर है कि मैं इन अनूठी तकनीकों के बारे में बात नहीं कर सकता, लेकिन उन फोटोग्राफरों में से एक जो बीयर प्राप्त करने के साथ दुकान की खिड़की की तस्वीर लेने के लिए प्रतियोगियों के पास गए ... परिसर से काफी निष्कासित कर दिया गया था।

निष्कर्ष

— ? , , 1-2 . - , — . , , , , . :

• ;
• $$$d_2$, ;
• $$$d_1$.

, - , . $$$d_2$, , , , $$$d_2$. $$$d_1 + d_2$, , , , .

लेकिन पायलट को क्या हुआ? और सब कुछ ठीक है, यह आ रहा है और फल-फूल रहा है, वे कामज को दिए गए सोने के बदले में एक अरब की प्रतीक्षा कर रहे हैं। परियोजना के अंतिम कार्यों में से एक सिर्फ पदोन्नति के परीक्षण के लिए कार्यप्रणाली का कार्यान्वयन था, लेकिन जैसा कि मैंने परियोजना को छोड़ दिया, सम्मानित कार्यालय ने जल्दी से ट्रिपल अंतर की समानता के लिए परीक्षण वापस कर दिया। शायद एक ही भाग्य इस परीक्षण का उल्लेख करता है, लेकिन मुझे पता नहीं है।

वैसे, यह अब एक और खुदरा क्षेत्र में सफलतापूर्वक लागू किया जा रहा है, वर्गीकरण अनुकूलन का परीक्षण किया जा रहा है, एक अन्य परामर्श कार्यालय द्वारा प्रस्तावित किया गया है, लेकिन यह कार्यालय नहीं है। परिणाम ग्राहक और कार्यालय की अपेक्षाओं को पूरा करते थे, और ग्राहक इस तरह के परीक्षण के परिणामों के आधार पर एक नया वर्गीकरण अनुकूलन शुरू करने की योजना बनाते थे।