15,000 ऑफ़लाइन स्टोर पर ए / बी परीक्षण कैसे करें

नमस्ते! एक्स 5 रिटेल ग्रुप से बिग डेटा एड-हॉक एनालिटिक्स टीम।

इस लेख में, हम अपने ए / बी परीक्षण पद्धति और उन चुनौतियों के बारे में बात करेंगे जो हम रोजाना सामना करते हैं।

बिग डेटा X5 में लगभग 200 लोग कार्यरत हैं, जिनमें 70 वैज्ञानिकों की तिथि और विश्लेषकों की तिथि शामिल है। हमारा मुख्य हिस्सा विशिष्ट उत्पादों - मांग, वर्गीकरण, प्रचार अभियान आदि में लगा हुआ है। उनके अलावा, हमारी अलग-अलग एड-हॉक एनालिटिक्स टीम है।



हम हैं:

• हम डेटा विश्लेषण अनुरोधों के साथ व्यावसायिक इकाइयों की मदद करते हैं जो मौजूदा उत्पादों में फिट नहीं होते हैं;
• यदि उन्हें अतिरिक्त हाथों की आवश्यकता होती है तो हम उत्पाद टीमों की मदद करते हैं;
• हम ए / बी परीक्षण में लगे हुए हैं - और यह टीम का मुख्य कार्य है।

जिस स्थिति में हम काम करते हैं वह विशिष्ट ए / बी परीक्षणों से बहुत अलग है। आमतौर पर, तकनीक ऑनलाइन और ऑनलाइन मेट्रिक्स से जुड़ी होती है: परिवर्तन कैसे प्रभावित होते हैं, अवधारण, सीटीआर, आदि। अधिकांश प्रयोग इंटरफ़ेस परिवर्तन से संबंधित हैं: बैनर को फिर से व्यवस्थित किया, बटन को फिर से लिखा, पाठ की जगह, आदि।

X5 व्यवसाय अलग है - यह पूरे देश में वितरित विभिन्न प्रारूपों के 15,000 ऑफ़लाइन स्टोर है। यह सुविधा कुछ सीमाएँ लगाती है। सबसे पहले, परीक्षण किए जा सकने वाले मैट्रिक्स का सेट बहुत भिन्न होता है, और दूसरी बात, प्रयोगों पर प्रतिबंध लगाया जाता है। ऑफ़लाइन स्टोर में विभागों के आदेश को बदलने के कार्य के लिए ऑनलाइन स्टोर के स्टोरफ्रंट के डिजाइन को बदलने का कार्य श्रम के संदर्भ में तुलनीय नहीं है।

कंपनी की एक टीम है जो एक वफादारी कार्यक्रम में लगी हुई है और उनके पायलट ए / बी परीक्षण के क्लासिक विचार के सबसे करीब हैं। हमारे लिए आने वाले प्रश्न "सामान्य" ए / बी परीक्षणों के लिए बहुत ही असामान्य हैं। उदाहरण के लिए:

• यदि मैं सॉसेज और केक विभाग के आदेश को बदल देता हूं तो स्टोर का वित्तीय प्रदर्शन कैसे बदल जाएगा?
• ग्राहक मंथन का मॉडल वित्तीय परिणाम को कैसे प्रभावित करेगा?
• पोस्टमेट्स की स्थापना से दुकान के प्रदर्शन पर क्या असर पड़ेगा?

ग्राहकों का मानना ​​है कि एक निश्चित परिवर्तन सकारात्मक रूप से किसी एक संकेतक को प्रभावित करेगा (हम बाद में उनके बारे में बात करेंगे)। हमारा काम उन्हें डेटा के आधार पर अपनी परिकल्पना को मान्य करने में मदद करना है।

मैट्रिक्स

हम किन संकेतकों का परीक्षण कर रहे हैं? आरटीओ , औसत चेक और ट्रैफ़िक हमारे ओपन स्पेस विंग में सबसे अधिक इस्तेमाल किए जाने वाले शब्द हैं।

• आरटीओ (खुदरा कारोबार) - स्टोर द्वारा अर्जित धन की राशि।

व्यवसाय के लिए मुख्य मीट्रिक में से एक और परीक्षण करने के लिए सबसे कठिन।

दुकान का दैनिक कारोबार लाखों रूबल में मापा जाता है। तदनुसार, संकेतक के प्रसार को कम से कम हजारों रूबल में मापा जाता है। नमूने के आकार को निर्धारित करने के लिए जटिल और लंबे सूत्र का कहना है कि अधिक से अधिक विचरण, किसी भी सार्थक निष्कर्ष के लिए अधिक डेटा की आवश्यकता है। दसवें प्रतिशत में भी प्रभाव को पकड़ने के लिए पीटीओ के इतने बड़े फैलाव के साथ, दुकानों में पायलटों को छह महीने खर्च करने की आवश्यकता होती है।

बोर्ड की प्रतिक्रिया की कल्पना करें, अगर उनके साथ बैठक में कहा गया है कि पायलट को सभी दुकानों में छह महीने, या एक वर्ष भी बिताने की जरूरत है? =)

हमारे पास दो मानक दृष्टिकोण हैं।

पहला दृष्टिकोण: हम पूरे स्टोर के आरटीओ पर विचार नहीं कर रहे हैं, लेकिन किसी प्रकार की उत्पाद श्रेणी। उदाहरण के लिए, स्टोर में दो वर्गों ("केक" और "सॉसेज") के पुनर्व्यवस्था के परिणामस्वरूप, दोनों श्रेणियों में पीटीओ में वृद्धि की उम्मीद है। एक श्रेणी का आरटीओ पूरे स्टोर के आरटीओ की तुलना में बहुत छोटा है, इसलिए, फैलाव कम है। इस मामले में, हम आशा करते हैं कि इन श्रेणियों के पायलट शेष श्रेणियों से अलग-थलग हैं।

दूसरा तरीका: हम समय का नमूना लेते हैं। अवलोकन की इकाई पूरे पायलट के लिए स्टोर का पीटीओ नहीं है, बल्कि प्रति सप्ताह या दिन पीटीओ है। इस प्रकार, हम कच्चे डेटा के विचरण को बनाए रखते हुए टिप्पणियों की संख्या बढ़ाते हैं।

• औसत चेक , या आरटीओ / चेक की संख्या - एक चेक में पैसे की औसत राशि।

यदि हम सामान्य मेट्रिक्स के साथ उपमाएं आकर्षित करते हैं, तो बदलाव का हिस्सा लोगों को अधिक खरीदारी करने के उद्देश्य से है, इसलिए हम आरटीओ / संख्या की जांच, या औसत जांच का परीक्षण करते हैं।

इस मीट्रिक के परीक्षण में कठिनाई रिटेल की बारीकियों से संबंधित है। उदाहरण के लिए, "2 की कीमत के लिए 3" के पायलट लॉन्च के साथ, पदोन्नति, एक व्यक्ति जिसने एक उत्पाद खरीदने की योजना बनाई है, वह तीन खरीदेगा, और चेक की मात्रा बढ़ जाएगी। लेकिन क्या होगा अगर वह बाद में स्टोर पर जाने की संभावना कम हो जाती है और पायलट वास्तव में इतना सफल नहीं होता है?

• ट्रैफ़िक - एक निश्चित अवधि के लिए स्टोर में चेक की संख्या।

औसत जांच को प्रभावित करने वाली परिकल्पनाओं का परीक्षण करते समय गलत निष्कर्ष से बचने के लिए, हम एक साथ ट्रैफ़िक परिवर्तनों को देखते हैं। हम सीधे ट्रैक नहीं कर सकते कि कितने लोग स्टोर में आए, जैसे सभी आगंतुक वफादारी कार्यक्रम के ग्राहक नहीं हैं, इसलिए ए / बी परीक्षण के लिए प्रत्येक चेक ग्राहक के लिए एक "अद्वितीय यात्रा" है। पीटीओ के साथ समानता से, हम विभिन्न समय अंतराल में यातायात पर विचार करते हैं: प्रति दिन यातायात, प्रति घंटे यातायात।

औसत चेक और ट्रैफ़िक के बीच संबंध बहुत महत्वपूर्ण है: क्या पायलट औसत चेक बढ़ा सकता है, लेकिन ट्रैफ़िक को कम कर सकता है और अंततः पीटीओ में वृद्धि नहीं कर सकता है, बल्कि इसकी कमी हो सकती है? क्या पायलट औसत बिल को बदले बिना ट्रैफिक बढ़ाने में मदद कर सकता था?

• मार्जिन - किसी उत्पाद की कीमत और उसकी लागत के बीच का अंतर

वहाँ के ढांचे में पायलट हैं, जिनमें से हम माल की कीमतों को बदलते हैं - कुछ के लिए, कीमत में वृद्धि हुई है, कुछ इसके विपरीत। चूंकि हम उत्पादन लागतों को प्रभावित नहीं करते हैं, इसलिए कीमतों में बदलाव से हम माल के मार्जिन को बदलते हैं। इस तरह के पायलट से यातायात में वृद्धि हो सकती है, और औसत जांच में वृद्धि हो सकती है। लेकिन क्या इसका मतलब यह है कि पायलट सफल है और नेटवर्क के सभी स्टोर में कीमतें बदलने लायक है? नहीं, यह बहुत अच्छी तरह से हो सकता है कि लोगों ने माल को नकारात्मक या छोटे मार्जिन के साथ खरीदना शुरू कर दिया और उच्च मार्जिन के साथ माल छोड़ दिया। इसलिए, आरटीओ में हमेशा वृद्धि नहीं होती है, इसके बाद कुल मार्जिन में वृद्धि होती है, इसलिए, यह इन संकेतकों को अलग से परीक्षण करने के लायक है।

ठीक है, मान लें कि हमने लक्ष्य मैट्रिक्स पर निर्णय लिया है। निम्नलिखित प्रश्न:

• ग्राहक को कौन सा आकार प्राप्त करने की योजना है?
• प्रयोग में वास्तव में किस प्रभाव का पता लगाया जा सकता है?
• प्रयोग में कितना समय लगता है?
• कौन से समूह?

प्रयोग सारांश

ऑनलाइन उपयोगकर्ताओं पर किए गए ए / बी परीक्षणों का एक महत्वपूर्ण लाभ है - उनके पास एक उच्च सामान्यीकरण क्षमता है। दूसरे शब्दों में, प्रयोग के दौरान प्राप्त निष्कर्ष को सभी उपयोगकर्ताओं के लिए बढ़ाया जा सकता है। प्रयोग की सेटिंग से सामान्यीकरण क्षमता की गारंटी होती है: नियंत्रण और परीक्षण समूह यादृच्छिक रूप से बनते हैं, लगभग समान वितरण से दोनों समूह, आप दोनों समूहों में बहुत सारे ट्रैफ़िक पकड़ सकते हैं - एक बजट होगा।

ऑफलाइन रिटेल के मामले में, इनमें से कोई भी सेटिंग काम नहीं करती है। सबसे पहले, दुकानों की संख्या पर एक सीमा होती है। दूसरे, स्टोर एक-दूसरे से बहुत अलग हैं। रिहायशी इलाके में पेरेक्रेस्टोक स्टोर और व्यापार केंद्र के पास पेरेक्रेस्टोक वास्तव में, विभिन्न वितरणों से बहुत अलग वस्तुएं हैं।



ग्राफ पर हम देखते हैं कि परीक्षण समूह के स्टोर पूरे नेटवर्क के स्टोर से अलग हैं। यह एक काफी विशिष्ट स्थिति है: पाइटोचोका चेन स्टोर न केवल शहरों में, बल्कि छोटी बस्तियों में भी स्थित हैं। बड़े पायलट ज्यादातर शहरों में होते हैं। जो भी प्रभाव हम पकड़ते हैं, उसे पूरे नेटवर्क में स्केल करना गलत है।

पायलट का कुल प्रभाव Є हम सूत्र द्वारा मूल्यांकन करते हैं:



एक पायलट समूह और नेटवर्क में सभी स्टोर के वितरण के चौराहे का क्षेत्र है।

ध्यान दें कि यह सांख्यिकीय कानूनों का परिणाम नहीं है, लेकिन संचयी प्रभाव पर विचार करना तर्कसंगत है।

आदर्श विकल्प परीक्षण समूह के लिए प्रतिनिधि नमूने की भर्ती करना है, अर्थात्, उन स्टोर जो वास्तव में नेटवर्क की संपूर्ण स्थिति को दर्शाते हैं। लेकिन अभ्यावेदन नमूना विविधता की ओर जाता है, क्योंकि कम या उच्च पीटीओ वाली दुकानों का नमूना लिया जाएगा।

समूह आकार, पायलट अवधि और न्यूनतम पता लगाने योग्य प्रभाव

और अब सबसे महत्वपूर्ण बात के लिए - प्रभाव का आकार और पायलट की अवधि। एक नियम के रूप में, हमें तीन स्थितियों में से एक का सामना करना पड़ता है:

1. ग्राहक के पास पायलट और स्टोर की संख्या के लिए समय सीमा है जिसके साथ आप काम कर सकते हैं;
2. ग्राहक जानता है कि वह किस आकार का आकार प्राप्त करने की अपेक्षा करता है और उन स्टोर की संख्या को इंगित करने के लिए कहता है जो पायलट को चाहिए (और फिर स्टोर खुद को);
3. ग्राहक हमारे प्रस्तावों के लिए खुला है।

यह नहीं कहा जा सकता कि परिदृश्य में से कोई भी सरल है, क्योंकि किसी भी स्थिति में हम प्रभाव-त्रुटि की एक तालिका तैयार कर रहे हैं।



उसके लिए महत्वपूर्ण:

1. पहली तरह की एक गलती - जब यह नहीं है तो प्रभाव को देखने की संभावना;
2. दूसरी तरह की एक गलती - जब यह प्रभाव छोड़ने की संभावना है;
3. एक सफल पायलट के साथ दिखने वाले प्रभाव का आकार।

इन तीन मापदंडों का संयोजन आपको पायलट की आवश्यक अवधि की गणना करने की अनुमति देता है। तालिका में मूल्य नमूना आकार है - इस मामले में, प्रति दिन स्टोर में प्राप्तियों या औसत मीट्रिक की संख्या, जिसे पायलट को संचालित करने की आवश्यकता होती है। अगर हम वास्तविक दुनिया के बारे में बात करते हैं, तो आमतौर पर पहली और दूसरी तरह की त्रुटियों की संभावना 5-10 प्रतिशत होती है। जैसा कि तालिका से देखा जा सकता है, इस तरह की निश्चित त्रुटियों के साथ, हमें एक प्रतिशत के प्रभाव को पकड़ने के लिए 421 पाइटरोचका-दिन की आवश्यकता होती है। ऐसा लगता है कि यह आंकड़ा बहुत अच्छा है - आखिरकार, 421 पाइटोचोका-दिन 10 दिनों के लिए 40 दुकानों में एक पायलट है। हालांकि, एक "लेकिन" है - बहुत कम पायलट हैं जो वास्तव में एक प्रतिशत प्रभाव की उम्मीद करते हैं। आमतौर पर हम एक प्रतिशत के दसियों के बारे में बात कर रहे हैं। यह देखते हुए कि आरटीओ को अरबों में मापा जाता है, एक सफल पायलट के प्रभाव का दस प्रतिशत राजस्व में एक बड़ी वृद्धि दे सकता है। इस वजह से, मैं सबसे छोटे प्रभाव को भी मापना चाहता हूं। लेकिन प्रभाव का आकार जितना छोटा होगा, दूसरी तरह की त्रुटि उतनी ही अधिक होगी। यह समझ में आता है: छोटा प्रभाव यादृच्छिक शोर के समान है और इसे शायद ही कभी आदर्श से वास्तविक विचलन माना जाएगा। यह नीचे दिए गए ग्राफ़ में स्पष्ट रूप से देखा जाता है, जहां हम बड़े विचरण के साथ डेटा में एक छोटे से प्रभाव को पकड़ना चाहते हैं।

ए / ए परीक्षण

पायलट शुरू होने से पहले, आपको परीक्षण और नियंत्रण समूह पर निर्णय लेने की आवश्यकता है। ग्राहक के पास पायलट समूह हो सकता है या नहीं भी हो सकता है। हम प्रतिबंधों का अनुरोध करके दोनों मामलों में उसकी मदद करने के लिए तैयार हैं - उदाहरण के लिए, स्टोर तीन विशिष्ट क्षेत्रों के कड़ाई से होने चाहिए।

मान लीजिए कि हमने किसी तरह से एक परीक्षण और नियंत्रण समूह चुना है। यह कैसे सुनिश्चित करें कि चयनित समूह अच्छे हैं और आप वास्तव में उन पर ए / बी परीक्षण कर सकते हैं? ऐसा लगता है कि सब कुछ सामंजस्यपूर्ण लगता है: हमने आवश्यक संख्या में अवलोकन किए, सूत्र के अनुसार हम 0.7% के प्रभाव को पकड़ सकते हैं, हमें समान स्टोर मिले। अब हमें क्या शोभा नहीं देता?

दुर्भाग्य से, बहुत सारे गंभीर तथ्य:

• नमूने के तत्व समान वितरण से नहीं हैं - हमारा नमूना विभिन्न दुकानों से टिप्पणियों का मिश्रण है, और प्रत्येक दुकान का अपना वितरण है।
• नमूने के तत्व स्वतंत्र नहीं हैं - नमूने में क्रमशः एक दुकान से कई अवलोकन हैं, उनके बीच एक संबंध है;
• पायलट की अनुपस्थिति में साधनों की समानता की गारंटी नहीं है - अर्थात हम यह सुनिश्चित नहीं करते हैं कि यदि कोई पायलट नहीं है, तो स्टोर के आंकड़े भिन्न नहीं होंगे।

त्रुटियों और प्रभाव के आधार पर टिप्पणियों की संख्या का चयन करने के लिए सूत्र की गणना में इन सभी समस्याओं पर ध्यान नहीं दिया जाता है। उपरोक्त समस्याओं के प्रभाव की सीमा को समझने के लिए, हम ए / ए परीक्षण करते हैं। वास्तव में, यह एक समय में दुकानों में पूरे पायलट का अनुकरण है जब दुकानों में कोई पायलट नहीं होता है। इस अवधि को पूर्व-पायलट कहा जाता है।

पूर्व-पायलट अवधि के दौरान, हम कई बार तीन चरणों को दोहराते हैं:

1. समान समूहों का चयन;
2. दो समूहों में समानता परीक्षण;
3. परीक्षण समूह में प्रभाव जोड़ना और समानता के लिए साधनों का परीक्षण करना।

समान समूहों का मिलान

हम एक साइकिल का आविष्कार नहीं करते हैं, इसलिए हम निकटतम पड़ोसियों की अच्छी पुरानी पद्धति के साथ समान समूहों की तलाश कर रहे हैं। स्टोर के लिए सुविधाओं को उत्पन्न करने की रणनीति एक अलग कला है। हमें तीन कार्य विधियाँ मिलीं:

• प्रत्येक दुकान का वर्णन मीट्रिक के अनुसार एक फीचर वेक्टर द्वारा किया जाता है जिसका हम परीक्षण कर रहे हैं। उदाहरण के लिए, औसत जांच की जांच करते समय, हम 8 सप्ताह के लिए दैनिक औसत जांच का वर्णन करते हैं - हमें स्टोर के लिए 56 संकेत मिलते हैं। फिर हम एक जोड़ी दुकानों के संकेतों के बीच यूक्लिडियन दूरी लेते हैं।

• गतिकी में समान स्टोर खोजें। स्टोर मैट्रिक्स के पूर्ण मूल्यों में भिन्न हो सकते हैं, लेकिन रुझानों में मेल खाते हैं - और कुछ गणितीय जोड़तोड़ के साथ, इन स्टोरों को समान माना जा सकता है।

• पायलट की अवधि (भविष्य में) पर स्टोर के प्रदर्शन की भविष्यवाणी करें और उन पर आधारित समानों का चयन करें - लेकिन यहां हमें एक ओरेकल की आवश्यकता है जो पायलट के लिए प्रदर्शन का सटीक अनुमान लगा सके।

हम एक बहुत ही सरल परिकल्पना का पालन करते हैं: यदि स्टोर पायलट से पहले समान थे, तो पायलट परिवर्तन नहीं हुआ था, वे समान बने रहेंगे।

आप देख सकते हैं कि इन तीन कामकाजी तरीकों में भी कई पहलू हैं जो विविध हो सकते हैं: दिनों / हफ्तों की संख्या जिसके द्वारा एक विशेषता पर विचार किया जाता है, एक संकेतक की गतिशीलता का आकलन करने की एक विधि, आदि।

कोई सार्वभौमिक गोली नहीं है, प्रत्येक प्रयोग में हम अपने लक्ष्य के आधार पर विभिन्न विकल्पों से गुजरते हैं। लेकिन यह बहुत सरल है: निकटतम पड़ोसियों को चुनने के लिए एक विधि ढूंढें जो पहले और दूसरे प्रकार की उचित त्रुटियां देता है। वे कहां से आते हैं, हम आगे बताते हैं।

साधनों की समानता के लिए परीक्षण, या पहली तरह की विधि की त्रुटि

याद है कि इस बिंदु पर हम:

1. ग्राहक के प्रभाव और पायलट की अवधि के आकार के साथ निर्धारित किया जाता है
2. पहली और दूसरी तरह की त्रुटियों का सार समझाया
3. समान समूहों के चयन के लिए एक विधि का निर्माण किया

इस चरण का उद्देश्य यह सुनिश्चित करना है कि जिस विधि को हमने धारा 3 में चुना है वह ऐसे समूहों को खोजती है कि पायलट द्वारा इन दुकानों में संकेतक (आरटीओ, औसत जांच, यातायात) शुरू करने से पहले सांख्यिकीय रूप से भिन्न नहीं है।

चक्र में, हम कुछ प्रकार के सांख्यिकीय परीक्षण और बूटस्ट्रैप द्वारा समानता के लिए बार-बार चयनित समूहों का चयन करते हैं। यदि त्रुटियों का अनुपात (यानी, समूह एक दूसरे के बराबर नहीं हैं) सीमा से अधिक है, तो विधि को खारिज कर दिया जाता है और एक नया चयन किया जाता है। इसलिए जब तक हम त्रुटि की वांछित सीमा तक नहीं पहुंचते।



यह पता लगाना महत्वपूर्ण है कि जब हम नहीं होते हैं तो हम कितनी बार प्रभाव पकड़ते हैं, अर्थात्। हमारी चयन पद्धति दुकानों के बीच यादृच्छिक अंतर पर प्रतिक्रिया करती है या नहीं।

प्रभाव जोड़ना, या दूसरी तरह की विधि की गलती

एक वाजिब सवाल, लेकिन क्या हम अपने आप को इस तरह से पीछे नहीं हटा रहे हैं कि हम वास्तविक प्रभावों को भी शोर मानेंगे और उन्हें अनदेखा करेंगे? दूसरे शब्दों में, क्या हम एक प्रभाव का पता लगाने में सक्षम हैं जब यह है?

अंतिम चरण पर यह सुनिश्चित करने के बाद कि समूह मेल खाते हैं, हम समूहों में से एक में एक कृत्रिम प्रभाव जोड़ते हैं, अर्थात्। हम गारंटी देते हैं कि पायलट सफल है और प्रभाव होना चाहिए।

इस बार लक्ष्य यह पता लगाना है कि समानता परिकल्पना कितनी बार खारिज की जाती है, अर्थात्। परीक्षण दो समूहों के बीच अंतर करने में सक्षम था। इस मामले में गलती यह मान लेना है कि समूह समान हैं। इस गलती को हम दूसरी तरह की गलती कहते हैं।

फिर से चक्र में हम नियंत्रण समूह और "शोर" परीक्षण समूह की समानता के लिए परीक्षण करते हैं। यदि हम गलतियों को काफी कम करते हैं, तो हम मानते हैं कि समूहों के चयन का तरीका सत्यापन से गुजर चुका है। इसका उपयोग पायलट अवधि में समूहों का चयन करने के लिए किया जा सकता है और सुनिश्चित करें कि यदि पायलट कोई प्रभाव देता है, तो हम इसका पता लगा पाएंगे।

विषमता के बारे में

हमने पहले ही उल्लेख किया है कि डेटा विषमता हमारे सबसे बुरे दुश्मनों में से एक है जो हम लड़ रहे हैं। विभिन्न मूल कारणों से असमानताएं उत्पन्न होती हैं:

• खरीदारी की व्यापकता - प्रत्येक दुकान का अपना औसत मीट्रिक मूल्य होता है (मॉस्को आरटीओ स्टोर्स में और ट्रैफ़िक गाँव के स्टोरों की तुलना में बहुत अधिक है)
• सप्ताह के दिन तक विषमता - सप्ताह के विभिन्न दिनों में ट्रैफ़िक का अलग-अलग वितरण और अलग-अलग औसत जाँच: मंगलवार को ट्रैफ़िक शुक्रवार को ट्रैफ़िक की तरह नहीं दिखता है
• मौसम में विषमता - लोग अलग-अलग मौसम की स्थिति में अलग-अलग खरीदारी करते हैं
• वर्ष के समय में विषमता - सर्दियों के महीनों में यातायात गर्मियों में यातायात से भिन्न होता है - पायलट को कई हफ्तों तक रहने पर इसे ध्यान में रखना चाहिए।

Inhomogeneity वैरिएशन को बढ़ाता है, जो कि, जैसा कि ऊपर बताया गया है, PTO स्टोर्स के मूल्यांकन में पहले से ही काफी महत्व है। कब्जा किए गए प्रभाव का आकार सीधे विचरण पर निर्भर है। उदाहरण के लिए, चार के एक कारक के फैलाव को कम करने से आपको आधे प्रभाव का पता लगाने की अनुमति मिलती है।

सबसे सरल मामले में, हम रैखिककरण की विषमता से जूझ रहे हैं।
मान लीजिए कि हमारे पास तीन दिनों के लिए दो दुकानों में एक पायलट था (हाँ, यह प्रभाव के आकार के बारे में सभी निर्धारित फ़ार्मुलों का विरोध करता है, लेकिन यह एक उदाहरण है)। दुकानों में औसत आरटीओ क्रमशः 200 हजार और 500 हजार हैं, जबकि दोनों समूहों में विचरण 10,000 है, और सभी टिप्पणियों के अनुसार - 35,000
पायलट के बाद, औसत 300 और 600 समूहों में हैं और संस्करण क्रमशः 10,000 और 22,500 हैं, और पूरे समूह में 40,000 हैं।



एक सरल और सुरुचिपूर्ण कदम डेटा को रैखिक करना है, अर्थात। प्रत्येक अवधि से घटाएँ पिछले एक के लिए औसत मूल्य।



आउटपुट पर, नमूना: 100, 0, 200, -50, 100, 250। पायलट अवधि में फैलाव 3 गुना से 13000 तक कम हो गया था।

इसका मतलब है कि हम मूल पूर्ण मूल्यों की तुलना में बहुत अधिक सूक्ष्म प्रभाव देख सकते हैं।

विषमता से निपटने का यह एकमात्र तरीका नहीं है। हम अगले लेख में दूसरों के बारे में बात करेंगे।

ए / बी परीक्षण के लिए सामान्य दृष्टिकोण

बड़े पायलटों और उनके मूल्यांकन की तैयारी हमारी टीम से होकर गुजरती है और पूरी तरह से परखी जाती है।

हमारे प्रोटोकॉल:

1. मीट्रिक और अपेक्षित प्रभाव के बारे में ग्राहक से जानकारी प्राप्त करें;
2. समूहों के आकार और पायलट की अवधि निर्धारित करें;
3. समूहों द्वारा दुकानों के वितरण के लिए एक एल्गोरिथ्म विकसित करना;
4. समूहों के बीच ए / ए परीक्षण करें और इस एल्गोरिथ्म को मान्य करें;
5. पायलट के समाप्त होने और प्रभाव की गणना करने की प्रतीक्षा करें।

इन चरणों में से कोई भी कठिनाइयों के बिना गुजरता है, उनमें से प्रत्येक में विशेषताएं हैं। हम उनमें से कुछ के साथ कैसे व्यवहार करते हैं, हमने इस लेख में वर्णित किया है। अगले में, हम बात करेंगे…।

टीम

अंत में, मैं सभी अभिनेताओं का उल्लेख करना चाहूंगा:

• वेलरी बाबुश्किन
• अलेक्जेंडर सखनोव
• डेनिस इवानोव
• सर्गेई डेमचेंको
• निकोले नाज़रोव
• सर्गेई कबानोव
• यूरी गैलिमुलिन
• हेलेन तेव्यान
• व्लादिस्लाव लादेनकोव
• सर्गेई ज़खारोव
• वसीली कहानियाँ
• अलेक्जेंडर बिल्लाएव
• किस्मत मगोमेदोव
• एगोर क्रशेंनिकोव
• ईगोर कर्णमुख
• Svyatoslav Oreshin
• यूरी ट्रूबित्सिन