🔌 😩 ⚒️ क्लासिक ए / बी परीक्षण और बूटस्ट्रैप विधि के आधार पर नरभक्षण की गणना 📨 👰 🏀

यह लेख क्लासिक ए / बी परीक्षण के आधार पर मोबाइल एप्लिकेशन के लिए नरभक्षण की गणना के लिए एक विधि पर चर्चा करता है। इस मामले में, उस समूह में लक्ष्य क्रियाओं की तुलना में विज्ञापन स्रोत (डायरेक्ट, क्राइटो, ऐडवर्ड्स यूएसी और अन्य) से पुन: अट्रैक्शन की प्रक्रिया के हिस्से के रूप में लक्षित कार्यों पर विचार किया जाता है और मूल्यांकन किया जाता है।

लेख में थोड़े सैद्धांतिक आधार के साथ स्वतंत्र नमूनों की तुलना और उपयोग किए गए पुस्तकालयों के विवरण सहित शास्त्रीय तरीकों का अवलोकन दिया गया है संक्षिप्त रूप से बूटस्ट्रैप विधि का सार और फेसबुक बूटस्ट्रैप्ड लाइब्रेरी में इसके कार्यान्वयन के साथ-साथ इन तकनीकों को लागू करते समय व्यवहार में आने वाली समस्याओं और उन्हें हल करने के तरीके के बारे में बताया गया है।

साक्ष्य किसी भी प्रकटीकरण समझौते को बनाए रखने के लिए या तो अस्पष्ट है या प्रदान नहीं किया गया है।

भविष्य में, मैं इस लेख को पूरक करने और थोड़ा संशोधित करने की योजना बनाता हूं क्योंकि नए तथ्य सामने आते हैं, इसलिए इस संस्करण को पहली रिलीज माना जा सकता है। मैं टिप्पणियों और समीक्षाओं के लिए आभारी रहूंगा।

परिचय

नरभक्षण एक चैनल से दूसरे चैनल पर, संपूर्ण और लक्षित यातायात को प्रवाहित करने की प्रक्रिया है।

विपणक आमतौर पर CPA की गणना में एक अतिरिक्त K गुणांक के रूप में इस सूचक का उपयोग करते हैं: परिकलित CPA को 1 + C से गुणा किया जाता है। इस मामले में, CPA का अर्थ है ट्रैफ़िक को आकर्षित करने की कुल लागत / लक्षित कार्यों की संख्या जो सीधे मुद्रीकृत होती है, यानी जो वास्तविक लाभ लाती है - उदाहरण के लिए, लक्षित कॉल और / या परोक्ष रूप से मुद्रीकृत - उदाहरण के लिए, विज्ञापन डेटाबेस की मात्रा बढ़ाना, दर्शकों को बढ़ाना और इतने पर।

जब निशुल्क चैनल (उदाहरण के लिए, ऑर्गेनिक SERP से विज़िट, उन साइटों पर लिंक पर क्लिक करते हैं जो हमारे लिए उपयोग करने के लिए स्वतंत्र हैं) भुगतान के लिए नरभक्षण किए जाते हैं (प्रत्यक्ष, जीवों के बजाय ऐडवर्ड्स, विज्ञापनों पर क्लिक करने के बजाय सामाजिक नेटवर्क के फ़ीड में विज्ञापन, मुफ़्त है समूहों में रखा गया है, और इसी तरह), यह इसके साथ वित्तीय नुकसान का जोखिम उठाता है, इसलिए नरभक्षण दर को जानना महत्वपूर्ण है।

हमारे मामले में, कार्य क्रिटो विज्ञापन नेटवर्क से संक्रमण द्वारा आवेदन के लिए "कार्बनिक" संक्रमण के नरभक्षण की गणना करना था। निगरानी एक उपकरण या उपयोगकर्ता-यूआईडी (GAID / ADVID और IDFA) है।

प्रयोग की तैयारी

आप AdJust विश्लेषणात्मक प्रणाली इंटरफ़ेस में उपयोगकर्ताओं को समूहों में विभाजित करके प्रयोग के लिए दर्शकों को तैयार कर सकते हैं, उन्हें अलग करने के लिए, जो एक निश्चित विज्ञापन नेटवर्क (नियंत्रण नमूना) से विज्ञापन देखेंगे और जिन्हें क्रमशः GAID या ADVID और IDFA का उपयोग करके विज्ञापन नहीं दिखाए जाएंगे। (AdJust ऑडियंस बिल्डर एपीआई प्रदान करता है)। फिर, नियंत्रण नमूने में, आप प्रयोग में अध्ययन विज्ञापन नेटवर्क में एक विज्ञापन अभियान शामिल कर सकते हैं।

मैं खुद से ध्यान देता हूं कि जैसा कि यह सहज रूप से लगता है, प्रयोग का निम्नलिखित कार्यान्वयन इस मामले में अधिक सक्षम होगा: चार समूहों का चयन करने के लिए - जो सभी चैनलों से रिटारगेटिंग अक्षम थे (1), प्रयोगात्मक समूह के रूप में, और जिनके पास था केवल रिट्रीटिंग क्राइटो (2) के साथ सक्षम; जिन लोगों ने केवल रिटायरिंग को क्राइटो (3) के साथ अक्षम कर दिया था, जिनके पास सभी रिटारगेटिंग (4) थे। तब (1) / (2) की गणना करना संभव होगा, "आवेदन करने के लिए जैविक" संक्रमण के लिए क्राइटो नेटवर्क के विज्ञापन अभियानों के वास्तविक मूल्य प्राप्त करने, और (3) / (4), "प्राकृतिक" पर्यावरण में क्रिटो को रद्द करने के बाद, क्रिटो, जाहिर है। अन्य भुगतान किए गए चैनलों को भी नरभक्षण कर सकते हैं)। उनमें से प्रत्येक के प्रभाव का पता लगाने के लिए अन्य विज्ञापन नेटवर्क के लिए एक ही प्रयोग दोहराया जाना चाहिए; एक आदर्श दुनिया में, सभी प्रमुख सशुल्क स्रोतों के बीच क्रॉस-कैनिबलाइज़ेशन की जांच करना अच्छा होगा जो कुल ट्रैफ़िक में सबसे बड़ा हिस्सा बनाते हैं, लेकिन इसमें इतना समय लगेगा (दोनों विकास के दृष्टिकोण से प्रयोग तैयार करने और परिणामों का मूल्यांकन करने के लिए), जिसके कारण अनुचित सावधानी के लिए आलोचना।

वास्तव में, हमारा प्रयोग शर्तों (3) और (4) के तहत किया गया था, नमूनों को 10% से 90% के अनुपात में विभाजित किया गया था, प्रयोग 2 सप्ताह के लिए किया गया था।

डेटा की तैयारी और सत्यापन

किसी भी अध्ययन को शुरू करने से पहले, एक महत्वपूर्ण कदम सक्षम पूर्व प्रशिक्षण और डेटा सफाई है।

यह ध्यान दिया जाना चाहिए कि वास्तव में प्रयोग की अवधि के लिए सक्रिय उपकरण पूर्ण प्रारंभिक नमूनों में उपकरणों की तुलना में 2 गुना कम (42.5% और क्रमशः नियंत्रण और प्रयोगात्मक समूहों के 50%) थे, जो डेटा की प्रकृति द्वारा समझाया गया है:

सबसे पहले (और यह महत्वपूर्ण कारण है), एडजस्ट से रिटारगेटिंग के लिए चयन में उन सभी उपकरणों के पहचानकर्ता शामिल होते हैं जिन्होंने कभी एप्लिकेशन इंस्टॉल किया है, अर्थात, वे डिवाइस जो अब उपयोग में नहीं हैं, और जिनके साथ आवेदन पहले से था हटाए गए
दूसरे, यह आवश्यक नहीं है कि सभी उपकरण प्रयोग के दौरान अनुप्रयोग में लॉग इन हों।

हालाँकि, हमने पूर्ण नमूने से डेटा के आधार पर नरभक्षण की गणना की। मेरे लिए व्यक्तिगत रूप से, इस तरह की गणना की शुद्धता अभी भी एक मूक बिंदु लगती है - सामान्य तौर पर, मेरी राय में, यह उन सभी को साफ करने के लिए अधिक सही है, जिन्होंने एप्लिकेशन को अनइंस्टॉल किया और इसे संबंधित टैग द्वारा स्थापित नहीं किया, साथ ही साथ जिन्होंने एक वर्ष से अधिक समय से आवेदन में लॉग इन नहीं किया है - समय की यह अवधि उपयोगकर्ता डिवाइस को बदल सकता है; माइनस - इस तरह, प्रयोग के लिए, उन उपयोगकर्ताओं को जो आवेदन पर स्विच नहीं करते थे, लेकिन ऐसा कर सकते थे, उन्हें चयन से हटाया जा सकता है यदि हमने उन्हें क्रिटो नेटवर्क पर विज्ञापन दिखाया था। मैं ध्यान देना चाहता हूं कि एक अच्छी दुनिया में इन सभी की उपेक्षा और मान्यताओं की जांच और सत्यापन अलग से किया जाना चाहिए, लेकिन हम इसे तेजी से और प्यारे करने की दुनिया में रहते हैं।

हमारे मामले में, निम्नलिखित बिंदुओं की जांच करना महत्वपूर्ण है:

हम अपने प्रारंभिक नमूनों में चौराहे की जांच करते हैं - प्रयोगात्मक और नियंत्रण। एक सही ढंग से कार्यान्वित प्रयोग में, ऐसे चौराहों को नहीं होना चाहिए, हालांकि, हमारे मामले में, नियंत्रण में प्रयोगात्मक नमूने से कई डुप्लिकेट थे। हमारे मामले में, प्रयोग में शामिल उपकरणों की कुल मात्रा में इन डुप्लिकेट का हिस्सा छोटा था, इसलिए, हमने इस स्थिति की उपेक्षा की। यदि> 1% डुप्लिकेट थे, तो प्रयोग को गलत माना जाना चाहिए और एक दूसरा प्रयोग किया जाना चाहिए, पहले डुप्लिकेट को साफ किया।
हम जांचते हैं कि प्रयोग में डेटा वास्तव में प्रभावित हुआ था - पुनरावर्ती को प्रयोगात्मक नमूने (कम से कम क्रिटो के साथ, सही ढंग से सेट प्रयोग में - सभी चैनलों से) में निष्क्रिय कर दिया जाना चाहिए था, इसलिए, क्रिटो के साथ पुन: प्रयोग में डिवाइसिड की अनुपस्थिति के लिए जाँच करना आवश्यक है। हमारे मामले में, प्रायोगिक समूह से डिवाइसआईडी फिर भी रिटारगेटिंग में गिर गया, लेकिन 1% से कम थे, जो नगण्य है।

प्रयोग का प्रत्यक्ष मूल्यांकन

हम निम्नलिखित लक्ष्य मीट्रिक में परिवर्तन पर विचार करेंगे: निरपेक्ष - कॉल की संख्या, और रिश्तेदार - नियंत्रण में प्रति उपयोगकर्ता कॉल की संख्या (क्रिटो नेटवर्क पर विज्ञापन देखें) और प्रयोगात्मक (विज्ञापन अक्षम थे) समूह। नीचे दिए गए कोड में, चर डेटा pandas.DataFrame संरचना को संदर्भित करता है, जो एक प्रयोगात्मक या नियंत्रण नमूने के परिणामों से बनता है।

असंबंधित नमूनों में मूल्यों के अंतर के सांख्यिकीय महत्व का आकलन करने के लिए पैरामीट्रिक और गैरपारंपरिक तरीके हैं। पैरामीट्रिक मूल्यांकन मापदंड अधिक सटीकता देते हैं, लेकिन उनके आवेदन में सीमाएं हैं - विशेष रूप से, मुख्य स्थितियों में से एक यह है कि नमूने में टिप्पणियों के लिए मापा मूल्यों को सामान्य रूप से वितरित किया जाना चाहिए।

1. सामान्यता के लिए नमूनों में मूल्यों के वितरण का अध्ययन

पहला कदम मानों के वितरण के प्रकार के लिए मौजूदा नमूनों की जांच करना है और मानक परीक्षणों का उपयोग करते हुए नमूनों के प्रकारों की समानता - कोलमोगोरोव-स्मिरनोव और शापिरो-विल्क्स मानदंड और स्केलेर.स्टैटस लाइब्रेरी में लागू बार्टलेट परीक्षण, पी-मान = 0.05 लेते हुए:

#    : def norm_test(df, pvalue = 0.05, test_name = 'kstest'): if test_name == 'kstest': st = stats.kstest(df, 'norm') if test_name == 'shapiro': st = stats.shapiro(df) sys.stdout.write('According to {} {} is {}normal\n'.format(test_name, df.name, {True:'NOT ', False:''}[st[1] < pvalue])) #    : def barlett_test(df1, df2, pvalue = 0.05): st = stats.bartlett(df1, df2) sys.stdout.write('Variances of {} and {} is {}equals\n'.format(df1.name, df2.name, {True:'NOT ', False:''}[st[1] < pvalue]))

इसके अतिरिक्त, परिणामों के दृश्य मूल्यांकन के लिए, आप हिस्टोग्राम फ़ंक्शन का उपयोग कर सकते हैं।

 data_agg = data.groupby(['bucket']).aggregate({'device_id': 'nunique', 'calls': 'sum'}).fillna(0) data_conv = data_agg['calls_auto']/data_agg['device_id'] data_conv.hist(bins=20)

आप हिस्टोग्राम को इस तरह पढ़ सकते हैं: नमूने में 10 बार 0.08, 1 - 0.14 का रूपांतरण हुआ था। यह किसी भी रूपांतरण संकेतक के लिए टिप्पणियों के रूप में उपकरणों की संख्या के बारे में कुछ नहीं कहता है।

हमारे मामले में, नमूनों में पूर्ण मान और सापेक्ष में (डिवाइस पर कॉल की संख्या) दोनों में पैरामीटर मूल्य का वितरण सामान्य नहीं है।
इस स्थिति में, आप मानक स्केलेरन.स्टेट्स लाइब्रेरी में लागू किए गए नॉनपैरेमेट्रिक विलकॉक्सन परीक्षण का उपयोग कर सकते हैं, या नमूनों के मूल्यों को सामान्य रूप में लाने का प्रयास कर सकते हैं और पैरामीट्रिक मानदंडों में से एक को लागू कर सकते हैं - छात्र का उर्फ टी-परीक्षण या शापिरो-विल्क्स परीक्षण।

2. सामान्य रूप में नमूनों में मूल्यों के वितरण को कम करने के तरीके

2.1। उप-बाल्टी

वितरण को सामान्य करने का एक तरीका उप-बाल्टी विधि है। इसका सार सरल है, और निम्नलिखित गणितीय थीसिस सैद्धांतिक आधार है: शास्त्रीय केंद्रीय सीमा प्रमेय के अनुसार, साधनों का वितरण सामान्य हो जाता है - n स्वतंत्र रूप से वितरित यादृच्छिक चर का योग एक वितरण सामान्य के करीब है, और, समकक्ष, पहले n स्वतंत्र पहचान के यादृच्छिक रूप से नमूने के वितरण का मतलब है। मात्रा सामान्य हो जाती है। इसलिए, हम मौजूदा बाल्टी को उप-बाल्टी में विभाजित कर सकते हैं और, तदनुसार, प्रत्येक बाल्टी के लिए उप-बाल्टी के औसत मूल्यों को लेते हुए, हम सामान्य के करीब वितरण प्राप्त कर सकते हैं:

 #   subbucket' data['subbucket'] = data['device_id'].apply(lambda x: randint(0,1000)) # Variant 1 data['subbucket'] = data['device_id'].apply(lambda x: hash(x)%1000) # Variant 2

बंटवारे के लिए कई विकल्प हो सकते हैं, यह सब डेवलपर की कल्पना और नैतिक सिद्धांतों पर निर्भर करता है - आप मूल बाल्टी से ईमानदार यादृच्छिक ले सकते हैं या हैश का उपयोग कर सकते हैं, जिससे योजना में इसे जारी करने के लिए तंत्र को ध्यान में रखा जा सकता है।

हालांकि, व्यवहार में, कई दर्जन कोड लॉन्च से, हमें केवल एक बार सामान्य वितरण प्राप्त हुआ, अर्थात, यह विधि न तो गारंटी है और न ही स्थिर है।

इसके अलावा, उप-बकेट में कुल कार्यों और उपयोगकर्ताओं के लिए लक्ष्य क्रियाओं और उपयोगकर्ताओं का अनुपात प्रारंभिक बैकसेट के अनुरूप नहीं हो सकता है, इसलिए आपको पहले जांचना होगा कि अनुपात बनाए रखा गया है।

 data[data['calls'] > 0].device_id.nunique()/data.device_id.nunique() # Total buckets = data.groupby(['bucket']).aggregate({'device_id': 'nunique', 'calls': 'sum'}) buckets[buckets['calls'] > 0].device_id.nunique()/buckets.device_id.nunique() # Buckets subbuckets = data.groupby(['subbucket']).aggregate({'device_id': 'nunique', 'calls': 'sum'}) subbuckets[subbuckets['calls'] > 0].device_id.nunique()/subbuckets.device_id.nunique() # Subbuckets

इस तरह के सत्यापन की प्रक्रिया में, हमें पता चला कि मूल चयन के सापेक्ष सबबकेट के लिए रूपांतरण अनुपात संरक्षित नहीं हैं। चूंकि हमें आउटपुट और स्रोत नमूनों में कॉल के हिस्से के अनुपात की निरंतरता की गारंटी देने की आवश्यकता है, इसलिए हम वर्ग संतुलन को लागू करते हैं, वेटिंग को जोड़ते हैं ताकि डेटा को उपसमूहों द्वारा अलग से चुना जाए: लक्ष्य कार्यों के साथ टिप्पणियों से अलग और सही अनुपात में लक्ष्य कार्यों के बिना टिप्पणियों के साथ अलग से। इसके अलावा, हमारे मामले में, नमूने असमान रूप से वितरित किए गए थे; सहज रूप से, ऐसा लगता है कि औसत में बदलाव नहीं होना चाहिए, लेकिन नमूनों की गैर-एकरूपता कैसे विचरण को प्रभावित करती है यह फैलाव के फॉर्मूले से स्पष्ट नहीं है। यह स्पष्ट करने के लिए कि नमूनों के आकार में अंतर परिणाम को प्रभावित करता है या नहीं, शी-स्क्वायर मानदंड का उपयोग किया जाता है - यदि सांख्यिकीय रूप से महत्वपूर्ण अंतर का पता लगाया जाता है, तो एक छोटे आकार के साथ एक बड़ा डेटा-फ्रेम का नमूना लिया जाएगा:

 def class_arrays_balancer(df1, df2, target = 'calls', pvalue=0.05): df1_target_size = len(df1[df1[target] > 0]) print(df1.columns.to_list()) df2_target_size = len(df2[df2[target] > 0]) total_target_size = df1_target_size + df2_target_size chi2_target, pvalue_target, dof_target, expected_target = chi2_contingency([[df1_target_size, total_target_size], [df2_target_size, total_target_size]]) df1_other_size = len(df1[df1[target] == 0]) df2_other_size = len(df1[df1[target] == 0]) total_other_size = df1_other_size + df2_other_size chi2_other, pvalue_other, dof_other, expected_other = chi2_contingency([[df1_other_size, total_other_size], [df2_other_size, total_other_size]]) df1_target, df2_target, df1_other, df2_other = None, None, None, None if pvalue_target < pvalue: sample_size = min([df1_target_size, df2_target_size]) df1_rnd_indx = np.random.choice(df1_target_size, size=sample_size, replace=False) df2_rnd_indx = np.random.choice(df2_target_size, size=sample_size, replace=False) df1_target = pd.DataFrame((np.asarray(df1[df1[target] == 1])[df1_rnd_indx]).tolist(), columns = df1.columns.tolist()) df2_target = pd.DataFrame((np.asarray(df2[df2[target] == 1])[df2_rnd_indx]).tolist(), columns = df2.columns.tolist()) if p_value_other < pvalue: sample_size = min([df1_other_size, df2_other_size]) df1_rnd_indx = np.random.choice(df1_other_size, size=sample_size, replace=False) df2_rnd_indx = np.random.choice(df2_other_size, size=sample_size, replace=False) df1_other = pd.DataFrame((np.asarray(df1[df1[target] == 0])[df1_rnd_indx]).tolist(), columns = df1.columns.tolist()) df2_other = pd.DataFrame((np.asarray(df2[df2[target] == 0])[df2_rnd_indx]).tolist(), columns = df2.columns.tolist()) df1 = pd.concat([df1_target, df1_other]) df2 = pd.concat([df2_target, df2_other]) return df1, df2 exp_classes, control_classes = class_arrays_balancer(data_exp, data_control)

आउटपुट पर, हम आकार में संतुलित डेटा प्राप्त करते हैं और प्रारंभिक रूपांतरण अनुपात के अनुरूप होते हैं, अध्ययन किए गए मेट्रिक्स (उप-बाल्टी के लिए औसत मूल्यों की गणना) जिसमें वे पहले से ही सामान्य रूप से वितरित किए जाते हैं, जिसे नेत्रहीन दोनों देख सकते हैं और परीक्षण मानदंडों को लागू करने के परिणामों से हमें पहले से ही ज्ञात हैं। सामान्यता (पी-मान के साथ = = 0.05)। उदाहरण के लिए, सापेक्ष संकेतकों के लिए:

 data_conv = (data[data['calls'] > 0].groupby(['subbucket']).calls.sum()*1.0/data.groupby(['subbucket']).device_id.nunique()) data_conv.hist(bins = 50)

अब, टी-टेस्ट को उप-बाल्टी के औसत पर लागू किया जा सकता है (इस प्रकार, यह डिवाइस_आईडी नहीं है, डिवाइस नहीं है, लेकिन उप-बाल्टी जो अवलोकन के रूप में कार्य करता है)।

यह सुनिश्चित करने के बाद कि परिवर्तन सांख्यिकीय रूप से महत्वपूर्ण हैं, हम स्पष्ट विवेक के साथ, वह कर सकते हैं जो हमने सभी के लिए शुरू किया था - नरभक्षण की गणना:

 (data_exp.groupby(['subbucket']).calls.avg() - data_cntrl.groupby(['subbucket']).calls.avg() )/ data_exp.groupby(['subbucket']).calls.avg()

हर व्यक्ति को विज्ञापनों के बिना ट्रैफ़िक होना चाहिए, अर्थात प्रायोगिक।

3. बूटस्ट्रैप विधि

बूटस्ट्रैप विधि उप-बाल्टी विधि का एक विस्तार है और इसके अधिक उन्नत और उन्नत संस्करण का प्रतिनिधित्व करता है; पायथन में इस पद्धति का एक सॉफ्टवेयर कार्यान्वयन फेसबुक बूटस्ट्रैप्ड लाइब्रेरी में पाया जा सकता है।
संक्षेप में, बूटस्ट्रैप के विचार को निम्नानुसार वर्णित किया जा सकता है: एक विधि समान रूप से उप-बकेट विधियों में बेतरतीब ढंग से उत्पन्न नमूनों के एक निर्माता से अधिक कुछ नहीं है, लेकिन संभव पुनरावृत्ति के साथ। हम सामान्य आबादी से प्लेसमेंट कह सकते हैं (यदि कोई मूल नमूना कह सकते हैं) वापसी के साथ। आउटपुट पर, औसत (या मध्यमा, मात्रा, आदि) प्रत्येक उत्पन्न होने वाले उपसमूहों के औसत से बनता है।

फेसबुक बूटस्ट्रैप लाइब्रेरी के मुख्य तरीके :

 bootstrap()

- उपसमूह बनाने के तंत्र को लागू करता है; डिफ़ॉल्ट रूप से कम बाउंड (5 प्रतिशत) और ऊपरी बाउंड (95 प्रतिशत) रिटर्न; इस श्रेणी में असतत वितरण को वापस करने के लिए, पैरामीटर return_distribution = True (यह जनरेट_डिस्ट्रिब्यूशन () हेल्पर फंक्शन) से उत्पन्न होता है ।

आप num_iterations पैरामीटर का उपयोग करके पुनरावृत्तियों की संख्या निर्दिष्ट कर सकते हैं, जिसमें उप- प्रजातियां उत्पन्न होंगी, और प्रत्येक पुनरावृत्ति के लिए iteration_batch_size उप संख्याएँ । Gener_distributions () के आउटपुट पर, पुनरावृत्तियों की संख्या के बराबर एक नमूना के साथ एक नमूना उत्पन्न किया जाएगा num_iterations , जिनमें से तत्व प्रत्येक पुनरावृत्ति पर गणना किए गए iteration_batch_size नमूनों के मूल्यों का औसत होगा। नमूनों की बड़ी मात्रा के साथ, डेटा अब मेमोरी में फिट नहीं हो सकता है, इसलिए ऐसे मामलों में iteration_batch_size के मूल्य को कम करना उचित है।

उदाहरण : मूल नमूना 2,000,000 होने दें; num_iterations = 10,000, iteration_batch_size = 300. फिर, 10,000 पुनरावृत्तियों में से प्रत्येक में, 2,000,000 वस्तुओं की 300 सूचियों को मेमोरी में संग्रहीत किया जाएगा।

फ़ंक्शन कई प्रोसेसर कोर पर समानांतर कंप्यूटिंग की अनुमति देता है, कई थ्रेड्स पर, num_threads पैरामीटर का उपयोग करके आवश्यक संख्या निर्धारित करता है।

 bootstrap_ab()

उपरोक्त वर्णित बूटस्ट्रैप () फ़ंक्शन के समान सभी क्रियाएं करता है, हालांकि, इसके अलावा, औसत मानों का एकत्रीकरण भी stat_func में निर्दिष्ट विधि द्वारा किया जाता है - num_iterations के मूल्यों से। इसके बाद, तुलनात्मक पैरामीटर में निर्दिष्ट मीट्रिक की गणना की जाती है, और सांख्यिकीय महत्व का अनुमान लगाया जाता है।

 compare_functions

- कार्यों का एक वर्ग जो आकलन के लिए मैट्रिक्स के निर्माण के लिए उपकरण प्रदान करता है:

 compare_functions.difference() compare_functions.percent_change() compare_functions.ratio() compare_functions.percent_difference() # difference = (test_stat - ctrl_stat) # percent_change = (test_stat - ctrl_stat) * 100.0 / ctrl_stat # ratio = test_stat / ctrl_stat # percent_difference = (test_stat - ctrl_stat) / ((test_stat + ctrl_stat) / 2.0) * 100.0

 stats_functions

- कार्यों का एक वर्ग जिसमें से अध्ययन किए गए मीट्रिक के एकत्रीकरण की विधि का चयन किया जाता है:

 stats_functions.mean stats_functions.sum stats_functions.median stats_functions.std

Stat_func के रूप में , आप उदाहरण के लिए एक कस्टम उपयोगकर्ता-परिभाषित फ़ंक्शन का उपयोग कर सकते हैं:

 def test_func(test_stat, ctrl_stat): return (test_stat - ctrl_stat)/test_stat bs.bootstrap_ab(test.values, control.values, stats_functions.mean, test_func, num_iterations=5000, alpha=0.05, iteration_batch_size=100, scale_test_by=1, num_threads=4)

वास्तव में, test_stat - ctrl_stat) / test_stat हमारे नरभक्षण की गणना का सूत्र है।

वैकल्पिक रूप से, या एक व्यावहारिक प्रयोग के उद्देश्य से, आप शुरू में बूटस्ट्रैप () का उपयोग करके वितरण प्राप्त कर सकते हैं, टी-परीक्षण का उपयोग करके लक्ष्य मैट्रिक्स में अंतर के सांख्यिकीय महत्व की जांच कर सकते हैं, और फिर उनके लिए आवश्यक जोड़तोड़ लागू कर सकते हैं।
इस पद्धति का उपयोग करके "गुणवत्ता" सामान्य वितरण कैसे प्राप्त किया जा सकता है, इसका एक उदाहरण:

अधिक विस्तृत प्रलेखन भंडार पृष्ठ पर पाया जा सकता है।

फिलहाल, यह वह सब है जो मैं चाहता था (या प्रबंधित) के बारे में बात करते हैं। मैंने संक्षेप में उपयोग किए गए तरीकों और उनके कार्यान्वयन की प्रक्रिया का स्पष्ट रूप से वर्णन करने की कोशिश की। यह संभव है कि कार्यप्रणालियों को समायोजन की आवश्यकता है, इसलिए मैं प्रतिक्रिया और समीक्षाओं के लिए आभारी रहूंगा।

मैं अपने सहयोगियों को भी इस काम को तैयार करने में उनकी मदद के लिए धन्यवाद देना चाहता हूं। यदि लेख मुख्य रूप से सकारात्मक प्रतिक्रिया प्राप्त करता है, तो मैं यहां उनके नाम या उपनाम (पूर्व समझौते द्वारा) इंगित करूंगा।

सभी को शुभकामनाएँ! :)

PS प्रिय चैम्पियनशिप चैनल , ए / बी परीक्षण के परिणामों का मूल्यांकन करने का कार्य डेटा साइंस में सबसे महत्वपूर्ण है, क्योंकि उत्पादन में नए एमएल-मॉडल का एक भी लॉन्च ए / बी के बिना पूरा नहीं होता है। शायद ए / बी परीक्षण के परिणामों के मूल्यांकन के लिए एक प्रणाली विकसित करने के लिए प्रतियोगिता आयोजित करने का समय आ गया है? :)

क्लासिक ए / बी परीक्षण और बूटस्ट्रैप विधि के आधार पर नरभक्षण की गणना