सभी को नमस्कार। मेरा नाम दानिला है, मैं एक ऐसी टीम में काम करता हूं जो एविटो में विश्लेषणात्मक बुनियादी ढांचे का विकास करती है। इस बुनियादी ढांचे का केंद्र ए / बी परीक्षण है।

ए / बी प्रयोग एविटो में एक महत्वपूर्ण निर्णय लेने वाला उपकरण है। हमारे उत्पाद विकास चक्र में, ए / बी परीक्षण एक जरूरी है। हम हर परिकल्पना का परीक्षण करते हैं और केवल सकारात्मक बदलाव करते हैं।

हम सैकड़ों मीट्रिक एकत्र करते हैं और उन्हें व्यापार अनुभागों के लिए ड्रिल करने में सक्षम होते हैं: ऊर्ध्वाधर, क्षेत्र, अधिकृत उपयोगकर्ता, आदि। हम इसे स्वचालित रूप से प्रयोगों के लिए एक मंच का उपयोग करते हैं। लेख में, मैं आपको पर्याप्त विस्तार से बताऊंगा कि प्लेटफ़ॉर्म की व्यवस्था कैसे की जाती है और हम कुछ दिलचस्प तकनीकी विवरणों में गोता लगाएँगे।

ए / बी प्लेटफॉर्म के मुख्य कार्य निम्नानुसार तैयार किए गए हैं।

आपको जल्दी से प्रयोग चलाने में मदद करता है
अवांछित प्रयोग चौराहों को नियंत्रित करता है
मैट्रिक्स, स्टेट की गणना करता है। परीक्षण, परिणाम की कल्पना करता है

दूसरे शब्दों में, प्लेटफ़ॉर्म सबसे तेज़ी से त्रुटि-मुक्त निर्णय लेने में मदद करता है।

यदि हम परीक्षण के लिए भेजे जाने वाले सुविधाओं को विकसित करने की प्रक्रिया को छोड़ देते हैं, तो प्रयोग का पूरा चक्र इस तरह दिखता है:

ग्राहक (विश्लेषक या उत्पाद प्रबंधक) व्यवस्थापक पैनल के माध्यम से प्रयोग मापदंडों को कॉन्फ़िगर करता है।
इन मापदंडों के अनुसार विभाजित सेवा, ग्राहक डिवाइस के लिए आवश्यक ए / बी समूह वितरित करती है।
उपयोगकर्ता क्रियाएं कच्चे लॉग में एकत्र की जाती हैं जो एकत्रीकरण से गुजरती हैं और मैट्रिक्स में बदल जाती हैं।
सांख्यिकीय परीक्षणों के माध्यम से मेट्रिक्स चलाए जाते हैं।
परिणाम लॉन्च के अगले दिन आंतरिक पोर्टल पर देखे जाते हैं।

एक चक्र में सभी डेटा परिवहन में एक दिन लगता है। एक नियम के रूप में, प्रयोग एक सप्ताह तक चलता है, लेकिन ग्राहक को हर दिन परिणामों में वृद्धि मिलती है।

अब आइए डिटेल्स में डाइव करें।

प्रयोग प्रबंधन

व्यवस्थापक पैनल प्रयोगों को कॉन्फ़िगर करने के लिए YAML प्रारूप का उपयोग करता है।

यह एक छोटी सी टीम के लिए एक सुविधाजनक समाधान है: बिना किसी मोर्चे के विन्यास की क्षमताओं को अंतिम रूप देना। पाठ कॉन्फ़िगरेशन का उपयोग करना उपयोगकर्ता के लिए काम को सरल करता है: आपको माउस के साथ कम क्लिक करने की आवश्यकता है। इसी तरह के समाधान का उपयोग एयरबीएनबी ए / बी ढांचे द्वारा किया जाता है।

यातायात को समूहों में विभाजित करने के लिए, हम सामान्य नमक हैशिंग तकनीक का उपयोग करते हैं।

उपयोगकर्ताओं की "मेमोरी" के प्रभाव को खत्म करने के लिए, एक नया प्रयोग शुरू करते समय, हम दूसरे नमक के साथ अतिरिक्त मिश्रण करते हैं:

यही सिद्धांत यैंडेक्स की प्रस्तुति में वर्णित है।

प्रयोगों के संभावित खतरनाक चौराहों को रोकने के लिए, हम Google में "परतों" के समान तर्क का उपयोग करते हैं।

मेट्रिक्स संग्रह

हम वर्टिका में कच्चे लॉग लगाते हैं और उन्हें संरचना के साथ तैयारी तालिकाओं में जोड़ते हैं:

अवलोकन आमतौर पर सरल घटना काउंटर होते हैं। टिप्पणियों का उपयोग मीट्रिक गणना सूत्र में घटकों के रूप में किया जाता है।

किसी भी मीट्रिक की गणना करने का सूत्र अंश और भाजक में एक अंश है, जिसमें टिप्पणियों का योग है:

यांडेक्स की एक रिपोर्ट में, मैट्रिक्स को दो प्रकारों में विभाजित किया गया था: उपयोगकर्ताओं और अनुपात द्वारा। यह व्यावसायिक समझ में आता है, लेकिन बुनियादी ढांचे में अनुपात के समान सभी मैट्रिक्स पर विचार करना अधिक सुविधाजनक है। यह सामान्यीकरण वैध है, क्योंकि "पॉज़्यूज़र्नरी" मीट्रिक स्पष्ट रूप से एक अंश के रूप में प्रतिनिधित्व करने योग्य है:

हम मीट्रिक के अंश और हर में अवलोकनों को दो तरह से सारांशित करते हैं।
सरल:

यह टिप्पणियों के किसी भी सेट की सामान्य राशि है: खोजों की संख्या, विज्ञापनों पर क्लिक आदि।
और अधिक जटिल:

कुंजियों की एक अद्वितीय संख्या, समूहीकरण में जिसके द्वारा दी गई टिप्पणियों की कुल संख्या एक सीमा से अधिक है।

ऐसे फॉर्मूले आसानी से YAML कॉन्फिगरेशन का उपयोग करके सेट किए जाते हैं:

Groupby और थ्रेशोल्ड पैरामीटर वैकल्पिक हैं। बस वे समन की दूसरी विधि निर्धारित करते हैं।

वर्णित मानक आपको लगभग किसी भी ऑनलाइन मीट्रिक को कॉन्फ़िगर करने की अनुमति देते हैं, जिसके बारे में आप सोच सकते हैं। इसी समय, सरल तर्क को संरक्षित किया जाता है जो बुनियादी ढांचे पर अत्यधिक भार नहीं डालता है।

सांख्यिकीय मानदंड

हम शास्त्रीय तरीकों का उपयोग करके मैट्रिक्स द्वारा विचलन के महत्व को मापते हैं: टी-टेस्ट , मान-व्हिटनी यू-टेस्ट । इन मानदंडों को लागू करने के लिए मुख्य आवश्यक शर्त यह है कि नमूने में अवलोकन एक दूसरे पर निर्भर नहीं होना चाहिए। हमारे लगभग सभी प्रयोगों में, हम मानते हैं कि उपयोगकर्ता (यूआईडी) इस स्थिति को संतुष्ट करते हैं।

अब सवाल उठता है: अनुपात मेट्रिक्स के लिए टी-टेस्ट और एमडब्ल्यू-टेस्ट कैसे आयोजित करें? टी-टेस्ट के लिए, आपको नमूने के विचरण को पढ़ने में सक्षम होना चाहिए, और MW के लिए, नमूना "उपयोगकर्ता-परिभाषित" होना चाहिए।

उत्तर: आपको टेलर श्रृंखला में एक बिंदु पर पहले क्रम में अनुपात का विस्तार करने की आवश्यकता है $({E} \ left [X \ right], {E} \ left [Y \ right])$ :

यह सूत्र दो नमूनों (अंश और हर) को एक में परिवर्तित करता है, माध्य और विचरण को संरक्षित करता है (asymptotically), जो शास्त्रीय आँकड़ों के उपयोग की अनुमति देता है। परीक्षण।

इसी तरह के विचार को यैंडेक्स के सहयोगियों ने अनुपात रेखीयकरण विधि (एक बार और दो- समय उपस्थिति) कहा है।

स्केलिंग प्रदर्शन

CPU स्टैट के लिए फास्ट का उपयोग करना। मानदंड 56 कोर के साथ एक पूरी तरह से साधारण सर्वर पर मिनटों में लाखों पुनरावृत्तियों (उपचार बनाम नियंत्रण तुलना) को पूरा करना संभव बनाता है। लेकिन डेटा के बड़े संस्करणों के मामले में, प्रदर्शन में सबसे पहले, भंडारण में और डिस्क से समय पढ़ने के लिए।

यूआईडी मेट्रिक्स की गणना प्रतिदिन सैकड़ों अरबों मानों (एक साथ प्रयोग की बड़ी संख्या के कारण, सैकड़ों मैट्रिक्स और संचयी संचय के कारण) के साथ नमूने उत्पन्न करती है। हर दिन डिस्क से ऐसे वॉल्यूम को निचोड़ना बहुत समस्याग्रस्त है (वर्टिका कॉलम बेस के बड़े क्लस्टर के बावजूद)। इसलिए, हमें डेटा की कार्डिनैलिटी को कम करने के लिए मजबूर किया जाता है। लेकिन हम लगभग "बकेट" नामक तकनीक का उपयोग करते हुए विचरण के बारे में जानकारी के नुकसान के बिना ऐसा करते हैं।

यह विचार सरल है: हमारे पास यूआईडी है, विभाजन के शेष भाग के अनुसार, उन्हें "बाल्टियों की संख्या में तितर बितर करें" (हम बी द्वारा उनकी संख्या को निरूपित करते हैं):

अब हम नई प्रयोगात्मक इकाई - बाल्टी को पास करते हैं। हम बाल्टी में टिप्पणियों को सारांशित करते हैं (अंश और भाजक स्वतंत्र होते हैं):

इस परिवर्तन के साथ, टिप्पणियों की स्वतंत्रता पर शर्त पूरी हो जाती है, मीट्रिक मूल्य नहीं बदलता है, और यह सत्यापित करना आसान है कि मीट्रिक का विचरण (टिप्पणियों के नमूने पर औसत) संरक्षित है:

अधिक बाल्टी, कम जानकारी खो जाती है, और समानता में त्रुटि छोटी होती है। Avito में, हम B = 200 लेते हैं।

बाल्टी रूपांतरण के बाद मीट्रिक वितरण घनत्व हमेशा सामान्य के समान हो जाता है।

जितने बड़े नमूने आप चाहें उतने निश्चित आकार में घटाए जा सकते हैं। केवल इस मामले में संग्रहीत डेटा की मात्रा में वृद्धि केवल रैखिक रूप से प्रयोगों और मैट्रिक्स की संख्या पर निर्भर करती है।

परिणाम दृश्य

विज़ुअलाइज़ेशन टूल के रूप में, हम Tableau और Webview का उपयोग Tableau सर्वर पर करते हैं। हर एविटो कर्मचारी की वहां पहुंच है। यह ध्यान दिया जाना चाहिए कि झांकी अच्छा काम करती है। पूर्ण बैक / फ्रंट डेवलपमेंट का उपयोग करके समान समाधान को लागू करना अधिक संसाधन-गहन कार्य होगा।

प्रत्येक प्रयोग के परिणाम कई हजार संख्याओं की एक शीट हैं। विज़ुअलाइज़ेशन ऐसा होना चाहिए कि पहली और दूसरी तरह की त्रुटियों के कार्यान्वयन के मामले में गलत निष्कर्ष को कम से कम किया जाए, और साथ ही महत्वपूर्ण मैट्रिक्स और अनुभागों में परिवर्तन को "मिस" न किया जाए।

सबसे पहले, हम प्रयोगों के "स्वास्थ्य" मैट्रिक्स की निगरानी करते हैं। यही है, हम प्रश्नों का उत्तर देते हैं: "क्या यह सच है कि प्रतिभागियों को" प्रत्येक समूह में "डाला गया था?", "क्या यह अधिकृत या नए उपयोगकर्ताओं के बराबर है?"

सांख्यिकीय रूप से महत्वपूर्ण विचलन के मामले में, संबंधित कोशिकाओं पर प्रकाश डाला गया है। जब आप किसी भी संख्या पर होवर करते हैं, तो दिन की संचयी गतिशीलता प्रदर्शित होती है।

मैट्रिक्स वाला मुख्य डैशबोर्ड इस तरह दिखता है:

प्रत्येक पंक्ति एक विशिष्ट अनुभाग में एक विशिष्ट मीट्रिक द्वारा समूहों की तुलना है। दाईं ओर एक पैनल है जिसमें प्रयोगों और मैट्रिक्स के लिए फ़िल्टर हैं। नीचे - अनुभाग फ़िल्टर पैनल।

प्रत्येक मीट्रिक तुलना में कई मीट्रिक शामिल हैं। आइए उनके मूल्यों का विश्लेषण बाएं से दाएं करें:

1. MDE। न्यूनतम पता लगाने योग्य प्रभाव

Pre और the पहले और दूसरे प्रकार की पूर्व-चयनित त्रुटि संभावनाएं हैं। यदि परिवर्तन सांख्यिकीय रूप से महत्वपूर्ण नहीं है तो MDE बहुत महत्वपूर्ण है। निर्णय लेते समय, ग्राहक को यह याद रखना चाहिए कि स्टेट की कमी। महत्व कोई प्रभाव नहीं है। विश्वसनीय रूप से पर्याप्त है, हम केवल यह कह सकते हैं कि संभावित प्रभाव एमडीई से अधिक नहीं है।

2. MW | टी। मान-व्हिटनी यू- और टी-टेस्ट परिणाम

पैनल क्रमशः z- और टी-सांख्यिकी (MW और T के लिए) का मान प्रदर्शित करता है। टूलटिप में - पी-वैल्यू डायनेमिक्स। यदि परिवर्तन महत्वपूर्ण है, तो समूह के बीच अंतर के संकेत के आधार पर, सेल को लाल या हरे रंग में हाइलाइट किया जाता है। इस मामले में, हम कहते हैं कि मीट्रिक "रंगीन" है।

3. लिफ्ट। समूहों के बीच प्रतिशत अंतर

4. मीन | अंक | Den। मीट्रिक मूल्य, साथ ही अंश और भाजक अलग से

हम अंश और हर के लिए एक और टी-टेस्ट लागू करते हैं, जो समझने में मदद करता है कि किसका योगदान निर्णायक है।

5. एसटीडी। चयनात्मक मानक विचलन
6. हिस्ट। "बाल्टी" वितरण की सामान्यता के लिए शापिरो-विल्क परीक्षण।

यदि संकेतक लाल है, तो शायद नमूने में आउटलेयर या असामान्य रूप से लंबी पूंछ है। इस मामले में, आपको सावधानीपूर्वक इस मीट्रिक के अनुसार परिणाम लेने की आवश्यकता है, या बिल्कुल नहीं। संकेतक पर क्लिक करने से समूह द्वारा मीट्रिक का हिस्टोग्राम खुल जाता है। हिस्टोग्राम स्पष्ट रूप से विसंगतियों को दर्शाता है - निष्कर्ष निकालना आसान है।

निष्कर्ष

एविटो में ए / बी प्लेटफॉर्म का उद्भव एक वाटरशेड है जब हमारे उत्पाद तेजी से बढ़ने लगे। हर दिन, हम हरे रंग के प्रयोग करते हैं जो टीम को चार्ज करते हैं; और "रेड्स", जो विचार के लिए स्वस्थ भोजन प्रदान करते हैं।

हम ए / बी परीक्षण और मैट्रिक्स की एक प्रभावी प्रणाली बनाने में कामयाब रहे। अक्सर हमने जटिल समस्याओं को सरल तरीकों से हल किया। इस सादगी के कारण, बुनियादी ढांचे में सुरक्षा का एक अच्छा मार्जिन है।

मुझे यकीन है कि जो लोग अपनी कंपनी में ए / बी प्लेटफॉर्म का निर्माण करने जा रहे हैं, उन्हें लेख में कुछ दिलचस्प जानकारी मिली। मुझे आपके साथ अपना अनुभव साझा करने की खुशी है।

प्रश्न और टिप्पणी लिखें - हम उनका उत्तर देने का प्रयास करेंगे।

एविटो में ए / बी परीक्षण कैसे काम करता है?