बड़ी खोज में आधारभूत संरचना ए / बी प्रयोग। यैंडेक्स रिपोर्ट

A / B परीक्षण संपूर्ण दर्शकों को प्रकाशित करने से पहले इंटरफेस का परीक्षण करने का एक शक्तिशाली तरीका है। मैंने यह बताने का फैसला किया कि इस उपकरण में क्या है, इसमें कौन-सी लॉगिंग सुविधाएँ हैं, कैसे मेट्रिक्स संकलित हैं, और फ्रंटेंड में प्रयोगों का सार क्या है। आइए दैनिक विश्लेषणात्मक कार्यों को हल करने के लिए उनके डिवाइस और सेवाओं के बारे में बात करते हैं। हम एक डेवलपर के लिए कई विकास मार्गों पर चर्चा करेंगे जो लगता है कि पहले से ही सब कुछ करने में सक्षम है, लेकिन अधिक चाहता है।



- मेरा नाम लेसहा है, मैं खोज में काम करता हूं और सबसे महत्वपूर्ण, शायद यैंडेक्स उत्पाद - खोज परिणाम विकसित करता हूं।

आप सभी, एक ही रास्ता या कोई अन्य, कभी भी खोजों में से किसी का भी उपयोग किया है। कुछ शब्द। इस मुद्दे में विभिन्न ब्लॉक शामिल हैं। सरल कार्बनिक दस्तावेज हैं जो हम पूरे इंटरनेट से एकत्र करते हैं और किसी तरह जानते हैं कि कैसे प्रस्तुत किया जाए, और ऐसे विशेष ब्लॉक हैं जिन्हें हम विशेष मार्कअप के रूप में प्रदर्शित करते हैं। हम उनकी सामग्री के बारे में बहुत से डेटा जानते हैं। इन ब्लॉकों को जादूगरनी कहा जाता है। यांडेक्स द्वारा अपनाई गई विशिष्ट शब्दावली और न केवल।

आज मैं आपको बताना चाहता हूं कि हम अपनी गतिविधि के इस क्षेत्र में कैसे प्रयोगों, किस बारीकियों, औजारों और हमारे ज़ाशनिकों में अद्भुत आविष्कार करते हैं।

A / B परीक्षण किस लिए होता है?

कहाँ से शुरू करें? Yandex को A / B प्रयोगों की आवश्यकता क्यों है?

मैं गीत के साथ शुरुआत करना चाहूंगा। इतनी देर पहले, अपनी बेटी के साथ, मैंने 40 मिनट में एक लघु वैज्ञानिक फिल्म “4.5 बिलियन वर्ष” देखी। पृथ्वी का इतिहास। " बहुत बार ए / बी प्रयोग होते हैं। इनमें शामिल हैं। मैंने इस स्लाइड पर सबसे दिलचस्प और मजेदार बनाने की कोशिश की। यह तब है जब विकास की कई शाखाएँ हैं। उदाहरण के लिए, दो परिवार हैं: मार्सुपियल और प्लेसेंटल। और जैसा कि हम अब देखते हैं, अपरा किसी तरह जीतती है। इसी कारण वे जीतते हैं।



यह पहले से ही मानव मस्तिष्क की कल्पना है। मार्सुपालिस के जन्मपूर्व और आगे के विकास में, खोपड़ी बॉक्स जल्दी से कठोर हो जाता है और मस्तिष्क को विकसित होने से रोकता है। और अपरा में, सब कुछ आगे बढ़ता है, सब कुछ नरम होता है जब तक कि मस्तिष्क खांचे के साथ सिलवटों नहीं बन जाता है, सतह बढ़ती है, जिससे नियोकोर्टेक्स खड़ी हो जाती है। नतीजतन, अपरा विकासवाद में जीत जाएगा। क्या कहना है? प्रकृति में विकास है, और इसके ड्राइविंग बल उत्परिवर्तन और प्राकृतिक चयन हैं, जैसा कि आप शायद जानते हैं।





कंपनी के पास प्रकृति के ए / बी प्रयोगों की एक समानता है: कोई भी व्यवसाय निश्चित रूप से विकास करना चाहता है और कुछ को बदलने के लिए, कुछ को बदलने के तरीके के रूप में ए / बी प्रयोगों का उपयोग करता है। कंपनी इन सभी प्रयोगों का चयन करने के लिए सभी गणितीय शक्ति का उपयोग करती है।

ए / बी प्रयोगों और पूरे विकास का लक्ष्य लक्ष्यों को प्राप्त करना है, जो बाहर से अपने आप को निरीक्षण करने में सक्षम हैं, प्रतियोगियों के साथ तुलना करते हैं, और कुछ नए निचे, परिकल्पनाओं की तलाश करते हैं। सामान्य तौर पर डेवलपर्स के लिए, विशेष रूप से फ्रंट-एंड विक्रेताओं के लिए, उत्पादन के एक छोटे से अंश पर नई सुविधाओं का परीक्षण करना महत्वपूर्ण है।



एक छोटी कहानी कुछ इस तरह दिखती है। हम यह कह सकते हैं कि 2010, जब हमारे उत्पाद प्रबंधकों ने पहला ए / बी प्रयोग किया था, बिग बैंग के बाद ऐसी अवधि है। कुछ स्टार क्लस्टर अभी-अभी उठे हैं, ए / बी प्रयोगों का संचालन कैसे करना है, क्या देखना है, कैसे लॉग इन करना है, इसकी समझ। पहले धक्कों, पहली गलतियों जमा हुए थे।

2010 से 2019 की अवधि के दौरान, हमने महत्वपूर्ण परिणाम हासिल किए। आज, लॉग, प्रयोग, मैट्रिक्स, लक्ष्य, उपलब्धियों और इसी तरह के बारे में ये सभी शर्तें हमारे लिए पहले से ही बुनियादी हैं, विशेष रूप से नए डेवलपर्स के लिए नए लोगों के लिए। यह हमारी कठबोली, हमारी आंतरिक यांडेक्स मानसिकता है।

बड़ी खोज

हम महान खोज के बारे में सीधे मांस के पास जाते हैं। इसकी संरचना में बिग सर्च कुछ इस तरह दिखता है।


हमारे पास एक ब्राउज़र, एक बैलेंसर, बहुत सारे डेटा सेंटर और हुड के नीचे एक विशाल समृद्ध बुनियादी ढांचा है। आरेख दर्शाता है कि डिवाइस जटिल है, कई घटक हैं। और जो सबसे आश्चर्यजनक है, ये सभी घटक ए / बी प्रयोगों का संचालन करने में सक्षम हैं और निश्चित रूप से, लॉग को लिखते और विश्लेषण करते हैं।

लॉग

लॉग कई, कई घटकों द्वारा लिखे गए हैं। बेशक, हमारे लिए फ्रंटएंड के संदर्भ में बात करना अधिक दिलचस्प है। फ्रंटेंड दो बड़े महत्वपूर्ण स्लाइस को लॉग करता है। ये विशुद्ध रूप से तकनीकी लॉग हैं जो कुछ समय के प्रत्यक्ष माप से संबंधित हैं, ग्राहक उपकरणों पर प्रदर्शन। वास्तविक उपयोगकर्ता माप, आरयूएम मेट्रिक्स। यहाँ पहली बाइट से पहले, पहले रेंडर करने से पहले, सभी DOM सामग्री लोड करने से पहले और अन्तरक्रियाशीलता से पहले के समय हैं।

इसके साथ ही, सर्वर और क्लाइंट टाइपसेटिंग दोनों द्वारा लिखे गए लॉग हैं। ये किराने की लॉग हैं। हमारी वास्तविकताओं में, यहाँ भी "बाओबाब" शब्द है। बाओबाब क्यों? क्योंकि पेड़: घटक पेड़, फीचर ट्री, जिसमें एक मुख्य लॉग इंप्रेशन, क्लिक और अन्य तकनीकी घटनाओं के लॉग हैं जिन्हें हम बाद के विश्लेषण के लिए पंजीकृत करते हैं।



यह स्लाइड Yandex के अंदर लॉग को संग्रहीत करने और वितरित कंप्यूटिंग के लिए एक उपकरण दिखाती है। हमारे पास इसे यैंडेक्स टेबल्स, वाईटी कहा जाता है। Yandex में विकसित की गई हर चीज में Y अक्षर है। मैंने बाहरी दुनिया में इस उपकरण के एनालॉग को वापस बुलाने की कोशिश की। मेरी राय में, फ़ेसबुक के पास एक मैप्रेड्यूज़ टूल है जिसे हैडोप कहा जाता है। यह आपको भंडारण और गणना को लागू करने की अनुमति देता है।

स्लाइड में इस साल 8 अगस्त के आंकड़े दिखाए गए हैं। सबसे मूल्यवान खोज लॉग में से एक, उपयोगकर्ता सत्र, अपने रूप में प्रति दिन 54 टेराबाइट्स है। यह एक बड़ी मात्रा में जानकारी है जिसे इसके कच्चे रूप में फावड़ा नहीं दिया जा सकता है। इसलिए, कुछ उच्च स्तरीय कहानियों का निर्माण करने में सक्षम होना चाहिए।

लॉग के साथ काम करने के लिए, विशेष रूप से, हमारे सभी विशेष रूप से अनुभवी डेवलपर्स को किसी प्रकार के विश्लेषणात्मक उपकरण को मास्टर करना होगा।



Yandex के अंदर, एक YQL उपकरण है। यह हमारे लॉग पर SQL जैसी क्वेरी और गणना भाषा है, जो आपको सभी प्रकार के वातावरण बनाने की अनुमति देता है, केवल निम्न-स्तरीय विश्लेषण करता है, सीधे विशिष्ट संख्याओं, औसत प्रतिशत को देखता है और रिपोर्ट बनाता है। उपकरण काफी शक्तिशाली है, इसमें एक विशाल शाखा एपीआई और कई विशेषताएं हैं। इसके आधार पर कई बुनियादी ढाँचे की प्रक्रियाएँ निर्मित की जाती हैं।



इसके अलावा, हमारे फ्रंट-एंड डेवलपर्स और, विशेष रूप से, विश्लेषकों के बीच, जुपिटर टूल काफी मांग और लोकप्रियता में है। यह पहले से ही Numpy टूल्स की शक्ति और आपके लिए ज्ञात अन्य के साथ संभव है, उदाहरण के लिए, पंडों के लिए, हमारे लॉग पर कुछ प्रकार के परिवर्तन और उच्च-स्तरीय एनालिटिक्स करना।



हम वास्तव में लॉग को महत्व देते हैं, शाब्दिक रूप से प्रत्येक प्रविष्टि के लिए लड़ते हैं। ऐसा करने के लिए, हमारी खोज परियोजना के भंडार में, फ्रंट-एंड कोड में परीक्षण होते हैं जो हमें यह सत्यापित करने की अनुमति देते हैं कि सभी घटनाओं को सही ढंग से दर्ज किया गया है। हम अपनी प्रत्येक विशेषताओं के लिए परीक्षण लिखते हैं, हम एक विशिष्ट स्क्रिप्ट की जांच कर सकते हैं, कुछ लिंक पर क्लिक कर सकते हैं, बटन, हमारे इंटरफ़ेस में कुछ दीर्घाओं के माध्यम से स्क्रॉल कर सकते हैं और देख सकते हैं कि वास्तव में लॉग की संख्या उन मूल्यों के साथ दर्ज की गई है जो हम उम्मीद करते हैं, जिसे हमने रिकॉर्ड किया था, जिसके लिए हमने बनाया था कुछ मानकों। और फिर हम इन संदर्भ मूल्यों में जाएंगे।



हम अपने इंटरफेस के प्रदर्शन पर भी बहुत ध्यान देते हैं। नई कार्यक्षमता के साथ या मौजूदा कार्यक्षमता के रिफैक्टरिंग के साथ किसी भी पूल अनुरोध में, हम कुछ कार्यों के समय, वॉल्यूम, कॉल की संख्या पर बहुत ध्यान देते हैं। स्लाइड पर एक पूरी तरह से यादृच्छिक पूल अनुरोध की रिपोर्ट में से एक है। हमारे पास खोज के दो चरण हैं, एक अजाक्स प्रकार है: पहले हम खोज तीर के साथ पृष्ठ पर हेडर को लोड करते हैं, और जब सभी खोज स्रोत काम करते हैं, तब भी हम आउटपुट के मुख्य भाग को रेंडर करते समय टेम्पलेट और सभी प्रदर्शन को माप सकते हैं।



हमारे लिए, जैसा कि, निश्चित रूप से, और आईटी में किसी अन्य विषय के लिए, उत्पादन और विशेष वातावरण में त्रुटियां बहुत महत्वपूर्ण हैं। हमारे पास त्रुटि बूस्टर नामक एक उपकरण है, जो आपको वास्तविक समय में उत्पादन में वास्तविक त्रुटियों को काफी अच्छे समय सीमा के साथ देखने की अनुमति देता है। हुड के तहत, यह टूल ClickHouse डेटाबेस का उपयोग करता है, जिसमें अनुरोधों को बहुत तेज़ी से संसाधित किया जाता है, और डेटाबेस को ही विश्लेषणात्मक कार्य के लिए डिज़ाइन किया गया है। अधिकांश इंटरैक्शन विशेष रूप से ClickHouse के साथ कार्यान्वित किए जाते हैं।

हमने लॉग के बारे में, उनकी किस्मों के बारे में बात की। उनमें से बहुत सारे हैं। प्रयोगों को स्थानांतरित करने और कुछ का विश्लेषण करने के लिए, कुछ पर निर्णय लेने के लिए, हमारे पास बड़ी संख्या में मीट्रिक हैं। कच्चे डेटा की बड़ी मात्रा में ये कुछ संकल्प हैं।

मैट्रिक्स

यांडेक्स में अब लगभग 8.6 हजार विभिन्न मेट्रिक्स हैं जो समान कच्चे लॉग्स पर आधारित हैं - और उच्च-स्तरीय वाले, जैसे कि खोज और उपयोगकर्ता सत्र। वे बहुत विविध हैं, और अक्सर सटीक रूप से सुविधा-उन्मुख होते हैं। यही है, ये एक विशेष जादूगर के लिए विशिष्ट मैट्रिक्स हैं, एक विशिष्ट ब्लॉक, अनुरोधों का एक टुकड़ा, दस्तावेज़ के प्रकार जो हम प्रदर्शित करते हैं।



हमारे परीक्षण परिदृश्यों में, हमारे स्वयं के इंटरफेस में मैट्रिक्स के मूल्य की जांच करना संभव है। जब हम कुछ परिदृश्यों को खो देते हैं, तो हम लॉग पर गणना और कुछ मीट्रिक मूल्यों की सोर्सिंग के परिणामों को देख सकते हैं।



स्पीड मेट्रिक्स द्वारा एक महत्वपूर्ण भूमिका निभाई जाती है। वे सभी सरल पर्याप्त व्यवस्थित हैं। यह आमतौर पर या तो किसी प्रकार का प्रतिशत है, या औसत मूल्य और इसके विचलन और सांख्यिकीय महत्व है।



उनमें से बहुत सारे हैं, वे मानकीकरण के समय और उपयोगकर्ता के डिवाइस पर सामग्री के वितरण के समय को ध्यान में रखते हैं।



प्रत्यक्ष ग्राहक प्रदर्शन को भी ध्यान में रखा जाता है: समय प्रतिपादन, अन्तरक्रियाशीलता समय और अन्य।

प्रयोगों

तो हम प्रयोग कैसे करते हैं? उदाहरण के लिए, दो उपयोगकर्ता हैं जिन्होंने अचानक यांडेक्स खोज का उपयोग करने का निर्णय लिया। हम एक दूसरे के साथ सहमत थे - हम आज जाते हैं, उदाहरण के लिए, स्टारबक्स के लिए, और हमारी खोज का उपयोग करके उसे ढूंढ रहे हैं। हमारे खोज स्रोतों के बुनियादी ढांचे में गिरने के उनके अनुरोध, कुछ मार्करों के साथ चिह्नित हैं। मार्करों द्वारा, ये उपयोगकर्ता विभिन्न प्रयोग टोकरी में आते हैं। प्रत्येक टोकरी में झंडे का एक विशिष्ट सेट होता है जो प्रत्येक खोज स्रोतों में प्रयोगों को सक्रिय करता है। उदाहरण के लिए, ये दोनों उपयोगकर्ता खोज परिणामों में गए और खोज संकेत का उपयोग किया। पहला "स्टारबक्स" पेश करता है, शब्दों के रूप में कुछ शब्द के लिए शब्द संकेत देखता है। जब वह एक खोज के साथ समाप्त होता है, तो वह इस संगठन के बारे में एक ब्लॉक देखता है, कहता है - हां, मैंने इसे पाया, मैं वहां जाता हूं। और दूसरा उपयोगकर्ता खोज संकेत के इंटरफ़ेस में पहले से ही एक नेविगेशन संकेत देता है, जल्दी से संगठन में स्विच करता है और तेजी से प्रतिक्रिया प्राप्त करता है।

इन सभी परिवर्तनों के लिए, इंटरफ़ेस में अंतर, एक निश्चित कार्यक्षमता में, बीईएम उपकरण जिम्मेदार है। यह केवल एक रूपरेखा नहीं है, बल्कि दृश्य घटकों की घोषणा, उनके संशोधनों के लिए एक पूरी पद्धति है। यहां तक ​​कि यहां पृष्ठभूमि में बहुत डीएनए गुणसूत्र हैं जो बेम के माध्यम से उत्परिवर्तित करते हैं। वास्तव में, बाम यैंडेक्स डीएनए है, सामने के अंत में प्रयोगों का डीएनए।



कार्यप्रणाली में कई कार्यान्वयन हैं। उनमें से एक पहले से स्थापित i-bem स्टैक पर है, जो कहीं न कहीं jQuery से जुड़े हुड के नीचे है। यह पहले से ही काफी परिपक्व तकनीक है। ऐसे ढेर पर, हम बहुत सारी समस्याओं को हल कर सकते हैं। आज, पहले से ही रिएक्ट फ्रेमवर्क और टाइपस्क्रिप्ट भाषा पर लागू होने वाली बेम-रिएक्शन तकनीक काफी बढ़ावा और विकास प्राप्त कर रही है। ये सभी उपकरण आपको प्रयोगों का निर्माण करने और मुख्य विचार का प्रचार करने की अनुमति देते हैं - दृश्य घटकों और उनके संशोधनों दोनों को घोषित करने की क्षमता। हमारे पास उन अलग-अलग प्रयोगों की घोषणाओं के साथ भंडार में एक अलग स्तर है। लेकिन 2015 के आसपास, उन्होंने महसूस किया कि हमारे प्रायोगिक झंडे को पूरे फ्रंट-एंड कोड में फैलाना आर्थिक रूप से लाभहीन था। तथ्य यह है कि प्रयोगों की इकाइयां वास्तविक उत्पादन तक पहुंचती हैं, और जो कुछ भी उपयोग नहीं किया जाता है वह बाद में कोड से काटना बहुत मुश्किल है। इसलिए, हमने उन्हें एक अलग स्तर की परिभाषा में निकाल दिया। और यहां फिर से बीम-कार्यप्रणाली के लिए धन्यवाद, जिसने हमें पुनर्परिभाषित स्तरों का उपयोग करने का अवसर दिया। हम उन पर अपने प्रयोगों की घोषणा करते हैं।



यह प्रयोगों की रिपोर्ट में से एक है। दो कॉलम: नियंत्रण और प्रयोग। इससे पहले कि आप वह सब कुछ भी न करें जो रिपोर्ट में है। वह इतनी लंबी क्यों है? सबसे पहले, आपने देखा कि हमारे पास कितने मेट्रिक्स हैं - 8.6 हजार।



लेकिन मुख्य भूमिका वास्तव में केवल मैट्रिक्स द्वारा निभाई जाती है जो भिन्न होती है। और हम एक ही समय में अपने प्रयोगों का संचालन करने में सक्षम हैं, अर्थात्, एक उपयोगकर्ता पर हम एक साथ लगभग 20 प्रयोग कर सकते हैं। वे किसी भी तरह से एक दूसरे के साथ संघर्ष नहीं करते हैं, और हमारे सभी प्रयोगों में केवल एक दूसरे को प्रभावित किए बिना, उनके विशुद्ध रूप से उत्पाद मेट्रिक्स को दाग दिया जाता है। अब उत्पादन में लगभग 800 प्रयोग हैं: न केवल खोज इंजन, बल्कि कई सेवाओं से भी। उपकरण को एबी कहा जाता है, जो आश्चर्य की बात नहीं है। सेवाएँ इसमें प्रयोग शुरू करती हैं, कुछ नमूनों की घोषणा करती हैं, और फिर मेट्रिक्स के बीच के अंतर को देखती हैं, जो कुछ अवधि के बाद प्रयोग और नियंत्रण में भिन्न होने लगते हैं।

संबंधित डेवलपर भूमिकाएँ

फ्रंट-एंड डेवलपर्स के काम में इस विविधता के परिणामस्वरूप, उनके बीच भी भूमिकाएं हैं। प्रयोगों पर विशेषज्ञ हैं, और इसके लिए हम आधिकारिक तौर पर यैंडेक्स आंतरिक नेटवर्क के ढांचे में उपलब्धियां देते हैं, लोग वास्तव में परीक्षा पास करते हैं। वे प्रयोगों का विश्लेषण करते हैं, विशेषज्ञों के बारे में अपने परिणामों को मान्य करते हैं और एक पासपोर्ट प्राप्त करते हैं जो कहता है: "मैं एक विश्लेषक हूं, मैं प्रयोगों का विश्लेषण कर सकता हूं।" और सामान्य तौर पर, हमारे मैट्रिक्स के साथ प्रयोगों के साथ सभी काम मुख्य रूप से उत्पाद को बेहतर बनाने पर केंद्रित होते हैं। मैं प्रतिनिधियों में से एक हूं, मैं उत्पाद को विकसित करने के लिए बहुत प्रेरित हूं, और न केवल कोड और प्रौद्योगिकी नहीं। और यह वास्तव में मुझे ड्राइव करता है जब मैं एक टीम में आता हूं और एक उत्पाद बनाता हूं।



निचला रेखा क्या है? हमारे पास हमारे स्टोरेज सिस्टम पर रोजाना बड़ी संख्या में लॉग लिखे जाते हैं। बड़ी संख्या में मीट्रिक हैं जिनकी हम गणना करते हैं, हम उन पर प्रयोग करते हैं। बहुत बड़ा बुनियादी ढांचा। शीर्ष आधुनिक उपकरण जो आपको भारी संख्या में उपकरण को लागू करने की अनुमति देता है, वह है बेम-रिएक्शन पैकेज। हम गति और गुणवत्ता, उत्पाद स्थिरता के संकेतकों पर बहुत ध्यान देते हैं। और सामान्य तौर पर, हम अपने डेवलपर्स में मुख्य विशेषता से संबंधित अधिक से अधिक नई भूमिकाओं में बढ़ रहे हैं - सीमांत। मेरे पास यह सब है। आपका ध्यान के लिए धन्यवाद।