ए / बी टेस्ट के पेशेवरों और विपक्ष: बड़ी कंपनियों का अनुभव

हाय, हब्रोस्क। कल हम पाठ्यक्रम "आईटी-परियोजनाओं के उत्पाद प्रबंधक" का शुभारंभ करेंगे। पाठ्यक्रम की शुरुआत की प्रत्याशा में, हम आपके साथ अपने मौजूदा शिक्षकों के अनुभव को साझा करने की जल्दबाजी करते हैं।

---

उत्पाद प्रबंधक के सबसे लोकप्रिय उपकरणों में से एक ए / बी परीक्षण है, और ओटीयूएस में अगला वेबिनार इस विषय के लिए समर्पित था। एक बार में तीन विशेषज्ञों ने इसमें हिस्सा लिया:

सर्गेई कोलोसकोव - ओज़ोन में उत्पाद प्रबंधक।
अलेक्जेंडर पोवारोव - ट्रांसफर वाइज में उत्पाद प्रबंधक।
एंड्री मेंडे - Booking.com पर प्रोडक्ट ओनर।

यह चर्चा जोरदार और गर्म रही। हम पर चर्चा की:

• किन मामलों में ए / बी परीक्षणों का उपयोग करना सबसे अच्छा है?
• मैट्रिक्स को कैसे परिभाषित करें और परिणामों की सही व्याख्या करें?
• मैं ए / बी परीक्षणों को कैसे नुकसान पहुंचा सकता हूं?
• ए / बी परीक्षणों के विकल्प क्या हो सकते हैं?
• परीक्षण करने के लिए बेहतर क्या है?
• फिनटेक, ई-कॉमर्स और मार्केटप्लेस के मामले।

दिलचस्प है, वे वास्तव में ए / बी परीक्षणों के आवेदन की सीमाओं पर सहमत थे। लेकिन चलो क्रम में सब कुछ के बारे में बात करते हैं।

ए / बी परीक्षण क्या हैं?

ए / बी परीक्षण विपणन अनुसंधान का एक प्रसिद्ध तरीका है। सरल शब्दों में, हम दर्शकों को साइट पर कुछ समान या असमान भागों में विभाजित करते हैं और साइट पर एक परिवर्तन / सुधार करते हैं, जिसके परिणामस्वरूप हमें पता चलता है कि कौन से पृष्ठ अधिक प्रभावी रूप से व्यवसाय और उत्पाद के कार्यों को समग्र रूप से हल करते हैं। हम एक से अधिक परिकल्पना (अधिकतम दो) एक परीक्षण के ढांचे में जांच करते हैं।

OZON के लिए वास्तविक उदाहरण A / B परीक्षण:



इस उदाहरण में, हमने कुछ उत्पाद श्रेणियों के लिए एक-क्लिक खरीद बटन रोल आउट किया। प्रयोग के दौरान, उन्होंने मेट्रिक्स और फ़नल को देखा, इस परिकल्पना का परीक्षण किया कि क्या उपयोगकर्ताओं के लिए एक क्लिक में स्क्रिप्ट का उपयोग करना बेहतर होगा, बिना "टोकरी" के माध्यम से गिरना, यानी अनावश्यक इशारे किए बिना। उत्पाद श्रेणियों को बेतरतीब ढंग से नहीं चुना गया था - यह उन उत्पादों के बारे में था, जो आंकड़ों के अनुसार, अक्सर केवल एक उत्पाद के साथ खरीदे जाते हैं।



एक नियम के रूप में, ए / बी परीक्षण के दौरान, हम मैट्रिक्स देखते हैं , जिसके बीच:

• रूपांतरण (प्रमुख कार्यों का हिस्सा);
• वित्तीय संकेतक (GMV का विकास, राजस्व, औसत बिल);
• व्यवहार मेट्रिक्स (क्लिक, बदलाव)।

यहाँ स्पष्टता के लिए OZON में असली डैशबोर्ड है:



कृपया ध्यान दें कि खंडों को अनुकूलित करना संभव है, जो ए / बी परीक्षण के लिए भी महत्वपूर्ण है, क्योंकि हम देख सकते हैं कि कौन से दर्शक किसी विशेष सुधार से प्रभावित हैं। मान लीजिए कि ये 35 से 50 वर्ष के मास्को के उपयोगकर्ता हो सकते हैं, जिनकी औसत 2500 से अधिक रूबल और परिवार में एक बच्चा है।

Booking.com पर ए / बी टेस्ट का उपयोग करना (एंड्री मेंडे)

आंद्रेई मेंड के अनुसार , Booking.com के अंदर एक दृढ़ विश्वास है कि कंपनी ने परीक्षण के माध्यम से अपनी सफलता हासिल की। इसमें A / B परीक्षण शामिल हैं, जिसके बिना अभी Booking.com पर लगभग कुछ भी नहीं किया जा रहा है । Booking.com के एक साथ उपलब्ध संस्करणों की संख्या बहुत बड़ी है, और ए / बी परीक्षण अलग हैं, और उत्पाद के संबंध में लगभग हर चीज का परीक्षण किया जाता है, और कोई भी परिवर्तन ए / बी परीक्षणों के बाद ही किए जाते हैं। वैसे, इस दृष्टिकोण ने इतने सारे बकवास से बचने में मदद की।



लेकिन सिक्के का एक और पक्ष है: Booking.com के दीर्घकालिक आंकड़े बताते हैं कि 90% परिकल्पना परीक्षण के परिणामों के अनुसार विफल हो जाती है । और यह वास्तव में अच्छा है, क्योंकि यह आपको शेष 10% सुनिश्चित करने की अनुमति देता है। हालांकि, आपको एक तरह की लॉटरी में खेलते हुए, सभी परिकल्पनाओं को एक पंक्ति में करने की कोशिश नहीं करनी चाहिए, क्योंकि आप किसी भी परिकल्पना के विकास और परीक्षण पर समय और पैसा दोनों खर्च करते हैं।

आइए एक जिज्ञासु मामले का विश्लेषण करें: उदाहरण के लिए, साइट पर एक सूची खोज और एक मानचित्र खोज है । आंकड़ों के अनुसार, जो उपयोगकर्ता नक्शे के आधार पर खोज करते हैं, उनकी रूपांतरण दर अधिक होती है। यह "स्मार्ट" उत्पाद द्वारा नोट किया गया था, जो लाभ लेने में विफल नहीं हुआ। उसने आगंतुकों को कई तरह से कार्ड भेजना शुरू किया, कभी-कभी कपटी भी। उदाहरण के लिए, उपयोगकर्ता एक खोज से आते हैं - खुद को एक मानचित्र पर पाते हैं, कुछ की तुलना करते हैं, फिर से, बटन "मानचित्र पर दिखाएं" सहायक रूप से प्रदर्शित होता है, आदि नवाचार पर बहुत समय बिताया गया था, लेकिन परिणाम शून्य था । और अगर उपयोगकर्ता अपनी पहल पर कार्ड में नहीं आया, तो कुछ भी काम नहीं किया। बहुत बार यह खराब हो जाता है, कभी बेहतर नहीं होता । और सभी क्योंकि हमारे पास चयन पूर्वाग्रह (पक्षपाती नमूना) का एक बड़ा उदाहरण है:



यहां आप हवाई जहाज के बारे में प्रसिद्ध कहानी को याद कर सकते हैं, जिनमें से कुछ आधार पर लौट आए, जबकि अन्य नहीं। उनके मामले पर छेद को समझने के लिए अध्ययन किया गया था कि अधिक कवच की आवश्यकता कहां थी। यह एक तथाकथित व्यवस्थित चयन त्रुटि है जब एक समूह ("उत्तरजीवी") के लिए बहुत अधिक डेटा होता है और व्यावहारिक रूप से दूसरे ("मृत") के लिए कोई डेटा नहीं होता है, जिसके परिणामस्वरूप शोधकर्ता "उत्तरजीवियों" के बीच सामान्य विशेषताओं को देखने की कोशिश कर रहे हैं और उनकी अनदेखी की जाती है। कोई कम महत्वपूर्ण जानकारी "मृत" के बीच नहीं छिपी है।

स्थिति हमारे साथ समान है: हमने उन लोगों का अध्ययन किया, जो कार्ड के माध्यम से Booking.com पर बुकिंग चरण तक पहुंचे, लेकिन उन लोगों का अध्ययन नहीं किया, जो इस चरण में नहीं पहुंचे थे। परिणामस्वरूप, झूठे निष्कर्ष निकाले गए।

चलो आगे बढ़ते हैं। एक सुपर उपयोगी संस्कृति क्या है जिसमें ए / बी परीक्षण एक महत्वपूर्ण भूमिका निभाते हैं:



ए / बी परीक्षणों के लाभ स्पष्ट हैं:

1. सबसे पहले, बहुत सी चीजों का परीक्षण किया जाता है और एक उपयुक्त ज्ञान आधार होता है। यदि एक "शानदार" विचार आपके पास आता है, तो आप 15 सेकंड में पता लगा सकते हैं कि आपका शानदार विचार दो साल पहले उत्पादों में से एक में आ गया है, इसके अलावा, वह इसका परीक्षण करने में कामयाब रहा, और यह बुरी तरह विफल रहा। क्लासिक्स को कोई कैसे याद नहीं कर सकता है:
   

   "सुनो, जो मैंने कल रात एक बिजली के दीपक की टिमटिमाती रोशनी के साथ छिड़का:" मुझे एक अद्भुत क्षण याद है, तुम मेरे सामने प्रकट हुए, क्षणभंगुर दृष्टि की तरह, शुद्ध सौंदर्य की प्रतिभा की तरह। " वास्तव में अच्छा है? प्रतिभा? और केवल भोर में, जब अंतिम पंक्तियों को जोड़ा गया, तो मुझे याद आया कि यह कविता पहले से ही ए। पुश्किन द्वारा लिखी गई थी। क्लासिक की तरफ से ऐसा झटका! ह? "
   
   उपन्यास द गोल्डन बछड़ा, आई। इलफ़, ई। पेट्रोव के ओस्ताप बेंडर का एक उद्धरण

2. दूसरी बात यह है कि इस तरह की संस्कृति में काम करना सहज है, क्योंकि लगभग राय की कोई प्रतिस्पर्धा नहीं है। उत्पाद समाधान, जैसा कि वे कहते हैं, परीक्षण के माध्यम से, क्रिस्टलीकरण करते हैं। और इससे कोई फर्क नहीं पड़ता कि आप कौन हैं, वरिष्ठ या कनिष्ठ - जब तक आपके पास एक अच्छा परीक्षण नहीं है, तब तक आपने कोई भी बदलाव नहीं किया है।
3. तीसरा, मशीन लर्निंग और स्मार्ट मशीन एल्गोरिदम अब बहुत लोकप्रिय हैं। और मशीन लर्निंग और ए / बी परीक्षण केवल एक विस्फोटक मिश्रण है जो बहुत निकट भविष्य में उत्पाद के विकास को निर्धारित करेगा।

स्टार्टअप्स (एलेक्जेंडर पोवारोव) से ए / बी परीक्षणों पर एक अलग नज़र

अलेक्जेंडर पोवरोव के अनुसार , Booking.com की सफलता निश्चित रूप से, सराहनीय है। लेकिन अगर हम गुणवत्ता परीक्षण के बारे में बात कर रहे हैं, तो उन्हें बहुत अधिक डेटा की आवश्यकता होगी। Booking.com के पास एक विशाल श्रोता है और एक साथ कई चीजों के साथ प्रयोग करने की क्षमता है। यदि हम कुछ मध्यम आकार की परियोजना के बारे में बात कर रहे हैं, तो ऐसी परियोजनाओं में अक्सर डेटा और ट्रैफ़िक पर्याप्त नहीं होते हैं। यदि यातायात छत से अधिक है, तो यह कोई रामबाण नहीं है, क्योंकि उपयोगकर्ता विभिन्न उपयोगकर्ता मामलों को हल करने के लिए आपकी साइट पर आ सकता है, जो उत्पाद की बारीकियों से संबंधित है। यदि यह एक इंटरनेट बैंक है, तो कोई फोन के लिए भुगतान करने के लिए आता है, और कोई व्यक्ति बयान को देखता है। और इसी तरह। इसके अलावा, आप अक्सर एक ए / बी परीक्षण के साथ सिर्फ एक उपयोगकर्ता कार्रवाई का परीक्षण करते हैं।

एक संक्षिप्त निष्कर्ष बनाने के लिए, फिर ए / बी परीक्षण में निम्नलिखित सीमाएँ हैं :

• बहुत सारे डेटा की आवश्यकता होती है;
• केवल सजातीय उपयोगकर्ता मामलों के लिए उपयुक्त;
• एक कदम (क्लिक) पर ध्यान केंद्रित किया।

अगला बिंदु - ए / बी परीक्षण कई विकास प्रदान नहीं करता है :

• 1 पीपी की रूपांतरण वृद्धि (उदाहरण के लिए, 1% → 2%);
• 30 पुनरावृत्तियों के बाद भी 1% नहीं बढ़ता है → 31%;
• पड़ोसी फ़नल खराब होने की संभावना है;
• रूपांतरण में सुधार होगा, लेकिन एक कदम में।

यदि हम एक जटिल उत्पाद के बारे में बात कर रहे हैं, तो ए / बी परीक्षणों के साथ खेल रहे हैं, तो आपको पड़ोसी फ़नल हुक करने की संभावना है , और उनके लिए रूपांतरण गिर सकता है। सबसे आम उदाहरण है जब एक बड़ी सेवा के प्रोमो पृष्ठ पर कई विशेषताएं बेची जाती हैं। एक को उजागर करना, दूसरों के लिए रूपांतरण निश्चित रूप से गुजर जाएगा। लेकिन यहां तक ​​कि अगर सब कुछ ठीक हो जाता है, तो आप एक उपयोगकर्ता के साथ बातचीत करने का इतिहास शुरू करेंगे जो हर दिन आपके उत्पाद का उपयोग करता है और यह रूपांतरण, जिसे आपने किसी तरह सुधार लिया है, इसका कोई प्रभाव नहीं है।

इस प्रकार, अलेक्जेंडर पोवारोव के अनुसार, उत्पाद के संसाधन का उपयोग करने के लिए उत्पाद को कई बार विकसित करना बेहतर होता है । आदर्श रूप से, आपको ऐसे उत्पाद विकास बिंदुओं की तलाश करनी चाहिए जो दसियों प्रतिशत बढ़ने में मदद करेंगे।

आप अपनी ऊर्जा को क्या निर्देशित कर सकते हैं:

• उपयोगकर्ता अनुभव में सुधार;
• अतिरिक्त मूल्य का निर्माण;
• इकाई अर्थव्यवस्था में सुधार;
• नए उत्पादों / व्यापार मॉडल के लिए खोज।

हम विश्वास के साथ कह सकते हैं कि उत्पाद सुविधा लैंडिंग अनुकूलन की तुलना में कई गुना बेहतर है । उदाहरण के लिए, Yandex.Money ने रंगीन प्लास्टिक कार्ड लॉन्च किए, जो बहुत ही शांत हैं और एक पारदर्शी परत के साथ हैं। वे बस बाहर लुढ़का, और लोगों ने उच्च मांग के साथ जवाब दिया, क्योंकि वे बस अपने लिए ऐसे कार्ड चाहते थे। और कोई ए / बी परीक्षण की आवश्यकता नहीं है। यही है, आउटपुट फ़नल बड़ा हो गया है और अब बहुत उच्च स्तर पर है, और वित्तीय सेवा के रूप में उत्पाद बिल्कुल भी नहीं बदला है!



हां, हर किराने की सुविधा दसियों प्रतिशत की वृद्धि नहीं देगी। दूसरी ओर, ए / बी परीक्षण में कोई सुधार कई वृद्धि का उत्पादन नहीं करेगा।

और एक और बात: एक नया दर्शक रूपांतरण में सुधार से अधिक देगा । इस बिंदु को बेहतर ढंग से समझने के लिए, चलिए एक वास्तविक मामले का उदाहरण देते हैं:



ऊपर की तस्वीर में हम भुगतान का रूप देखते हैं, जिसमें एक अनुभवी उत्पाद प्रबंधक के प्रश्न हो सकते हैं। और, सबसे अधिक संभावना है, वह सही होगा, क्योंकि ए / बी परीक्षणों की सहायता से, आप इस फॉर्म को अधिक सुखद बना सकते हैं और यहां तक ​​कि रूपांतरण को बढ़ा सकते हैं, कह सकते हैं, छह महीने बाद, कुछ पुनरावृत्तियों के साथ।

हालांकि, ट्रांसफर वाइज ने उत्पाद विकास के बिंदु खोजने का रास्ता अपनाया है। नीचे एक ग्राफ है जहां MNU संकेतक तय किया गया है - शामिल होने वाले नए उपयोगकर्ताओं की संख्या:



वृद्धि का कारण क्या है? तथ्य यह है कि कंपनी धन हस्तांतरण में लगी हुई है, और देशों में से एक में कार्ड भुगतान के लिए कोई समर्थन नहीं था, लेकिन वहां से यातायात देखा गया था। इस देश के लिए मानचित्रों का समर्थन करने की क्षमता को जोड़ने के बाद, हमने और अधिक जानकारी प्राप्त की और अपने सक्रिय उपयोगकर्ता आधार को बढ़ाया। और हमारे भुगतान के इष्टतम रूप से दूर गैर-इष्टतम बना हुआ है । वैसे भी, अगर हम भुगतान के रूप को अनुकूलित करने पर आधा साल बिताते हैं, तो हमने ऐसी वृद्धि हासिल नहीं की है।

इससे एक बार फिर पता चलता है कि उत्पाद की आवश्यक वृद्धि पर ध्यान देना उतना ही महत्वपूर्ण है, जितना कि आपके उत्पाद को बदलने के लिए, नए उपयोगकर्ताओं को लाना।

तो क्या आपको ए / बी परीक्षण की आवश्यकता है या नहीं?

व्याख्याताओं के बोलने के बाद, यह एक जीवंत चर्चा का समय था, जिसे लाइव देखना बेहतर है। हम तुरंत इसे संक्षेप में प्रस्तुत करेंगे।

ए / बी परीक्षणों की विशेषताएं और आवेदन सीमाएं:

1. बड़े दर्शक (DAU, MAU);
2. परीक्षण में एक से अधिक (अधिकतम दो) परिकल्पना नहीं;
3. एक प्रतिशत अंक की वृद्धि के स्तर पर 10% परीक्षणों में उत्पाद सफलता और 90% परीक्षणों में परिणामों की कमी;
4. व्यापार मैट्रिक्स के इन मैट्रिक्स पर सीमित प्रभाव;
5. बी 2 बी उत्पादों के लिए अनुपयुक्तता और फिनटेक उत्पादों के लिए सीमित प्रयोज्यता (जहां खाते पर हर क्लिक)।

एक ही समय में, ज़ाहिर है, विभाजन परीक्षण किसी भी सवाल का सबसे पारदर्शी उत्तर है और अंतर्ज्ञान का सहारा नहीं लेने और उपयोगकर्ता के लिए नहीं सोचने का अवसर है। इसके अलावा, ए / बी परीक्षण भी एक अच्छा दोस्त है, जिसके आधार पर आप मौजूदा उत्पादों के लिए अंतर्दृष्टि प्राप्त कर सकते हैं। और यह भी, ए / बी परीक्षण के लिए धन्यवाद, उत्पाद मैट्रिक्स और एनपीएस में सुधार होता है, इसलिए यह हमेशा परीक्षण का उपयोग करने की सिफारिश की जाती है कि क्या यह सस्ता है और अगर हम मौजूदा उत्पादों पर विकास के बिंदु देख रहे हैं। लेकिन फिर भी, ए / बी परीक्षण वर्तमान व्यवसाय मॉडल और उत्पाद के अधिकतम निचोड़ने के बारे में अधिक हैं ।


और कहाँ उत्पाद और व्यापार वृद्धि (सर्गेई Koloskov) के लिए देखने के लिए?

वह CustDev में, प्रतियोगियों का विश्लेषण (एक ही समान वेब के माध्यम से), अपने उत्पाद का विश्लेषण (जब कुंजी फ़नल और संबंधित मीट्रिक जहां अंतर्दृष्टि खोजी जाती है और स्थित होती है) का विश्लेषण करते हुए, बाजार विश्लेषण और उपयोगकर्ता परिदृश्यों को डिज़ाइन करते हैं (CJM, जहां आप देख सकते हैं कि क्या प्रसन्नता है, और उपयोगकर्ता को क्या परेशान करता है)।

उदाहरण के लिए, प्रतियोगियों का विश्लेषण करने और साक्षात्कार सत्र आयोजित करने और उपयोगकर्ता परिदृश्यों को डिजाइन करने के बाद OZON में एक बार किए गए सुरुचिपूर्ण निर्णयों में से एक है प्रौद्योगिकी में व्यापार । विचार नया नहीं है, लेकिन व्यापार के विकास के नए बिंदु देता है। और वास्तव में, क्या होगा यदि आपकी प्रेमिका एक नया आईफोन चाहती है, जबकि पिछले संस्करण को, वैसे, आपकी मेहनत से कमाए गए पैसे के लिए, अभी तक धूल में ढंका नहीं था? समाधान सरल है - पुराने iPhone को वापस देने पर नए iPhone पर पर्याप्त छूट प्राप्त करें। ऐसा करने के लिए, आपको घर छोड़ने की भी आवश्यकता नहीं है:



यह ऐसे उत्पाद हैं जो व्यवसाय को विकास देते हैं जो उत्पाद प्रबंधक के काम का आधार बन जाता है। यह वह काम है जो कंपनी के पैसे लाता है कि उत्पाद पहली प्राथमिकता होनी चाहिए। यह हमेशा याद रखना चाहिए।

शायद इस सकारात्मक नोट पर और खत्म। यदि विषय दिलचस्प है, तो पूरा वीडियो देखें । उसी समय, आपको अतिरिक्त मामले और अन्य विवरण दिखाई देंगे।

और आप पाठ्यक्रम पर देखें!