ए / बी परीक्षण काम नहीं करते हैं। जांचें कि आप क्या गलत कर रहे हैं

शायद, केवल ग्रीनस्ट मार्केटर्स और उत्पाद प्रबंधकों ने ए / बी परीक्षणों के बारे में नहीं सुना है, लेकिन यहां तक ​​कि अनुभवी विशेषज्ञ कभी-कभी यह नहीं जानते हैं कि उन्हें कैसे करना है और परिणामों के साथ क्या करना है। यह इस कारण से है कि आप अक्सर सुन सकते हैं कि ए / बी परीक्षण काम नहीं करता है और आमतौर पर बेकार है।

अफवाहों को दूर करने के लिए, हमने अगिमा एजेंसी सेर्गेई फिलैटोव के व्यवसायी ए / बी एनालिटिक्स के साथ बात की, और उन्होंने हमें ए / बी परीक्षण पद्धति, उपकरण जो एक मोबाइल एप्लिकेशन के लिए परीक्षण करने में मदद करते हैं, और इस पर महारत हासिल करने वाली संभावनाओं के बारे में बताया। कौशल का पूल।

ए / बी परीक्षण वास्तव में कई से सर्वश्रेष्ठ विकल्प चुनने के लिए समर्पित कोई शोध है। बात यह है कि यह शब्द बहुत व्यापक है: ये विपणक और डिजिटल उत्पादों के विश्लेषण के प्रकार हैं। जब आप मामले को देखते हैं कि "कंपनी ने ए / बी परीक्षण किया", और आपको यह समझने की आवश्यकता है कि कौन सा सामान्य या तकनीकी है। हम मोबाइल एप्लिकेशन की कार्यक्षमता का मूल्यांकन करने के लिए विशेष रूप से ए / बी परीक्षणों के बारे में बात करेंगे। (हालांकि, इस ज्ञान को विपणन अनुसंधान के क्षेत्र में आसानी से स्थानांतरित किया जा सकता है।)

यह सामग्री स्किलबॉक्स ऑनलाइन यूनिवर्सिटी और एजिमा, फुलस्टैक मोबाइल डेवलपर के संयुक्त पाठ्यक्रम के शुभारंभ के लिए तैयार श्रृंखला का हिस्सा है। हमने पहले से ही इस बारे में बात की थी कि पहली बार ऐपस्टोर को कैसे प्राप्त किया जाए , और आवेदन इंटरफेस कैसे विकसित किया जाए , इस प्रक्रिया में कई दस-प्रतिशत छूट और चार 20% छूट दे रहा है।

जो लोग पहले से ही दो पहेली हल कर चुके हैं और अधिक (संचयी छूट को बढ़ाने के लिए) चाहते हैं, आज उन्हें परीक्षण उपकरण के बारे में एक पहेली मिलेगा। पाठ में उसके लिए देखो! और बाकी के हबीबोर अभी भी 10,000 रूबल के लिए किसी भी कोर्स को ऑर्डर कर सकते हैं जो कि हेब प्रोमो कोड का उपयोग करके सस्ता है (याद रखें कि यह बिना छूट के छूट की पेशकश से नहीं जुड़ता है)।



ए / बी परीक्षण आमतौर पर एक विश्लेषणात्मक उपकरण के रूप में माना जाता है जो आपको इसके रूपांतरण पर उत्पाद परिवर्तनों के प्रभाव का मूल्यांकन करने की अनुमति देता है - आदेशों में स्थानांतरण की संख्या में वृद्धि। यहां रूपांतरण आवश्यक रूप से किसी चीज की खरीद नहीं है: यह उपयोगकर्ता के एक चरण से दूसरे चरण में किसी भी तरह का संक्रमण है क्योंकि वह आदेश के फ़नल से गुजरता है, और रास्ते में सेवा के रूपों और तत्वों के साथ उसकी हर बातचीत।

A / B परीक्षण की आवश्यकता है:

• स्क्रीन या पृष्ठ के लिए कई विकल्पों में से सर्वश्रेष्ठ चुनें;
• अपने उत्पाद के कुछ संकेतकों को बदलने की संभावना का मूल्यांकन करें;
• किसी पृष्ठ या स्क्रीन पर कुछ तत्वों को बदलने की प्रभावशीलता की गणना;
• समझें कि बिक्री फ़नल के प्रत्येक चरण में रूपांतरण कैसे बढ़ाया जाए, और इसलिए, उनकी संख्या में वृद्धि करें;
• मोबाइल एप्लिकेशन के अंदर, ए / बी परीक्षण उपयोगकर्ता अनुभव को बेहतर बनाने का अवसर प्रदान करते हैं, जिससे आप तत्वों को अधिक आसानी से व्यवस्थित कर सकते हैं और सामग्री को उपयोगकर्ता के लिए अधिक रोचक और उपयोगी बना सकते हैं।

समस्या का बयान

कोई भी ए / बी परीक्षण एक परिकल्पना के साथ शुरू होता है। वे दो रूपों में आते हैं। पहले वाले अधिक मार्केटिंग वाले होते हैं, जिसका उद्देश्य ट्रैफिक को बढ़ाना है, एक विशेष कार्रवाई करने वाले लोगों की संख्या और यह स्पष्ट करना कि कौन से दर्शकों पर ध्यान केंद्रित किया जाता है। इस मामले में, यह इतना ही नहीं है कि आवेदन की कार्यक्षमता स्वयं ही विपणन चैनलों और प्रत्येक विज्ञापन उपकरण से रूपांतरण के रूप में परीक्षण की जाती है। हम दूसरे प्रकार की परिकल्पना पर ध्यान केंद्रित करेंगे।

यह इस तथ्य में निहित है कि एक या दूसरे आंतरिक कार्यात्मक - एक तत्व या ब्लॉक को बदलकर, उनके बीच संबंध या उनकी बातचीत के तर्क - हम आवेदन के कुछ संकेतकों में परिवर्तन प्राप्त कर सकते हैं (हालांकि, यह सब साइटों पर लागू होता है)।

ये परिकल्पनाएं या तो उन तत्वों की चिंता कर सकती हैं जो सेवा की स्क्रीन पर स्थित हैं, या इसके अंदर स्क्रीन के कनेक्शन। दुर्भाग्य से, परीक्षण स्थापित करने में कठिनाइयों के कारण स्क्रीन के बीच कनेक्शन का परीक्षण तकनीकी रूप से समस्याग्रस्त है, इसलिए आमतौर पर विश्लेषक विशिष्ट ब्लॉकों और व्यक्तिगत स्क्रीन पर काम करने के लिए सीमित है।

इस मामले में ए / बी परीक्षण का सार यह है कि उपयोगकर्ताओं के एक समूह को इंटरफ़ेस के स्थान या कॉन्फ़िगरेशन के लिए एक विकल्प दिखाया जाता है, और दूसरे के लिए दूसरा।

और यहाँ पुनर्जन्म है! याद रखें कि यहां अंग्रेजी रूसी के साथ हस्तक्षेप कर सकती है, और पहेली का विषय मोबाइल है। और यह मत भूलो कि हम टिप्पणियों की सावधानीपूर्वक निगरानी करेंगे और उनसे युक्तियों और उत्तरों को हटा देंगे! रिब्यूस में एन्क्रिप्ट किए गए प्रस्ताव को तब बुलाया जाना चाहिए जब कोर्स के लिए आवेदन भेजने के बाद हमारे प्रबंधक आपसे संपर्क करें। हल की गई पहेलियों के लिए छूट को आपस में संक्षेपित किया जाता है (इस लेख को ध्यान में रखते हुए उनमें से तीन पहले से ही हैं), लेकिन साइट पर छूट के साथ नहीं। आपको बहुत देरी नहीं करनी चाहिए - 30 अगस्त, 2018 तक प्रोमो काम करता है।

वांछित परिणाम से लेकर समाधान की खोज तक

इस तरह के हाइपोथेसिस में एक सामान्य नियम है: शुरुआत में, एक निश्चित अंतिम संकेतक निर्धारित किया जाता है, जिसे हम बढ़ाना या घटाना चाहते हैं। रिपोर्ट और अन्य इसी तरह की विश्लेषणात्मक जानकारी के आधार पर परिकल्पना तैयार की जा सकती है, लेकिन अक्सर वे डेवलपर्स के अनुमानों के आधार पर विशेष तैयारी के बिना बनाई जाती हैं।

हम उस समस्या को तैयार करना शुरू करते हैं जिसे हम हल करना चाहते हैं: कम रूपांतरण, एक या किसी अन्य तत्व पर क्लिक की एक छोटी संख्या, स्वाइप या डॉक्टर स्क्रॉल की अनुपस्थिति।

फिर हम विशिष्ट कार्यों का चयन करते हैं जो संभावित रूप से वांछित परिणाम तक ले जा सकते हैं। यह नए बटन जोड़ सकता है, स्क्रीन पर ब्लॉक की व्यवस्था को बदल सकता है, या, उदाहरण के लिए, मेनू के संगठन को "बर्गर" से बाईं ओर निचले साइड बार में बदल सकता है, जैसा कि इंस्टाग्राम पर किया जाता है।


ऑप्टिमाइज़ली एप्लिकेशन में परीक्षण किए गए परिवर्तनों की प्रभावशीलता का मूल्यांकन कैसे किया जाता है, इसका एक उदाहरण है।

यही है, हम प्रमुख संकेतक को प्रभावित करने के लिए विभिन्न तरीकों के साथ आने लगे हैं। तो परिकल्पना पूर्ण रूप धारण करती है।

परिकल्पना के अनिवार्य घटक:

1. सूत्र "यदि - तब";
2. क्रिया - यह उस कार्रवाई का वर्णन करता है जिसे हम चयनित तत्व के संबंध में करते हैं;
3. अपेक्षित परिणाम का वर्णन।

" यदि हम फ़ॉन्ट आकार बढ़ाते हैं और बटन को हरे रंग में बदलते हैं, तो रूपांतरण 15% बढ़ जाएगा ।"

गुणवत्ता मात्रा में बदल जाती है

ए / बी परीक्षणों का उपयोग करके, आप दो प्रकार के अध्ययन कर सकते हैं: गुणात्मक और मात्रात्मक।

गुणात्मक अनुसंधान एक व्यक्ति के भावनात्मक अनुभव के साथ काम करने के उद्देश्य से है, यह पता लगाने के लिए कि वह हमारे द्वारा उपयोग किए जाने वाले समाधान को पसंद करता है: क्या यह धारणा के लिए सुविधाजनक है, क्या यह बातचीत के समय को प्रभावित करता है या नहीं। इस तरह के परीक्षणों का उद्देश्य यह पता लगाना है कि उपयोगकर्ता किसी एप्लिकेशन या सेवा के साथ काम करने के दौरान किन भावनाओं का अनुभव करता है।

लक्ष्य सूचक में मात्रात्मक अध्ययन एक निश्चित आंकड़ा बढ़ाने के उद्देश्य से हैं: बटन पर क्लिक की मात्रा, बिक्री की संभावना बढ़ाने के लिए युक्तियां, और इसी तरह। यह फ़नल पर क्लिक, ट्रैफ़िक, बिक्री, ट्रैफ़िक की एक सूखी गणना है।

सभी संकेतक जिन्हें खोजने की आवश्यकता है उन्हें संख्यात्मक मीट्रिक में परिवर्तित किया जाना चाहिए। उदाहरण के लिए, सवाल "सामग्री में रुचि रखने वाला उपयोगकर्ता है" स्क्रीन पर बिताए समय की मात्रा के संकेतक में बदल जाता है, स्क्रॉलिंग गहराई, एक निश्चित प्रमुख तत्व पर क्लिक करें।

महत्वपूर्ण! नियम का पालन करें: एक स्क्रीन - एक प्रयोग। एक ही समय में एक ही स्क्रीन पर आइटम से संबंधित दो परिकल्पनाओं का परीक्षण न करें। इसके अलावा, एक तत्व के साथ दो परिकल्पनाएं जुड़ी हुई हैं, अन्यथा आप परिणामों से निपटने में सक्षम नहीं होंगे (यदि परिकल्पना का वर्णन "दो तत्वों को स्वैप करें" - यह एक क्रिया है)।

ए / बी परीक्षण के प्रकार और गहराई का अध्ययन

बहुभिन्नरूपी परीक्षणों में कई विकल्पों का संयोजन होता है। उदाहरण के लिए, हमारे पास एक ब्लॉक है जिसमें एक बटन और कॉल टू एक्शन शामिल है। इस स्थिति में, आप विभिन्न कॉल के साथ इस बटन के सभी संभावित प्रकार बना सकते हैं। लेकिन यह याद रखना महत्वपूर्ण है कि इस तरह के परीक्षण केवल बड़ी मात्रा में यातायात के साथ बड़े अनुप्रयोगों के लिए उपयुक्त हैं।

स्प्लिट परीक्षण पूरे स्क्रीन के परीक्षण हैं ताकि यह समझ सकें कि कौन अधिक प्रतिक्रिया दे रहा है। उदाहरण के लिए, आप यह समझने के लिए स्टार्ट-अप स्क्रीन-ट्यूटोरियल के विभिन्न संस्करणों की तुलना कर सकते हैं कि क्या उपयोगकर्ता आपके द्वारा तैयार की गई युक्तियों को पढ़ते हैं या उन्हें छोड़ देते हैं, सीधे एप्लिकेशन की कार्यक्षमता पर जा रहे हैं।

सामान्य तत्व-वार ए / बी परीक्षण के ढांचे में, आप हेडर, लिंक, मेनू स्थान, कार्रवाई के लिए कॉल की गुणवत्ता, विभिन्न कार्यात्मक या पाठ ब्लॉकों की उपस्थिति और प्रभावशीलता का मूल्यांकन कर सकते हैं और डिवाइस और परीक्षण के दौरान इसे प्राप्त करने वाले उपयोगकर्ता के आधार पर आवेदन के साथ उपयोगकर्ता बातचीत। आवेदन के अनुकूली संस्करण।

परीक्षण ए / बी / सी / एन हैं, जिसमें जरूरी नहीं कि हम केवल दो विकल्पों में से चुनें। वे सभी सेवाओं के लिए भी उपयुक्त नहीं हैं: उन्हें बहुत अधिक ट्रैफ़िक की आवश्यकता होती है, अन्यथा परीक्षण केवल सांख्यिकीय विश्वसनीयता की सीमा को पार नहीं करेगा। ताकि हम यह सुनिश्चित कर सकें कि मुख्य संकेतक में परिवर्तन आकस्मिक नहीं था, पर्याप्त उपयोगकर्ताओं को स्क्रीन पर जाना चाहिए।

एक छोटे से प्रोजेक्ट के लिए, जब परीक्षण केवल ए और बी विकल्प प्रदान करता है, तो अच्छी तरह से पर्याप्त हजार लोग हो सकते हैं जिन्होंने कार्रवाई की। बड़े के लिए, उनकी संख्या बहुत बड़ी हो सकती है।

एक प्रयोग की सामान्य अवधि दो सप्ताह से डेढ़ महीने तक होती है। यह सुनिश्चित करने के लिए यह आवश्यक है कि किसी भी बाहरी कारक ने इसके पाठ्यक्रम को प्रभावित नहीं किया है: उदाहरण के लिए, विज्ञापन अभियान, मौसम की स्थिति या कुछ और। (यहां का मौसम न केवल उपयोगकर्ताओं के मूड के बारे में है, बल्कि इस तथ्य के बारे में भी है कि, उदाहरण के लिए, वितरण अनुप्रयोगों के लिए यह विचार करना महत्वपूर्ण है कि अभी बारिश हो रही है या नहीं - यह रूपांतरण को प्रभावित करता है)।

यदि आपका उत्पाद (या इसमें एक विशिष्ट परीक्षण आइटम) प्रतियोगियों की मौसम, फैशन या विपणन गतिविधि पर निर्भर नहीं करता है, तो परिवर्तनों की उपयुक्तता के बारे में निष्कर्ष पहले हजार उपयोगकर्ताओं के कार्यों से पहले से ही बनाया जा सकता है। डेटा एकत्र करने के बाद, आप उन्हें व्याख्या करना शुरू कर सकते हैं और उन परिवर्तनों को पेश कर सकते हैं जो उचित थे।

ए / बी परीक्षण उपकरण

कंट्रोल पैनल से अपनी सेटिंग्स के लचीलेपन के कारण साइटों पर प्रयोगों का संचालन करना बहुत आसान है, लेकिन, सौभाग्य से, मोबाइल के लिए कई समाधान हैं जिन्होंने खुद को सर्वश्रेष्ठ प्रथाओं के रूप में स्थापित किया है।

ऑप्टिमाइज़ली सबसे लोकप्रिय टूल में से एक है। इसमें एक सहज और सुखद इंटरफ़ेस है, एक दृश्य संपादक और कक्षाओं के साथ व्यापक एकीकरण, इसमें तत्वों की कार्यक्षमता को संपादित करने और उन्हें नई घटनाओं को संलग्न करके लटका देने की अंतर्निहित क्षमताएं हैं। हालाँकि, उच्च मूल्य के कारण यह सेवा सभी डेवलपर्स के लिए उपलब्ध नहीं है।



पांच दूसरा परीक्षण प्रयोज्य अनुसंधान करने और विशिष्ट ब्लॉकों और तत्वों के डिजाइन की प्रभावशीलता और समझ का अध्ययन करने के लिए अधिक प्रासंगिक है।



कन्वर्ट एक्सपेरिमेंट सबसे किफायती प्लेटफ़ॉर्म है, सेवा के लिए सदस्यता की लागत $ 9 प्रति माह से शुरू होती है। इसी समय, इसके पास एक दृश्य संपादक है जो परीक्षक को प्रोग्रामर के कौशल के बिना तत्वों के साथ काम करने की अनुमति देता है। कम उपलब्ध मीट्रिक हैं और ऐसे उन्नत आंतरिक विश्लेषिकी नहीं हैं, लेकिन ए / बी परीक्षण को जल्दी से कॉन्फ़िगर करने और इसे चलाने के लिए, कार्यक्रम काफी उपयुक्त है।



Apptimize में आंतरिक एनालिटिक्स और SDK का अधिक उन्नत सिस्टम है, जो मास्टर करने के लिए काफी सरल है। एक दृश्य संपादक भी है।



Google Analytics प्रयोग वेब-आधारित मोबाइल एप्लिकेशन और हाइब्रिड ऐप पर केंद्रित है।

ए / बी परीक्षण और आवेदन अपडेट

कुछ साल पहले, ए / बी परीक्षण चलाने के लिए, आवेदन के एक अद्यतन संस्करण को प्रकाशित करना आवश्यक नहीं था: कोड में कुछ स्निपेट पेश करके मक्खी पर परिवर्तन किए गए थे। हालांकि, इस तथ्य के कारण कि इस दृष्टिकोण ने Apple और Google की सुरक्षा नीतियों और प्रतिबंधों को दरकिनार कर दिया, यह सुविधा डेवलपर्स के लिए बंद कर दी गई थी। आज, ए / बी परीक्षा आयोजित करने के लिए, आपको अपने आवेदन के एक अद्यतन संस्करण को रोल आउट करना होगा।

क्या सीखें और कहां बढ़ें

ए / बी परीक्षण करने के लिए, एक शांत विश्लेषक होना आवश्यक नहीं है - यह संकेतकों को समझने और उनके आधार पर सही निष्कर्ष निकालने के लिए पर्याप्त है।

ए / बी परीक्षण आयोजित करने वाले विशेषज्ञ के मुख्य कौशल में से एक गुणात्मक संकेतकों को गुणात्मक लोगों में व्याख्या करने की क्षमता है और इसके विपरीत, विश्लेषण के लिए उपलब्ध आंकड़ों में गुणात्मक परिकल्पना को विघटित करना है।

शुरुआत के विशेषज्ञों को उत्पाद विश्लेषिकी के नियमों से अधिक परिचित होना चाहिए, क्योंकि इसके अभ्यास वेब एनालिटिक्स और ई-कॉमर्स में उपयोग किए जाने वाले ए / बी परीक्षण के करीब हैं।

यह लचीली कार्यप्रणाली का अध्ययन करने के लिए उपयोगी है, विशेष रूप से लाइन स्टार्टअप में। परीक्षक के लिए, उत्पाद उसका "आंतरिक स्टार्टअप" बन जाता है। तो, इस तरह के फैसले उसे अच्छी तरह से सूट करेंगे। अनुसंधान करने के बारे में बहुत सारी उपयोगी जानकारी व्यावसायिक इनक्यूबेटरों और उनकी घटनाओं पर जाकर प्राप्त की जा सकती है; यह प्रेरणा का एक शक्तिशाली स्रोत भी है। वहां आप ए / बी परीक्षणों के लिए कई विकल्प देख सकते हैं - दोनों स्वचालित और पारंपरिक जैसे कि सर्वेक्षण और गहराई से साक्षात्कार।

बेशक, संख्याओं के साथ काम करने में कौशल की भी आवश्यकता होती है - लागू होने वाले सर्वेक्षणों को लागू करने से लेकर गणित और कंप्यूटर विज्ञान में अनुभव के लिए। इसके बिना, आपको परीक्षा परिणामों को संसाधित करने में समस्याएं होंगी।

ये सभी कौशल समय के साथ अनुमति देंगे, यदि कोई इच्छा हो, तो एक रणनीतिकार, यूआई / यूएक्स एनालिटिक्स के रूप में या एक उत्पाद के मालिक की स्थिति में मार्केटिंग में काम करने की दिशा में कदम बढ़ाएं, और यहां तक ​​कि अपना खुद का प्रोजेक्ट बनाने के लिए। जहां भी संदेह पैदा होता है, जहां यह स्पष्ट नहीं है कि कहां जाना है, कहां मिट्टी ढूंढनी है, दर्शकों और उसके मूड की जांच के लिए, इन सभी क्षेत्रों में ए / बी परीक्षण के दौरान प्राप्त ज्ञान का उपयोग किया जा सकता है।

इसलिए, यह सीखें कि प्रारंभिक आंकड़ों को एक परिकल्पना में एकत्रित करने से कैसे जाना जाता है, समाधान विकसित करना और बाद के विश्लेषण के साथ उनका परीक्षण करना - जो संक्षेप में, "ए / बी परीक्षण" के पीछे छिपा हुआ है, आप बहुत अधिक दृष्टिकोणों की खोज कर पाएंगे क्यूए या विश्लेषक की भूमिका में सिर्फ विकास की तुलना में।

Skillbox विषयगत पाठ्यक्रमों की सिफारिश करता है :

• खरोंच से मोबाइल डेवलपर
• मोबाइल ऐप डिज़ाइन (करतब! रेडमॉड्रबॉट!)
• UX डिजाइन

हम आपको याद दिलाते हैं: हैबर के सभी पाठकों के लिए - जब हबर प्रचारक कोड का उपयोग करके किसी भी स्किलबॉक्स कोर्स के लिए पंजीकरण करते समय 10,000 रूबल की छूट।

मोबाइल विकास पर हमारी श्रृंखला से अभी भी कुछ सामग्री हैं, और यह पूछने का समय है: आप क्या पढ़ना चाहेंगे? हमें टिप्पणियों में बताएं कि मोबाइल से संबंधित कौन से विषय महत्वपूर्ण हैं, लेकिन पर्याप्त रूप से खुलासा नहीं किया गया है, और हम आपकी रुचि को संतुष्ट करने का प्रयास करेंगे।