🥩 🎼 🌑 वेबसाइटों के साथ प्रयोग करने के लिए अंगूठे के सात नियम 🖍️ 🧓🏼 🤒

लेख अनुवाद: अंगूठे का प्रयोग नियम

वेब पोर्टल्स के मालिक, सबसे छोटे से लेकर सबसे बड़े, जैसे कि अमेज़ॅन, फेसबुक, गूगल, लिंक्डइन, माइक्रोसॉफ्ट और याहू, विभिन्न मैट्रिक्स को अनुकूलित करके अपनी साइटों को सुधारने की कोशिश कर रहे हैं, पुन: उपयोग समय से लेकर उनके समय और राजस्व की संख्या तक। हम Amazon, Booking.com, LinkedIn और Microsoft पर हजारों प्रयोगों के लिए आकर्षित हुए हैं, और हम अंगूठे के सात नियमों को साझा करना चाहते हैं जो हमने इन प्रयोगों और उनके परिणामों से काटे हैं। हमारा मानना है कि वेब के अनुकूलन के दौरान और नियंत्रण प्रयोगों के बाहर विश्लेषण के दौरान ये नियम व्यापक रूप से लागू होते हैं। हालांकि इसके अपवाद भी हैं।

इन नियमों को अधिक महत्वपूर्ण बनाने के लिए, हम अपने काम से वास्तविक उदाहरण देंगे, जिनमें से अधिकांश पहली बार प्रकाशित होंगे। पहले कुछ नियमों को आवाज दी गई थी (उदाहरण के लिए, "स्पीड मायने रखती है"), लेकिन हमने उन्हें उन मान्यताओं के साथ पूरक किया, जिनका उपयोग प्रयोगों को डिजाइन करने में किया जा सकता है, और अतिरिक्त उदाहरणों को साझा कर सकते हैं जिनसे हमारी समझ में सुधार हुआ है कि गति विशेष रूप से महत्वपूर्ण है और वेब के किन क्षेत्रों में है पृष्ठ यह महत्वपूर्ण नहीं है।

इस लेख के दो उद्देश्य हैं।

पहला : सिखाना अच्छे स्वाद के नियमों को सिखाता है, जो साइटों को अनुकूलित करने में मदद करेगा।

दूसरा : इन नियमों की प्रयोज्यता, उनके सुधार और अपवादों के अस्तित्व पर अध्ययन करने के लिए नए विषयों के साथ केडीडी समुदाय प्रदान करना।

परिचय

छोटे से लेकर सबसे बड़े दिग्गजों तक के वेब पोर्टल के मालिक अपनी साइटों को बेहतर बनाने की कोशिश कर रहे हैं। अग्रणी कंपनियां परिवर्तनों का मूल्यांकन करने के लिए बेंचमार्किंग टेस्ट (जैसे ए / बी परीक्षण) का उपयोग करती हैं। यह Amazon [1], Ebay, Etsy [2], Facebook [3], Google [4], Groupon, Intuit [5], LinkedIn [6], Microsoft [7], Netflix [8], ShopDirect [9] द्वारा किया जाता है। , याहू और जिंगा [10]।

हमने Amazon, Booking.com, LinkedIn और Microsoft सहित कई कंपनियों के साथ काम करते हुए वेबसाइट ऑप्टिमाइज़ेशन में अनुभव प्राप्त किया है। उदाहरण के लिए, बिंग और लिंक्डइन किसी भी समय सैकड़ों समानांतर प्रयोगों का संचालन करते हैं [6; 11]। प्रयोगों की विविधता और बहुलता के कारण, जिसमें हमने भाग लिया, अंगूठे के नियम विकसित हुए हैं, जिनके बारे में हम यहां चर्चा करेंगे। वास्तविक परियोजनाओं द्वारा उनकी पुष्टि की जाती है, लेकिन किसी भी नियम के अपवाद हैं (हम उनके बारे में भी बात करेंगे)। उदाहरण के लिए, 72-नियम वित्तीय क्षेत्र में अंगूठे के उपयोगी नियम का एक अच्छा उदाहरण है। यह दावा करता है कि आपको वार्षिक विकास प्रतिशत को 72 से गुणा करने की आवश्यकता है ताकि आप अपने निवेश को दोगुना कर सकें। सामान्य स्थितियों में, नियम बहुत उपयोगी है (जब ब्याज दर 4 से 12% के बीच उतार-चढ़ाव होती है), लेकिन अन्य क्षेत्रों में यह काम नहीं करता है।

चूंकि ये नियम नियंत्रण प्रयोगों के परिणामों के अनुसार तैयार किए गए थे, वे साइट अनुकूलन और सरल विश्लेषण के लिए अच्छी तरह से लागू होते हैं, भले ही नियंत्रण प्रयोगों को साइटों पर नहीं किया जाता है (हालांकि इस मामले में किए गए परिवर्तनों के प्रभाव का सही आकलन करना संभव नहीं होगा)।

इस लेख में आपको क्या मिलेगा:

वेबसाइटों के साथ प्रयोग करने के लिए उपयोगी नियम। वे अभी भी विकसित कर रहे हैं, और हमें इसके अलावा उनके आवेदन की चौड़ाई का आकलन करने और यह पता लगाने की आवश्यकता है कि क्या इन नियमों के नए अपवाद हैं। नियंत्रण प्रयोगों का उपयोग करने के महत्व पर लेख "बड़े पैमाने पर ऑनलाइन नियंत्रित प्रयोग" [11] में चर्चा की गई थी।
पिछले नियमों में सुधार। "गति मामलों" जैसी टिप्पणियों को पहले ही अन्य लेखकों [12; 13] और हमें [14] द्वारा आवाज दी जा चुकी है। लेकिन हमने प्रयोग को डिजाइन करते समय कुछ धारणाएं बनाई हैं, और हम उन अध्ययनों के बारे में बात करेंगे जो प्रदर्शित करते हैं कि पृष्ठ के कुछ क्षेत्रों में, गति विशेष रूप से महत्वपूर्ण है, और अन्य में नहीं। हमने "हजारों उपयोगकर्ताओं" के पुराने नियम में भी सुधार किया, जो इस सवाल का जवाब देता है कि नियंत्रण प्रयोग करने के लिए कितने लोगों की आवश्यकता है।
नियंत्रण प्रयोगों के वास्तविक उदाहरण पहली बार प्रकाशित किए गए हैं। अमेज़ॅन, बिंग, और लिंक्डइन पर, नियंत्रण प्रयोगों का उपयोग विकास प्रक्रिया के भाग के रूप में किया जाता है [7; 11]। कई कंपनियां जो अभी भी नियंत्रण प्रयोगों का उपयोग नहीं करती हैं, वे नए विकास प्रतिमानों की शुरूआत के साथ परिवर्तन के साथ काम करने के अतिरिक्त उदाहरणों से बहुत लाभ उठा सकती हैं [7, 15]। जो कंपनियां पहले से ही नियंत्रण प्रयोगों का उपयोग करती हैं, वे वर्णित अंतर्दृष्टि से लाभान्वित होंगी।

नियंत्रण प्रयोगों, डेटा और डेटा से ज्ञान निकालने की प्रक्रिया

हम यहां ऑनलाइन नियंत्रणों पर नियंत्रण पर चर्चा करेंगे जिसमें उपयोगकर्ताओं को यादृच्छिक रूप से समूहों में विभाजित किया जाता है (उदाहरण के लिए, विभिन्न साइट विकल्प दिखाने के लिए)। इसके अलावा, विभाजन एक निरंतर आधार पर किया जाता है, अर्थात, प्रत्येक उपयोगकर्ता को पूरे प्रयोग के दौरान एक ही अनुभव होगा (उसे हमेशा साइट का एक ही संस्करण दिखाया जाएगा)। साइट के साथ उपयोगकर्ता की बातचीत (क्लिक, पृष्ठ दृश्य, आदि) दर्ज की जाती है, और इसके आधार पर प्रमुख मैट्रिक्स (CTR, प्रति उपयोगकर्ता सत्र, राजस्व से राजस्व) की गणना की जाती है। गणना की गई मीट्रिक का विश्लेषण करने के लिए सांख्यिकीय परीक्षण किए जाते हैं। और अगर नियंत्रण समूह (जो साइट के पुराने संस्करण को देखा) और समूह के प्रायोगिक (जिसने नया संस्करण देखा) के बीच अंतर सांख्यिकीय रूप से महत्वपूर्ण है, तो हम उच्च संभावना के साथ यह भी कह सकते हैं कि किए गए परिवर्तन प्रयोग में देखे गए मैट्रिक्स को प्रभावित करेंगे। विवरण का वर्णन "वेब पर नियंत्रित प्रयोगों: सर्वेक्षण और व्यावहारिक मार्गदर्शिका" [16] में किया गया है।

हमने कई प्रयोगों में भाग लिया जिनके परिणाम गलत थे, और कारणों को समझने और इसे ठीक करने के तरीके खोजने के लिए बहुत समय और प्रयास किया। लेखों [17] और [18] में कई नुकसान बताए गए हैं। हम ऑनलाइन नियंत्रण प्रयोगों के संचालन में उपयोग किए जाने वाले डेटा और इन आंकड़ों से ज्ञान प्राप्त करने की प्रक्रिया के बारे में कुछ सवालों को उजागर करना चाहते हैं:

डेटा स्रोत वास्तविक साइटें हैं जिनके बारे में हमने ऊपर बात की थी। कृत्रिम रूप से उत्पन्न जानकारी नहीं होगी। सभी उदाहरण वास्तविक उपयोगकर्ता इंटरैक्शन पर आधारित होते हैं, और बर्तनों को हटाने के बाद मैट्रिक्स की गणना की जाती है [16]।
उदाहरणों में उपयोगकर्ता समूहों को लक्षित श्रोताओं के समान वितरण से यादृच्छिक रूप से लिया जाता है (अर्थात, उपयोगकर्ता, जो उदाहरण के लिए, अध्ययन किए जा रहे परिवर्तनों को देखने के लिए लिंक पर क्लिक करना चाहिए) [16]। उपयोगकर्ता पहचान की विधि साइट पर निर्भर करती है: यदि उपयोगकर्ता लॉग इन नहीं है, तो कुकीज़ का उपयोग किया जाता है, और यदि वह लॉग इन है, तो उसका लॉगिन उपयोग किया जाता है।
बॉट्स को साफ़ करने के बाद, उपयोगकर्ता समूहों के आकार सैकड़ों से लेकर हज़ारों-लाखों तक होते हैं (उदाहरणों में सटीक मान इंगित किए जाते हैं)। अधिकांश प्रयोगों में, यह आवश्यक है ताकि मैट्रिक्स में मामूली अंतर का उच्च सांख्यिकीय महत्व हो।
नोट किए गए परिणाम सांख्यिकीय रूप से पी-मान <0.05 पर महत्वपूर्ण थे, और आमतौर पर इससे भी कम। आश्चर्यजनक परिणाम (नियम 1 में) को कम से कम एक बार फिर से पुन: पेश किया गया, ताकि फिशर संचयी संभाव्यता परीक्षण के आधार पर संचयी पी-मूल्य का मूल्य आवश्यकता से बहुत कम हो।
प्रत्येक प्रयोग हमारा व्यक्तिगत अनुभव है, जो मानक नुकसान की उपस्थिति के लिए कम से कम एक लेखक द्वारा सत्यापित है। प्रत्येक प्रयोग कम से कम एक सप्ताह के लिए किया गया था। साइट विकल्पों का प्रदर्शन करने वाले दर्शकों के शेयर प्रयोग की पूरी अवधि के दौरान स्थिर थे (सिम्पसन विरोधाभास के प्रभाव से बचने के लिए) और दर्शकों के बीच अनुपात जो हमने प्रयोग के दौरान देखे गए अनुपातों के साथ मेल खाते थे जो प्रयोग के शुरू होने पर सेट किए गए थे [17]।

प्रयोग के लिए अंगूठे के नियम

पहले तीन नियम प्रमुख मैट्रिक्स पर परिवर्तनों के प्रभाव से संबंधित हैं:

छोटे बदलावों का बड़ा असर हो सकता है;
परिवर्तन का शायद ही कोई बड़ा सकारात्मक प्रभाव हो;
दूसरों द्वारा घोषित तारकीय सफलताओं को दोहराने के आपके प्रयास कम सफल होने की अधिक संभावना है।

निम्नलिखित 4 नियम एक-दूसरे से स्वतंत्र हैं, लेकिन उनमें से प्रत्येक बहुत उपयोगी है।

नियम # 1: छोटे परिवर्तनों का कुंजी मैट्रिक्स पर BIG प्रभाव हो सकता है

जो भी लोग साइटों के जीवन में आए हैं, वे जानते हैं कि किसी भी छोटे से बदलाव का मुख्य मैट्रिक्स पर बड़ा नकारात्मक प्रभाव पड़ सकता है। एक छोटी सी जावास्क्रिप्ट त्रुटि भुगतान को असंभव बना सकती है, और स्टैक को नष्ट करने वाले छोटे कीड़े सर्वर को क्रैश कर सकते हैं। लेकिन हम मुख्य मैट्रिक्स में सकारात्मक बदलाव पर ध्यान केंद्रित करेंगे। अच्छी खबर यह है कि ऐसे कई उदाहरण हैं जहां एक छोटे से बदलाव से प्रमुख मैट्रिक्स में सुधार हुआ है। ब्रायन ईसेनबर्ग ने लिखा कि खरीद फरोख्त पर कूपन इनपुट क्षेत्र को हटाने से डॉक्टर फूटकेयर की वेबसाइट पर रूपांतरण में 1000% की वृद्धि हुई [20]। जेरेड स्पूल ने लिखा है कि खरीद के समय पंजीकरण करने की आवश्यकता को हटाकर प्रति वर्ष एक बड़े रिटेलर को $ 300 मिलियन [21] लाया गया।

फिर भी, हमने व्यक्तिगत रूप से आयोजित प्रयोगों की प्रक्रिया में इस तरह के महत्वपूर्ण बदलाव नहीं देखे। लेकिन हमने निवेश पर आश्चर्यजनक रूप से उच्च रिटर्न (निवेशित प्रयास की लागत के लाभ का उच्च अनुपात) के साथ छोटे बदलावों से महत्वपूर्ण सुधार देखा।

हम यह भी ध्यान देना चाहते हैं कि हम एक स्थिर प्रभाव पर चर्चा कर रहे हैं, न कि "सूर्य पर फ्लैश" या एक विशेष समाचार / वायरल प्रभाव के साथ एक सुविधा। हम जिस चीज़ की तलाश नहीं कर रहे हैं, उसका एक उदाहरण पुस्तक में वर्णित है:! 50 वैज्ञानिक तरीके से प्रेरक बनने के तरीके [22] हैं। कोलोन स्टोर के एक टीवी शो के लेखक कोलन ज़ियोट ने काउच स्टोर टीवी चैनल पर 20 साल की बिक्री का रिकॉर्ड तोड़ दिया, जिसमें तीन शब्दों को मानक सूचना टिकर बार में बदल दिया गया, जिससे खरीदारी की संख्या में भारी उछाल आया। वाक्यांश के बजाय "ऑपरेटर इंतजार कर रहे हैं, कृपया अभी कॉल करें", कोलन ने कहा "यदि ऑपरेटर व्यस्त हैं, तो कृपया फिर से कॉल करें।" लेखक इसे निम्नलिखित समाजशास्त्रीय साक्ष्यों के साथ समझाते हैं: दर्शक सोचते हैं कि यदि रेखा व्यस्त है, तो समाचार चैनल देखने वाले लोग उन्हें पसंद करते हैं।

यदि ऊपर बताए गए ट्रिक्स को नियमित रूप से उपयोग किया जाता है, तो उनका प्रभाव समतल होता है, क्योंकि उपयोगकर्ताओं को इसकी आदत होती है। ऐसे मामलों में नियंत्रण प्रयोगों में, प्रभाव जल्दी से गायब हो जाता है। इसलिए, हम अनुशंसा करते हैं कि आप कम से कम दो सप्ताह के लिए एक प्रयोग करें और गतिशीलता की निगरानी करें। हालांकि व्यवहार में, ऐसी चीजें दुर्लभ हैं [11; 18]। जिन स्थितियों में हमने ऐसे परिवर्तनों के प्रभाव का सकारात्मक प्रभाव देखा, वे अनुशंसाकर्ता प्रणालियों से जुड़े थे जब परिवर्तन अपने आप में एक अल्पकालिक प्रभाव देता है या जब प्रसंस्करण के लिए अंतिम संसाधनों का उपयोग किया जाता है।

उदाहरण के लिए, जब लिंक्डइन ने "लोगों को आप जानते हैं" फीचर एल्गोरिदम को बदल दिया, तो यह क्लिक मैट्रिक्स में केवल एक बार की वृद्धि उत्पन्न करता है। इसके अलावा, भले ही एल्गोरिथ्म बहुत बेहतर काम करता है, फिर भी प्रत्येक उपयोगकर्ता को लोगों की एक सीमित संख्या पता है, और जब उसने अपने मुख्य परिचितों से संपर्क किया है, तो किसी भी नए एल्गोरिदम का प्रभाव कम हो जाएगा।

उदाहरण: एक नए टैब में लिंक खोलना। तीन प्रयोगों की एक श्रृंखला

अगस्त 2008 में, एमएसएन यूके ने 900,000 से अधिक उपयोगकर्ताओं के लिए एक प्रयोग किया, जिसमें हॉटमेल का लिंक एक नए टैब (या पुराने ब्राउज़रों पर एक नई विंडो) में खोला गया। हमने पहले बताया था [7] कि इस न्यूनतम परिवर्तन (कोड की एक पंक्ति) ने एमएसएन उपयोगकर्ताओं की भागीदारी में वृद्धि की। मुख पृष्ठ पर प्रति उपयोगकर्ता क्लिकों की संख्या में मापा गया सगाई, उन उपयोगकर्ताओं के बीच 8.9% बढ़ी, जिन्होंने हॉटमेल पर क्लिक किया।

जून 2010 में, हमने संयुक्त राज्य में 2.7 मिलियन एमएसएन उपयोगकर्ताओं के दर्शकों पर प्रयोग को पुन: प्रस्तुत किया, और परिणाम समान थे। वास्तव में, यह नवीनता के प्रभाव के साथ एक विशेषता का एक उदाहरण भी है। सभी उपयोगकर्ताओं को इसे रोल करने के पहले दिन, 20% समीक्षाएँ नकारात्मक थीं। दूसरे सप्ताह में, असंतुष्टों की हिस्सेदारी 4% तक गिर गई, और तीसरे और चौथे सप्ताह के दौरान - 2% तक। मुख्य मीट्रिक में सुधार इस समय के दौरान स्थिर रहा है।

अप्रैल 2011 में, संयुक्त राज्य में एमएसएन ने 12 मिलियन से अधिक उपयोगकर्ताओं के साथ एक बहुत बड़ा प्रयोग किया, जिन्हें एक नए टैब में खोज परिणामों के साथ एक पृष्ठ खोला गया था। उपयोगकर्ता पर क्लिकों में मापी जाने वाली सगाई में 5% की वृद्धि हुई। यह उपयोगकर्ता की सगाई से जुड़ी सबसे अच्छी विशेषताओं में से एक थी जिसे एमएसएन ने कभी लागू किया है, और यह कोड में एक तुच्छ परिवर्तन था।

सभी प्रमुख खोज इंजन नए टैब / विंडो में लिंक खोलने के साथ प्रयोग करते हैं, लेकिन "खोज परिणाम पृष्ठ" के परिणाम इतने प्रभावशाली नहीं हैं।

उदाहरण: फ़ॉन्ट रंग

2013 में, बिंग ने फ़ॉन्ट रंगों के साथ कई प्रयोग किए। जीतने का विकल्प दाईं ओर चित्रा 1 में दिखाया गया है। यहां बताया गया है कि तीन रंगों को कैसे बदला गया:

इस तरह के बदलाव की लागत? सस्ता: बस सीएसएस फ़ाइल में कई रंग बदलें। और प्रयोग के परिणाम से पता चला कि उपयोगकर्ता अपने लक्ष्यों को प्राप्त करते हैं (सफलता की एक सख्त परिभाषा एक व्यापार रहस्य है) तेजी से, और इस संशोधन से मुद्रीकरण में प्रति वर्ष $ 10 मिलियन से अधिक की वृद्धि हुई। हम इस तरह के आश्चर्यजनक परिणामों पर संदेह कर रहे थे, इसलिए हमने इस प्रयोग को 32 मिलियन उपयोगकर्ताओं के बहुत बड़े नमूने पर पुन: पेश किया, और परिणामों की पुष्टि की गई।

उदाहरण: सही समय पर सही प्रस्ताव

2004 में वापस, अमेज़ॅन स्टार्ट पेज में दो स्लॉट थे, जिनमें से सामग्री को स्वचालित रूप से परीक्षण किया गया था, ताकि लक्ष्य मीट्रिक को बेहतर बनाने वाली सामग्री अधिक बार प्रदर्शित हो। अमेज़ॅन क्रेडिट कार्ड प्राप्त करने की पेशकश ने शीर्ष स्लॉट को मारा, जो तब से आश्चर्यजनक था इस प्रस्ताव में प्रति छापे पर बहुत कम क्लिक थे। लेकिन तथ्य यह है कि यह आवेदन बहुत लाभदायक था, इसलिए, छोटे सीटीआर के बावजूद, अपेक्षित मूल्य बहुत अधिक था। लेकिन क्या इस तरह की घोषणा के लिए जगह को सफलतापूर्वक चुना गया था? नहीं! नतीजतन, प्रस्ताव, लाभ के एक साधारण उदाहरण के साथ, खरीदारी की टोकरी में स्थानांतरित कर दिया गया था जो उपयोगकर्ता उत्पाद को जोड़ने के बाद देखता है। इस प्रकार, इस प्रस्ताव का लाभ प्रत्येक उत्पाद के उदाहरण पर जोर दिया गया था। यदि उपयोगकर्ता ने टोकरी में सामान जोड़ा है, तो यह खरीदारी करने का एक स्पष्ट इरादा है और इस तरह की पेशकश का समय है।

एक नियंत्रण प्रयोग से पता चला है कि इस तरह के एक साधारण बदलाव ने एक वर्ष में दसियों लाख डॉलर कमाए।

उदाहरण: एंटीवायरस

विज्ञापन एक लाभदायक व्यवसाय है, और उपयोगकर्ताओं द्वारा स्थापित "मुफ्त" सॉफ़्टवेयर में अक्सर एक दुर्भावनापूर्ण भाग होता है जो विज्ञापनों के साथ पृष्ठों को बंद कर देता है। उदाहरण के लिए, चित्र 2 दिखाता है कि बिंग परिणाम पृष्ठ एक दुर्भावनापूर्ण प्रोग्राम वाले उपयोगकर्ता के लिए कैसा दिखता है जिसने पृष्ठ पर बहुत सारे विज्ञापन जोड़े हैं (लाल रंग में हाइलाइट किए गए)।

उपयोगकर्ता आमतौर पर यह भी नहीं देखते हैं कि इतना विज्ञापन उस साइट द्वारा नहीं दिखाया जाता है जो वे देख रहे हैं, लेकिन दुर्भावनापूर्ण कोड द्वारा जो उन्होंने गलती से स्थापित किया है। प्रयोग को लागू करना मुश्किल था, लेकिन वैचारिक रूप से अपेक्षाकृत सरल: मूल प्रक्रियाओं को बदलना जो डोम को संशोधित करते हैं, और उन अनुप्रयोगों को सीमित करना जो पृष्ठ को संशोधित करने में सक्षम हैं। यह प्रयोग 3.8 मिलियन से अधिक उपयोगकर्ताओं के लिए किया गया था जिनके कंप्यूटर में DOM को संपादित करने वाला तृतीय-पक्ष कोड था। परीक्षण समूह में, इन परिवर्तनों को अवरुद्ध कर दिया गया था। परिणामों ने सभी प्रमुख मैट्रिक्स में सुधार दिखाया, जिसमें प्रति उपयोगकर्ता सत्र की संख्या जैसे मार्गदर्शक, अर्थात। लोग साइट पर अधिक बार आए। इसके अलावा, उपयोगकर्ताओं ने अपने कार्यों को अधिक सफलतापूर्वक और तेज़ी से पूरा किया, और वार्षिक राजस्व में कई मिलियन डॉलर की वृद्धि हुई। पृष्ठ लोडिंग गति, जिसे हम नियम संख्या 4 में चर्चा करेंगे, प्रयोग से प्रभावित पृष्ठों के लिए सैकड़ों मिलीसेकंड कम हो गया है।

बिंग के लिए दो अन्य छोटे बदलाव, जो कड़ाई से गोपनीय हैं, को विकसित होने में दिन लग गए, और प्रत्येक ने विज्ञापन राजस्व में प्रति वर्ष लगभग 100 मिलियन डॉलर की वृद्धि की। अक्टूबर 2013 में Microsoft की एक त्रैमासिक रिपोर्ट में, इसने कहा: "प्रत्येक खोज और प्रत्येक पृष्ठ से लाभ बढ़ने के कारण खोज से विज्ञापन राजस्व में 47% की वृद्धि हुई है।" उन दो परिवर्तनों ने उल्लेखित लाभ वृद्धि में महत्वपूर्ण योगदान दिया।

इन उदाहरणों के बाद, आप सोच सकते हैं कि संगठनों को बहुत सारे छोटे बदलावों पर ध्यान देना चाहिए। लेकिन नीचे आप देखेंगे कि यह बिल्कुल भी नहीं है। हां, छोटे परिवर्तनों के आधार पर ब्रेकआउट होते हैं, लेकिन वे बहुत दुर्लभ और अप्रत्याशित हैं: बिंग में, शायद 500 प्रयोगों में से एक इस तरह के उच्च आरओआई और प्रजनन योग्य सकारात्मक परिणाम प्राप्त करता है। हम यह दावा नहीं करते हैं कि ये परिणाम अन्य डोमेन पर प्रतिलिपि प्रस्तुत करने योग्य होंगे, हम केवल इस विचार को व्यक्त करना चाहते हैं: सरल प्रयोगों का संचालन प्रयास के लायक है और अंततः एक सफलता हो सकती है।

छोटे परिवर्तनों पर ध्यान केंद्रित करने से उत्पन्न होने वाला खतरा वृद्धिवाद है: एक स्वाभिमानी संगठन में संभावित उच्च ROI के साथ परिवर्तनों का एक सेट होना चाहिए, लेकिन साथ ही, बड़े जैकपॉट को हिट करने के लिए कई बड़े बदलाव होने चाहिए। [२३]

नियम संख्या 2: परिवर्तन शायद ही कभी प्रमुख मैट्रिक्स पर एक बड़ा सकारात्मक प्रभाव डालते हैं

जैसा कि अल पचिनो ने फिल्म में हर रविवार को कहा, जीत सेंटीमीटर से सेंटीमीटर होती है। सैकड़ों और हजारों प्रयोग प्रतिवर्ष बिंग जैसी साइटों पर चलते हैं। अधिकांश विफल होते हैं, और जो सफल मीट्रिक को 0.1% -1.0% तक प्रभावित करते हैं, समग्र प्रभाव में एक बूंद जोड़ते हैं। पिछले नियम में वर्णित महान प्रभाव के साथ छोटे परिवर्तन होते हैं, लेकिन वे दुर्लभ हैं।

दो बातों पर ध्यान देना जरूरी है:

की मेट्रिक्स एक व्यक्तिगत विशेषता से संबंधित कुछ विशिष्ट नहीं हैं जिन्हें आसानी से सुधारा जा सकता है, बल्कि एक मीट्रिक है जो पूरे संगठन के लिए महत्वपूर्ण है: उदाहरण के लिए, प्रति उपयोगकर्ता सत्रों की संख्या [18] या उपयोगकर्ता के लक्ष्य तक पहुंचने का समय [24]।

किसी विशेषता को विकसित करते समय, इस सुविधा (या अन्य सुविधा मीट्रिक) पर क्लिकों की संख्या में सुधार करने या इसे बड़ा बनाने के द्वारा इसे सुधारना बहुत आसान है। लेकिन पूरे पृष्ठ या पूरे उपयोगकर्ता अनुभव के सीटीआर को बढ़ाने के लिए - यह वह जगह है जहां चुनौती है। अधिकांश सुविधाएँ केवल पृष्ठ पर क्लिकों को चलाती हैं, उन्हें विभिन्न क्षेत्रों के बीच पुनर्वितरित करती हैं।
मेट्रिक्स को छोटे सेगमेंट में विभाजित किया जाना चाहिए, ताकि उन्हें ऑप्टिमाइज़ करना आसान हो। उदाहरण के लिए, क्या कोई टीम बिंग में मौसम संबंधी प्रश्नों के लिए मेट्रिक्स में आसानी से सुधार कर सकती है या अमेज़ॅन पर टीवी कार्यक्रम खरीद सकती है? एक अच्छा तुलना उपकरण जोड़ने। हालाँकि, कुंजी मीट्रिक में 10 प्रतिशत का सुधार खंड के आकार के कारण पूरे उत्पाद के मैट्रिक्स में विलीन हो जाएगा। उदाहरण के लिए, 1 प्रतिशत सेगमेंट में 10 प्रतिशत का सुधार पूरे प्रोजेक्ट को लगभग 0.1% (लगभग, क्योंकि यदि सेगमेंट मेट्रिक्स औसत से अलग है, तो प्रभाव भी अलग हो सकता है) को प्रभावित करेगा।

इस नियम का महत्व महान है क्योंकि प्रयोगों के दौरान झूठी सकारात्मक त्रुटियां होती हैं। उनके दो कारण हैं:

पहले आँकड़े के कारण होते हैं। यदि हम प्रति वर्ष एक हजार प्रयोग करते हैं, तो 0.05 की झूठी सकारात्मक त्रुटि की संभावना इस तथ्य की ओर ले जाती है कि एक निश्चित मीट्रिक के लिए हमें सैकड़ों बार एक गलत सकारात्मक परिणाम मिलेगा। और अगर हम कई मेट्रिक्स का उपयोग करते हैं जो एक-दूसरे के साथ संबद्ध नहीं हैं, तो यह परिणाम केवल तीव्र होता है। यहां तक कि बिंग जैसी बड़ी साइटों में संवेदनशीलता बढ़ाने के लिए और प्रति उपयोगकर्ता सत्रों की संख्या जैसे मेट्रिक्स के लिए कम पी-मान के साथ निष्कर्ष निकालने के लिए पर्याप्त ट्रैफ़िक नहीं है।
, , .

[11]. [25;26]. , , p-value 0,05 - .

α — уровень статистической значимости (обычно равен 0.05),

$\alpha\text{ — ( 0.05),}$

β — уровень ошибки второго рода (обычно 0,2 при 80 % мощности),

$\beta\text{ — ( 0,2 80 % ),}$

π — предварительная вероятность того, что альтернативная гипотеза верна,

$\pi\text{ — , ,}$

T P — истинноположительный результат,

$TP \text{— ,}$

a S S — статистическая значимость.

$\text{a } SS \text{ — .}$

P (T P | S S) = P (S S | T P) * \frac{P (T P)}{P (S S)} = \frac{(1 - β) π}{(1 - β) π + α (1 - π)}

$P (TP|SS) = P (SS|TP)*\frac{P (TP)}{P (SS)} = \frac{ (1-\beta)\pi}{ (1-\beta)\pi + \alpha (1-\pi)}$

α = 0.05, β = 0.20

$\alpha = 0.05 \text{ , } \beta = 0.20$

अगर हमारे पास have के बराबर सफलता की प्रारंभिक संभावना है (जैसा कि हमने [7] में कहा था, यह Microsoft पर प्रयोगों के बीच औसत मूल्य है), तो वास्तव में सकारात्मक सांख्यिकीय महत्वपूर्ण प्रयोग की उत्तरवर्ती संभावना 89% है। और अगर प्रयोग उन लोगों में से एक है, जिनके बारे में हमने पहले नियम में बात की थी, जब 500 में से केवल 1 में एक सफलता समाधान होता है, तो संभावना 3.1% तक गिर जाती है।

इस नियम का एक अजीब परिणाम यह तथ्य है कि किसी को पकड़ना अकेले विकसित करने की तुलना में बहुत आसान है। एक कंपनी में किए गए निर्णय जो सांख्यिकीय महत्व पर ध्यान केंद्रित करते हैं, सकारात्मक प्रभाव होने की अधिक संभावना है। उदाहरण के लिए, यदि हमारे पास 10-20% प्रयोगों की सफलता दर है, तो यदि हम उन विशेषताओं का परीक्षण करते हैं जो सफल रहे और अन्य खोज इंजनों में लड़ाई के लिए लुढ़के, तो हमारी सफलता का स्तर अधिक होगा। रिवर्स भी सच है: अन्य खोज इंजनों को भी परीक्षण करना चाहिए और उन चीजों को लागू करना चाहिए जो बिंग ने लागू की हैं।

अनुभव के साथ, हमने उन परिणामों पर भरोसा नहीं करना सीखा है जो सच होने के लिए बहुत अच्छे लगते हैं। लोग अलग-अलग स्थितियों में अलग-अलग प्रतिक्रिया करते हैं। उन्हें संदेह है कि कुछ गलत था और उन्होंने अपनी महान नई विशेषताओं के साथ प्रयोगों से नकारात्मक परिणामों का अध्ययन किया, प्रश्न पूछे और इस परिणाम के कारणों की खोज में गहनता से जुट गए। लेकिन अगर परिणाम केवल सकारात्मक है, तो संदेह फिर से शुरू हो जाता है और लोग जश्न मनाने लगते हैं, और गहन अध्ययन नहीं करते हैं और विसंगतियों की तलाश नहीं करते हैं।

जब परिणाम असाधारण रूप से उत्कृष्ट होते हैं, तो हमें ट्विन के नियम का पालन करने के लिए उपयोग किया जाता है [27]: जो कुछ भी दिलचस्प या अलग दिखता है वह आमतौर पर गलत होता है।

बेइमियान निष्कर्ष के साथ ट्विनमैन के नियम को समझाया जा सकता है। हमारे अनुभव में, हम जानते थे कि एक सफलता एक दुर्लभ घटना है। उदाहरण के लिए, कई प्रयोगों ने हमारे मार्गदर्शक मीट्रिक, प्रति उपयोगकर्ता सत्रों की संख्या में काफी सुधार किया। कल्पना कीजिए कि प्रयोगों में हमारा जो वितरण होता है वह सामान्य है, बिंदु 0 पर केंद्रित है और 0.25% के मानक विचलन के साथ है। यदि प्रयोग कुंजी मीट्रिक के मान को + 2% दिखाया गया है, तो हम ट्विमैन का नियम कहते हैं और कहते हैं कि यह एक बहुत ही दिलचस्प परिणाम है, जो औसत से 8 मानक विचलन की दूरी पर है और अन्य कारकों को छोड़कर, 10 ^-15 की संभावना है। सांख्यिकीय महत्व के साथ भी, प्रारंभिक अपेक्षा इतनी मजबूत है कि हम सफलता के उत्सव को स्थगित कर देंगे और दूसरे प्रकार की झूठी सकारात्मक त्रुटि के कारण की खोज में गहराई से जाएंगे। ट्विमैन के नियम को अक्सर यह साबित करने के लिए लागू किया जाता है कि =NP । आज कोई भी साइट एडिटर इस तरह के सबूत मिलने पर खुश नहीं होगा। सबसे अधिक संभावना है, वह तुरंत एक टेम्पलेट उत्तर के साथ जवाब देगा: "आपके प्रमाण में कि पी = एनपी, पेज एक्स पर एक गलती की गई थी।"

उदाहरण: सरोगेट ऑफिस ऑनलाइन मीट्रिक

कुक और उनकी टीम [17] ने एक दिलचस्प प्रयोग के बारे में बात की जो उन्होंने माइक्रोसॉफ्ट ऑफिस ऑनलाइन के साथ आयोजित की थी। टीम ने एक नए पृष्ठ के डिजाइन का परीक्षण किया जिसमें एक बटन मजबूती से खड़ा था, उत्पाद के लिए भुगतान करने के लिए बुला रहा था। मुख्य मीट्रिक जो टीम मापना चाहती थी: प्रति उपयोगकर्ता खरीद की संख्या। लेकिन वास्तविक खरीद पर नज़र रखने के लिए बिलिंग प्रणाली को संशोधित करना आवश्यक था, और उस समय ऐसा करना मुश्किल था। तब टीम ने मीट्रिक "खरीद के लिए अग्रणी क्लिक" का उपयोग करने और फॉर्मूला ( ) * = लागू करने का निर्णय लिया, जहां क्लिक से खरीद तक रूपांतरण लिया जाता है।

उनके आश्चर्य के लिए, प्रयोग में, क्लिक की संख्या में 64% की कमी हुई। इस तरह के चौंकाने वाले परिणामों ने डेटा के गहन विश्लेषण को मजबूर किया, और यह पता चला कि क्लिक से खरीद तक एक स्थिर रूपांतरण की धारणा झूठी है। प्रायोगिक पृष्ठ, जिसने उत्पाद की लागत को दिखाया, कम क्लिकों को आकर्षित किया, लेकिन जिन उपयोगकर्ताओं ने इस पर क्लिक किया वे बेहतर योग्य थे और जिनकी क्लिक से खरीद तक बहुत अधिक रूपांतरण था।

उदाहरण: धीमे पृष्ठ से अधिक क्लिक

जावास्क्रिप्ट को बिंग खोज परिणाम पृष्ठ में जोड़ा गया है। यह स्क्रिप्ट आमतौर पर पृष्ठ को धीमा कर देती है, इसलिए सभी को कुंजी सगाई मीट्रिक पर थोड़ा नकारात्मक प्रभाव देखने की उम्मीद है, जैसे कि उपयोगकर्ता पर क्लिक की संख्या। लेकिन परिणाम इसके विपरीत थे, अधिक क्लिक थे! [१ positive] सकारात्मक गतिशीलता के बावजूद, हमने ट्विमैन के नियम का पालन किया और पहेली को हल किया। क्लिक ट्रैकर वेब बीकन पर आधारित होते हैं, और कुछ ब्राउज़रों ने कॉल नहीं किया तो उपयोगकर्ता पेज छोड़ देता है। [२ JavaScript] इस प्रकार, जावास्क्रिप्ट ने क्लिक गणना की सटीकता को प्रभावित किया।

उदाहरण: बिंग एज

2013 में कई महीनों के लिए, बिंग ने अकामाई से अपने बिंग एज में अपना कंटेंट डिलीवरी नेटवर्क बदल दिया। ट्रैफिक को बिंग एज में स्विच करना कई अन्य सुधारों के साथ जोड़ा गया है। कई टीमों ने बताया कि उन्होंने प्रमुख मीट्रिक में सुधार किया: बिंग होमपेज के सीटीआर में वृद्धि हुई, सुविधाओं का उपयोग अधिक बार किया जाने लगा, और बहिर्वाह में गिरावट शुरू हुई। और इसलिए यह पता चला कि ये सभी सुधार स्वच्छ क्लिक गणना से संबंधित थे: बिंग एज ने न केवल पृष्ठ गति में सुधार किया, बल्कि वितरण पर भी क्लिक किया। प्रभाव का मूल्यांकन करने के लिए, हमने एक प्रयोग शुरू किया जिसमें क्लिकिंग ट्रैक करने के लिए प्रकाशस्तंभ दृष्टिकोण को पृष्ठ पुनः लोड के साथ एक दृष्टिकोण से बदल दिया गया था। इस तकनीक का उपयोग विज्ञापन में किया जाता है और प्रत्येक क्लिक के प्रभाव को धीमा करते हुए क्लिकों की थोड़ी हानि होती है। परिणामों से पता चला कि खोए हुए क्लिकों का प्रतिशत 60% से अधिक गिर गया! और उस अवधि के दौरान घोषित अधिकांश उपलब्धियां बेहतर क्लिक वितरण का परिणाम थीं।

उदाहरण: एमएसएन बिंग सर्च

ऑटो-समापन एक ड्रॉप-डाउन सूची है जो किसी व्यक्ति को टाइप करते समय अनुरोध पूरा करने के लिए विकल्प प्रदान करता है। एमएसएन ने एक नए और बेहतर एल्गोरिदम के साथ इस सुविधा को बेहतर बनाने की योजना बनाई (विशेषताएं विकास दल यह बताने के लिए हमेशा तैयार हैं कि उनका नया एल्गोरिदम पुराने की तुलना में बेहतर क्यों है, लेकिन प्रयोगों के परिणाम देखने पर वे अक्सर निराश हो जाते हैं)। प्रयोग एक बड़ी सफलता थी, एमएसएन के साथ बिंग में आने वाली खोजों की संख्या में काफी वृद्धि हुई। हमारे नियमों का पालन करते हुए, हमने समझना शुरू किया और पाया कि जब उपयोगकर्ता टूलटिप पर क्लिक करता है, तो नए कोड ने दो खोज क्वेरी बनाईं (जिनमें से एक को ब्राउज़र द्वारा तुरंत बंद कर दिया गया था जैसे ही खोज परिणाम दिखाई दिए)।

तो कई सकारात्मक परिणामों के लिए स्पष्टीकरण उतना रोमांचक नहीं हो सकता है। और हमारा कार्य उपयोगकर्ता पर एक वास्तविक प्रभाव खोजना है, और ट्विन के नियम ने वास्तव में इसमें और कई प्रयोगात्मक परिणामों को समझने में मदद की।

नियम संख्या ३। आपका लाभ अलग-अलग होगा।

सफल नियंत्रण प्रयोगों के कई प्रलेखित उदाहरण हैं। उदाहरण के लिए, " कौन सा टेस्ट जीता? " में ए / बी परीक्षण के सैकड़ों उदाहरण हैं, और सूची हर हफ्ते अपडेट की जाती है।

यद्यपि यह विचारों का एक बड़ा जनरेटर है, इन उदाहरणों में कई समस्याएं हैं:

गुणवत्ता भिन्न होती है। इन अध्ययनों में, कंपनी का कोई व्यक्ति ए / बी परीक्षण के परिणाम के बारे में बात करता है। क्या कोई विशेषज्ञ मूल्यांकन था? क्या यह सही ढंग से किया गया था? वहाँ उत्सर्जन थे? क्या पी-वैल्यू काफी छोटा था (हमने पी / मान के साथ ए / बी परीक्षण प्रकाशित किया था जो 0.05 से अधिक था, जिसे आमतौर पर सांख्यिकीय रूप से महत्वहीन माना जाता है)? क्या हम पहले के बारे में बात करते थे, और परीक्षण लेखकों ने ठीक से जाँच नहीं की थी?
एक डोमेन में काम करने वाले दूसरे में काम नहीं कर सकते हैं। उदाहरण के लिए, नील पटेल [29] "30-दिवसीय मनी बैक गारंटी" के बजाय 30-दिवसीय परीक्षण संस्करण की पेशकश करने वाले विज्ञापनों में "मुक्त" शब्द का उपयोग करने की सिफारिश करता है। यह एक उत्पाद और एक दर्शक के साथ काम कर सकता है, लेकिन हमें संदेह है कि परिणाम उत्पाद और दर्शकों पर बहुत निर्भर करेगा। जोशुआ पोर्टर [30] ने कहा है कि "गेट स्टार्टेड नाउ" में शामिल होने के लिए कॉल करने वाले बटन के लिए "रेड ग्रीन से बेहतर है"। लेकिन चूंकि हमने कई साइटों को लाल कॉल-टू-एक्शन बटन के साथ नहीं देखा है, इसलिए, जाहिर है, यह परिणाम इतनी अच्छी तरह से पुन: पेश नहीं किया गया है।
नवीनता और पहली बार का प्रभाव। हम अपने प्रयोगों में स्थिरता प्राप्त करते हैं, और कई उदाहरणों में कई प्रयोगों को ऐसे प्रभावों की जांच करने के लिए लंबे समय तक आयोजित नहीं किया गया है।
परिणामों की गलत व्याख्या। कुछ छिपे हुए कारण या विशिष्ट कारक को मान्यता या गलत समझा नहीं जा सकता है। हम दो उदाहरण देते हैं। उनमें से एक पहला प्रलेखित नियंत्रण प्रयोग है।

उदाहरण 1 स्कर्वी विटामिन सी की कमी से होने वाली बीमारी है। इसने 16-18 शताब्दियों में 100,000 से अधिक लोगों को मार डाला, उनमें से अधिकांश नाविक जो लंबी यात्राओं पर चले गए और फल और सब्जियों की तुलना में समुद्र में लंबे समय तक रहे। 1747 में, डॉ। जेम्स लिंड ने नोट किया कि भूमध्य सागर में जहाजों पर स्कर्वी कम प्रभावित होता है। उसने कुछ नाविकों को नींबू और संतरे देने शुरू किए, दूसरों को सामान्य आहार के लिए छोड़ दिया। प्रयोग बहुत सफल रहा, लेकिन डॉक्टर इसका कारण नहीं समझ पाए। ब्रिटेन के रॉयल मैरीटाइम अस्पताल में, उन्होंने केंद्रित नींबू के रस के साथ स्कर्वी रोगियों का इलाज किया, जिसे उन्होंने लूट कहा। डॉक्टर ने इसे गर्म करके ध्यान केंद्रित किया, जिसने विटामिन सी। लिंड का विश्वास नष्ट कर दिया और अक्सर रक्तपात का सहारा लिया। 1793 में, वास्तविक परीक्षण किए गए थे। और नींबू का रस नाविकों के दैनिक आहार का हिस्सा बन गया है। स्कर्वी जल्दी से गायब हो गया, और ब्रिटिश नाविकों को अभी भी लेमनग्रास कहा जाता है।

उदाहरण 2 मारिसा मेयर ने एक प्रयोग के बारे में बात की, जिसमें Google ने खोज पृष्ठ पर परिणामों की संख्या 10 से बढ़ाकर 30 कर दी। Google पर खोज करने वाले उपयोगकर्ताओं के ट्रैफ़िक और लाभ में 20% की गिरावट आई। और उसने यह कैसे समझाया? जैसे, पेज को जेनरेट करने के लिए आधे सेकंड की आवश्यकता होती है। बेशक, उत्पादकता एक महत्वपूर्ण कारक है, लेकिन हमें संदेह है कि इससे केवल नुकसान का एक छोटा सा हिस्सा प्रभावित हुआ। यहाँ कारणों की हमारी दृष्टि है:

बिंग ने अलग-थलग धीमे-धीमे प्रयोग किए [11], जिसके दौरान केवल प्रदर्शन बदल गया। 250 मिलीसेकंड से अधिक की सर्वर प्रतिक्रिया देरी ने लगभग 1.5% और सीटीआर 0.25% तक राजस्व को प्रभावित किया। यह एक बड़ा प्रभाव है, और यह माना जा सकता है कि 500 मिलीसेकंड राजस्व और सीटीआर को क्रमशः 3% और 0.5% तक प्रभावित करेगा, लेकिन 20% द्वारा नहीं (मान लीजिए कि एक रैखिक सन्निकटन यहां लागू होता है)। बिंग [32] में पुराने परीक्षणों ने क्लिक्स पर समान प्रभाव दिखाया और 2 सेकंड की देरी के साथ राजस्व पर कम प्रभाव।
Google के जेक ब्रुटलैग ने एक ब्लॉग पोस्ट में एक प्रयोग के बारे में लिखा [12] जिसमें दिखाया गया है कि 100 मिलीसेकंड से 400 तक के खोज परिणामों को धीमा करने से खोज की विशिष्ट संख्या और 0.2% से 0.6% के बीच महत्वपूर्ण प्रभाव पड़ता है, जो बहुत अच्छी तरह से काम करता है हमारे प्रयोगों के साथ, लेकिन मारिसा मेयर के परिणामों से बहुत दूर।
BIng ने 10. के बजाय 20 खोज परिणामों को दिखाने के साथ एक प्रयोग किया। लाभ के नुकसान ने अतिरिक्त विज्ञापन को जोड़ दिया (जिससे पेज थोड़ा धीमा भी हो गया)। हमारा मानना है कि एल्गोरिदम को खोजने के लिए विज्ञापन का अनुपात प्रदर्शन से बहुत अधिक महत्वपूर्ण है।

हमें विभिन्न स्रोतों में प्रकाशित ए / बी परीक्षणों के कई उल्लेखनीय परिणामों पर संदेह है। प्रयोगों के परिणामों की जांच करते समय, अपने आप से पूछें कि आपके पास उनमें किस स्तर का विश्वास है? और याद रखें, भले ही विचार एक साइट पर काम करता हो, यह आवश्यक नहीं है कि यह दूसरे पर काम करेगा। सबसे अच्छी बात हम प्रयोगों के प्रजनन और उनकी सफलता या विफलता के बारे में बात कर सकते हैं। यह विज्ञान के लिए सबसे अधिक फायदेमंद होगा।

नियम संख्या 4: गति का अर्थ बहुत है

वेब डेवलपर्स जो नियंत्रण प्रयोगों का उपयोग करके अपनी सुविधाओं का परीक्षण करते हैं, उन्हें जल्दी ही पता चला कि साइट का प्रदर्शन या गति महत्वपूर्ण पैरामीटर हैं [13; 14; 33]। यहां तक कि साइट के संचालन में थोड़ी देरी भी परीक्षण समूह के प्रमुख मैट्रिक्स को प्रभावित कर सकती है।

प्रदर्शन के प्रभावों का मूल्यांकन करने का सबसे अच्छा तरीका एक अलग-अलग मंदी का प्रयोग करना है, अर्थात्। बस देरी के साथ जोड़ें। चित्र 3 प्रदर्शन और मीट्रिक के परीक्षण (CTR, इकाई सफलता दर और राजस्व) के बीच संबंधों का एक मानक ग्राफ दिखाता है। आमतौर पर साइट जितनी तेज़ होगी, बेहतर (इस ग्राफ़ पर अधिक)। नियंत्रण समूह के संबंध में परीक्षण समूह के काम को धीमा करना, आप उस मेट्रिक पर प्रदर्शन के प्रभाव को माप सकते हैं जिसमें आप रुचि रखते हैं। यह नोट करना महत्वपूर्ण है:

परीक्षण समूह पर मंदी का प्रभाव यहाँ और अब (ग्राफ़ पर धराशायी रेखा) मापा जाता है और साइट और दर्शकों पर निर्भर करता है। यदि साइट या ऑडियंस बदलती है, तो प्रदर्शन में गिरावट मुख्य मैट्रिक्स को अलग तरह से प्रभावित कर सकती है।
प्रयोग प्रमुख मैट्रिक्स पर मंदी का प्रभाव दिखाता है। यह बहुत उपयोगी हो सकता है जब आप एक नई सुविधा के प्रभाव को मापने की कोशिश कर रहे हैं जिसका पहला कार्यान्वयन प्रभावी नहीं है। मान लें कि यह X के द्वारा M के मीट्रिक में सुधार करता है, और उसी समय साइट को T% से धीमा कर देता है। मंदी के साथ प्रयोग का उपयोग करके, हम मीट्रिक एम पर मंदी के प्रभाव का मूल्यांकन कर सकते हैं, सुविधा के प्रभाव को सही कर सकते हैं और अनुमानित प्रभाव X '% प्राप्त कर सकते हैं (यह मान लेना तर्कसंगत है कि इन प्रभावों में लत की संपत्ति है)। और इसलिए हम इस सवाल का जवाब दे सकते हैं: "अगर यह प्रभावी ढंग से लागू किया जाता है तो यह प्रमुख मीट्रिक को कैसे प्रभावित करेगा?"
हम यह मान सकते हैं कि कैसे तथ्य यह है कि साइट तेजी से काम करना शुरू कर देगी और अनुकूलन प्रयासों के आरओआई की गणना करने में मदद करेगी, यह महत्वपूर्ण मीट्रिक को प्रभावित करेगा। एक रैखिक सन्निकटन (टेलर श्रृंखला का पहला शब्द) का उपयोग करके, हम मान सकते हैं कि दोनों दिशाओं में मीट्रिक पर प्रभाव समान है। हम मानते हैं कि ऊर्ध्वाधर डेल्टा दोनों दिशाओं में समान है और केवल साइन में अलग है। इसलिए, विभिन्न मूल्यों पर मंदी के साथ प्रयोग करते हुए, हम मोटे तौर पर कल्पना कर सकते हैं कि त्वरण इन समान मूल्यों को कैसे प्रभावित करेगा। हमने बिंग में इस तरह के परीक्षण किए और हमारे सिद्धांत की पूरी तरह से पुष्टि की गई है।

प्रदर्शन कितना महत्वपूर्ण है? महत्वपूर्ण रूप से महत्वपूर्ण है। अमेज़न में, 100 मिलीसेकंड की मंदी बिक्री में 1% की गिरावट की ओर ले जाती है, जैसा कि ग्रेग लिंडेड ने कहा था [34 p.10]। और बिंग और Google के वक्ताओं [32] से मुख्य मैट्रिक्स पर प्रदर्शन का एक महत्वपूर्ण प्रभाव दिखाई देता है।

उदाहरण: सर्वर मंदी का प्रयोग

हमने 10% उपयोगकर्ताओं के लिए 100 मिलीसेकंड से, अन्य 10% उपयोगकर्ताओं के लिए 250 मिलीसेकंड तक सेवा को धीमा करने के लिए बिंग में दो सप्ताह का प्रयोग किया। यह पता चला है कि सेवा त्वरण के प्रत्येक 100 मिलीसेकंड में राजस्व में 0.6% की वृद्धि हुई है। यहां से एक वाक्यांश भी दिखाई दिया जो अच्छी तरह से हमारे संगठन के सार को दर्शाता है: एक इंजीनियर जो 10 मिलीसेकंड (हमारी आंखों की झपकी गति का 1/30) द्वारा सर्वर के प्रदर्शन में सुधार करेगा, वह अपनी कंपनी को एक साल की आय से अधिक कमाएगा। हर मिलीसेकंड मायने रखता है।

वर्णित प्रयोग में, हमने सर्वर के प्रतिक्रिया समय को धीमा कर दिया, फिर पृष्ठ पर सभी तत्वों के परिचालन समय को धीमा कर दिया। लेकिन पृष्ठ में अधिक महत्वपूर्ण भाग हैं, और कम महत्वपूर्ण भाग हैं। उदाहरण के लिए, उपयोगकर्ता यह नहीं जान सकते हैं कि स्क्रीन के दायरे से बाहर की वस्तुओं को अभी तक लोड नहीं किया गया है। लेकिन क्या कोई तुरंत प्रदर्शित तत्व हैं जो उपयोगकर्ता को नुकसान पहुंचाए बिना धीमा किया जा सकता है? जैसा कि आप नीचे देखेंगे, ऐसे तत्व हैं।

उदाहरण: सही पैनल प्रदर्शन इतना महत्वपूर्ण नहीं है

बिंग में, स्नैपशॉट्स नामक कुछ तत्व सही पैनल में स्थित होते हैं और देर से लोड होते हैं (विंडो के बाद घटना)। हमने हाल ही में एक प्रयोग किया: दाएं पैनल के तत्व 250 मिलीसेकंड तक धीमा हो गए। यदि यह प्रभावित होता है, तो यह इतना महत्वहीन है कि हमने कुछ भी नोटिस नहीं किया। और प्रयोग में लगभग 20 मिलियन उपयोगकर्ता शामिल थे।

पृष्ठ लोड समय (पीएलटी) को अक्सर उपयोगी ब्राउज़र गतिविधि के पूरा होने के संकेत के रूप में window.onload घटना का उपयोग करके गणना की जाती है। लेकिन आज, आधुनिक ब्राउज़रों के साथ काम करते समय इस मीट्रिक में एक गंभीर दोष है। जैसा कि स्टीव सॉडर्स [32] ने दिखाया, अमेज़ॅन पेज का शीर्ष 2 सेकंड में प्रस्तुत करता है, जबकि 5.2 सेकंड में windows.onload फायर करता है। Schurman [32] ने कहा कि वे पृष्ठ को गतिशील रूप से प्रस्तुत करने में सक्षम थे, इसलिए उनके लिए हेडर को बहुत जल्दी दिखाना महत्वपूर्ण था। यह विपरीत भी सच है: Gmail में, windows.onload 3.3 सेकंड के बाद आग लगाता है, जबकि उस समय स्क्रीन पर केवल डाउनलोड बार दिखाई देता था, और सभी सामग्री 4.8 सेकंड में दिखाई जाएगी।

समय से संबंधित मैट्रिक्स हैं, उदाहरण के लिए: पहले परिणाम के लिए समय (जैसे, ट्विटर पर पहले ट्वीट का समय, परिणाम पृष्ठ पर पहला खोज परिणाम)। लेकिन शब्द "प्रदर्शन" को हमेशा पृष्ठ की ऐसी गति का वर्णन करने के लिए उपयोग किया जाता है ताकि उपयोगकर्ता इसे पर्याप्त रूप से पूर्ण समझे। "Perceived performance" की अवधारणा को कड़ाई से तैयार करने की तुलना में सहज ज्ञान युक्त वर्णन करना आसान है, इसलिए, किसी भी ब्राउज़र की perception.ready() को लागू करने की योजना नहीं है। पहले से ही perception.ready() घटना। इस समस्या को हल करने के लिए, कई मान्यताओं और मान्यताओं का उपयोग किया जाता है, उदाहरण के लिए:

पृष्ठ का शीर्ष (AFT) समय [३।]। उस क्षण के रूप में मापा जाता है जब पृष्ठ के सभी शीर्ष पिक्सेल प्रदर्शित होते हैं। कार्यान्वयन उन आंकड़ों पर आधारित होता है जो वीडियो, गिफ़्स, स्क्रॉल गैलरी और अन्य गतिशील सामग्री से निपटने में विशेष रूप से जटिल होते हैं जो पृष्ठ के शीर्ष को बदलते हैं। थ्रेसहोल्ड को छोटे और तुच्छ तत्वों के प्रभाव से बचने के लिए "खींचे गए पिक्सल के प्रतिशत" पर सेट किया जा सकता है जो मापा मीट्रिक को बढ़ा सकते हैं।
स्पीड इंडेक्स [38] एएफटी का कुछ सामान्यीकरण है जो स्क्रीन पर दिखाई देने वाले पृष्ठ तत्वों के समय का औसत है। गति छोटे तत्वों से ग्रस्त नहीं होती है जो देर से दिखाई देते हैं, लेकिन यह अभी भी गतिशील सामग्री से प्रभावित होता है जो पृष्ठ के शीर्ष को बदलता है।
पृष्ठ चरण समय और उपयोगकर्ता उपलब्धता समय [३ ९]। पृष्ठ चरण का समय - प्रत्येक व्यक्तिगत पेज रेंडरिंग चरण के लिए आवश्यक समय। , . — , .

W3C- , HTML, , , . , , , .

Bing , « » (TTS) [24] . — . , 30 . — «Perceived performance». , ; , , . , , , . , . , , , , — .

№5: — , —

, Bing — , , . , — , , . , , . , , .

:

Bing . , «data mining», Bing «Examples of data mining», «Advantages of Data Mining», «definition of data mining», «Data mining companies»,«data mining software» .. . 10 . , (p-value 0,64).

:

Bing , , , , . . 17 %, (p-value 0,71).

:

Bing , 10 . , :

, , «ebay», CTR 75 %. 10 . : 8 , , 4 . (p-value 0,92), production.
, «» , Bing (14 ). , 3 «» , : 1,8 % , 30 , 18 % ( ), (p-value 0,93). .

:

. 10 , 12 % ( $150 , ). , (p-value 0,83)

, , . , , .

, ( Microsoft, Amazon .), CTR. , , . , . , . «» . : — , — .

№6: ,

. .. [40]: « , , . , — ». , online-, , [17;41], , , . , . LinkedIn.

: LinkedIn

LinkedIn . 2013 , , , , — LinkedIn, . , : , . , , , . . : . , , , . , , - , , - . .

: LinkedIn

LinkedIn . , . , . , . , , . , . , , , . , , , . , , . , . , .

offline- , , online, , , [4;11]. (Mullty-Variable) , MV-. ( /B/C/D) .

— Agile, MVP [15]: MVT, , . , . , , .. MV- - .

: 1 % , . Agile- Knight Capital, 2012 440 Knights 75 %.

№7:

. , , . , , . , . , [42] , , n > 30, . , . — , Neil Patel , .

, ( ) [16], , . , , .

, 355 * s^2 , , . s — , :

$$s = \frac{E (XE (X))^3}{\Var (X)^{3/2}}$$

, 1. , , Bing:


Revenue/User	17,9	114 .	4,4 %
Revenue/User (capped)	5,2	9,7 .	10,5 %
Sessions/User	3,6	4,7 .	5,4 %
Time To Success	2,1	1,55 .	12,3 %

, « » 10, « » — 30. 95 % , , 0,025, 0,3 0,2. Boos Hughes-Oliver [43]. , . , 18,2, 114 . . 4 , 100 1000 , QQ. 95- , , 5 %. 100 000 , -2 2.

, - , . , « » , , 18 5, . , 30 % , .

, , . , , , , 0. , 1.

, [16]. bootstrap [44].

निष्कर्ष

7 , , . , , , , . , Twyman' , , . , , , , . — — . , , , , — . , , (, ). , , . — , , , . , : , . , , . , . Agile. — , . , , . , — . , , , .

, , . Mujtaba Khambatti, John Psaroudakis, Sreenivas Addagatke, . Juan Lavista Ferres, Urszula Chajewska, Greben Langendijk, Lukas Vermeer, Jonas Alves. Eytan Bakshy, Brooks Bell Colin McFarland.

Kohavi, Ron and Round, Matt. Front Line Internet Analytics at Amazon.com. [ed.] Jim Sterne. Santa Barbara, CA: sn, 2004. ai.stanford.edu/~ronnyk/emetricsAmazon.pdf .
McKinley, Dan. Design for Continuous Experimentation: Talk and Slides. [Online] Dec 22, 2012. mcfunley.com/designfor-continuous-experimentation .
Bakshy, Eytan and Eckles, Dean. Uncertainty in Online Experiments with Dependent Data: An Evaluation of Bootstrap Methods. KDD 2013: Proceedings of the 19th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2013.
Tang, Diane, et al. Overlapping Experiment Infrastructure: More, Better, Faster Experimentation. Proceedings 16th Conference on Knowledge Discovery and Data Mining. 2010।
Moran, Mike. Multivariate Testing in Action: Quicken Loan's Regis Hadiaris on multivariate testing. Biznology Blog by Mike Moran. [Online] December 2008. www.biznology.com/2008/12/multivariate_testing_in_action .
Posse, Christian. Key Lessons Learned Building LinkedIn Online Experimentation Platform. Slideshare. [Online] March 20, 2013. www.slideshare.net/HiveData/googlecontrolledexperimentationpanelthe-hive .
Kohavi, Ron, Crook, Thomas and Longbotham, Roger. Online Experimentation at Microsoft. Third Workshop on Data Mining Case Studies and Practice Prize. 2009. http://expplatform.com/expMicrosoft.aspx .
Amatriain, Xavier and Basilico, Justin. Netflix Recommendations: Beyond the 5 stars. [Online] April 2012. techblog.netflix.com/2012/04/netflix-recommendationsbeyond-5-stars.html .
McFarland, Colin. Experiment!: Website conversion rate optimization with A/B and multivariate testing. sl: New Riders, 2012. 978-0321834607.
Smietana, Brandon. Zynga: What is Zynga's core competency? Quora. [Online] Sept 2010. www.quora.com/Zynga/What-is-Zyngas-corecompetency/answer/Brandon-Smietana .
Kohavi, Ron, et al. Online Controlled Experiments at Large Scale. KDD 2013: Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. 2013. bit.ly/ExPScale .
Brutlag, Jake. Speed Matters. Google Research blog. [Online] June 23, 2009. googleresearch.blogspot.com/2009/06/speed-matters.html .
Sullivan, Nicole. Design Fast Websites. Slideshare. [Online] Oct 14, 2008. www.slideshare.net/stubbornella/designingfast-websites-presentation .
Kohavi, Ron, Henne, Randal M and Sommerfield, Dan. Practical Guide to Controlled Experiments on the Web: Listen to Your Customers not to the HiPPO. The Thirteenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2007). August 2007, pp. 959-967. www.expplatform.com/Documents/GuideControlledExperiments.pdf .
Ries, Eric. The Lean Startup: How Today's Entrepreneurs Use Continuous Innovation to Create Radically Successful Businesses. sl: Crown Business, 2011. 978-0307887894.
Kohavi, Ron, et al. Controlled experiments on the web: survey and practical guide. Data Mining and Knowledge Discovery. February 2009, Vol. 18, 1, pp. 140-181. www.exp-platform.com/Pages/hippo_long.aspx .
Crook, Thomas, et al. Seven Pitfalls to Avoid when Running Controlled Experiments on the Web. [ed.] Peter Flach and Mohammed Zaki. KDD '09: Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining. 2009, pp. 1105-1114. www.expplatform.com/Pages/ExPpitfalls.aspx .
Kohavi, Ron, et al. Trustworthy online controlled experiments: Five puzzling outcomes explained. Proceedings of the 18th Conference on Knowledge Discovery and Data Mining. 2012, www.expplatform.com/Pages/PuzzingOutcomesExplained.aspx .
Wikipedia contributors. Fisher's method. Wikipedia. [Online] Jan 2014. http://en.wikipedia.org/wiki/Fisher %27s_method .
Eisenberg, Bryan. How to Increase Conversion Rate 1,000 Percent. ClickZ. [Online] Feb 28, 2003. www.clickz.com/showPage.html?page=1756031 .
Spool, Jared. The $300 Million Button. USer Interface Engineering. [Online] 2009. www.uie.com/articles/three_hund_million_button .
Goldstein, Noah J, Martin, Steve J and Cialdini, Robert B. Yes!: 50 Scientifically Proven Ways to Be Persuasive. sl: Free Press, 2008. 1416570969.
Collins, Jim and Porras, Jerry I. Built to Last: Successful Habits of Visionary Companies. sl: HarperBusiness, 2004. 978- 0060566104.
Badam, Kiran. Looking Beyond Page Load Times – How a relentless focus on Task Completion Times can benefit your users. Velocity: Web Performance and Operations. 2013. velocityconf.com/velocityny2013/public/schedule/detail/32 820.
Why Most Published Research Findings Are False. Ioannidis, John P. 8, 2005, PLoS Medicine, Vol. 2, p. e124. www.plosmedicine.org/article/info :doi/10.1371/journal.pme d.0020124.
Wacholder, Sholom, et al. Assessing the Probability That a Positive Report is False: An Approach for Molecular Epidemiology Studies. Journal of the National Cancer Institute. 2004, Vol. 96, 6. jnci.oxfordjournals.org/content/96/6/434.long .
Ehrenberg, ASC The Teaching of Statistics: Corrections and Comments. Journal of the Royal Statistical Society. Series A, 1974, Vol. 138, 4.
Ron Kohavi, David Messner,Seth Eliot, Juan Lavista Ferres, Randy Henne, Vignesh Kannappan,Justin Wang. Tracking Users' Clicks and Submits: Tradeoffs between User Experience and Data Loss. Redmond: sn, 2010.
Patel, Neil. 11 Obvious A/B Tests You Should Try. QuickSprout. [Online] Jan 14, 2013. http://www.quicksprout.com/2013/01/14/11-obvious-ab-tests-youshould-try/ .
Porter, Joshua. The Button Color A/B Test: Red Beats Green. Hutspot. [Online] Aug 2, 2011. blog.hubspot.com/blog/tabid/6307/bid/20566/The-ButtonColor-AB-Test-Red-Beats-Green.aspx .
Linden, Greg. Marissa Mayer at Web 2.0. Geeking with Greg. [Online] Nov 9, 2006. glinden.blogspot.com/2006/11/marissa-mayer-at-web20.html .
Performance Related Changes and their User Impact. Schurman, Eric and Brutlag, Jake. sl: Velocity 09: Velocity Web Performance and Operations Conference, 2009.
Souders, Steve. High Performance Web Sites: Essential Knowledge for Front-End Engineers. sl: O'Reilly Media, 2007. 978-0596529307.
Linden, Greg. Make Data Useful. [Online] Dec 2006. sites.google.com/site/glinden/Home/StanfordDataMining.20 06-11-28.ppt.
Wikipedia contributors. Above the fold. Wikipedia, The Free Encyclopedia. [Online] Jan 2014. en.wikipedia.org/wiki/Above_the_fold .
Souders, Steve. Moving beyond window.onload (). High Performance Web Sites Blog. [Online] May 13, 2013. www.stevesouders.com/blog/2013/05/13/moving-beyondwindow-onload .
Brutlag, Jake, Abrams, Zoe and Meenan, Pat. Above the Fold Time: Measuring Web Page Performance Visually. Velocity: Web Performance and Operations Conference. 2011. en.oreilly.com/velocitymar2011/public/schedule/detail/18692 .
Meenan, Patrick. Speed Index. WebPagetest. [Online] April 2012. sites.google.com/a/webpagetest.org/docs/usingwebpagetest/metrics/speed-index .
Meenan, Patrick, Feng, Chao (Ray) and Petrovich, Mike. Going Beyond onload — How Fast Does It Feel? Velocity: Web Performance and Operations. 2013. velocityconf.com/velocityny2013/public/schedule/detail/31 344.
Fisher, Ronald A. Presidential Address. Sankhyā: The Indian Journal of Statistics. 1938, Vol. 4, 1. www.jstor.org/stable/40383882 .
Kohavi, Ron and Longbotham, Roger. Unexpected Results in Online Controlled Experiments. SIGKDD Explorations. 2010, Vol. 12, 2. www.exp-platform.com/Documents/2010- 12 %20ExPUnexpectedSIGKDD.pdf.
Montgomery, Douglas C. Applied Statistics and Probability for Engineers. 5th. sl: John Wiley & Sons, Inc, 2010. 978- 0470053041.
Boos, Dennis D and Hughes-Oliver, Jacqueline M. How Large Does n Have to be for Z and t Intervals? The American Statistician. 2000, Vol. 54, 2, pp. 121-128.
Efron, Bradley and Robert J. Tibshirani. An Introduction to the Bootstrap. New York: Chapman & Hall, 1993. 0-412-04231- 2.

वेबसाइटों के साथ प्रयोग करने के लिए अंगूठे के सात नियम

परिचय

नियंत्रण प्रयोगों, डेटा और डेटा से ज्ञान निकालने की प्रक्रिया

प्रयोग के लिए अंगूठे के नियम

नियम # 1: छोटे परिवर्तनों का कुंजी मैट्रिक्स पर BIG प्रभाव हो सकता है

उदाहरण: एक नए टैब में लिंक खोलना। तीन प्रयोगों की एक श्रृंखला

उदाहरण: फ़ॉन्ट रंग

उदाहरण: सही समय पर सही प्रस्ताव

उदाहरण: एंटीवायरस

नियम संख्या 2: परिवर्तन शायद ही कभी प्रमुख मैट्रिक्स पर एक बड़ा सकारात्मक प्रभाव डालते हैं

उदाहरण: सरोगेट ऑफिस ऑनलाइन मीट्रिक

उदाहरण: धीमे पृष्ठ से अधिक क्लिक

उदाहरण: बिंग एज

उदाहरण: एमएसएन बिंग सर्च

नियम संख्या ३। आपका लाभ अलग-अलग होगा।

नियम संख्या 4: गति का अर्थ बहुत है

उदाहरण: सर्वर मंदी का प्रयोग

उदाहरण: सही पैनल प्रदर्शन इतना महत्वपूर्ण नहीं है

№5: — , —

:

:

:

:

№6: ,

: LinkedIn

: LinkedIn

№7:

निष्कर्ष

More articles: