गेस्टाल्ट परीक्षण: बायेसियन सिद्धांत और मशीन सीखने के आधार पर मेल अनुकूलन सूची अनुकूलन के लिए एक नया दृष्टिकोण

बहुभिन्नरूपी (ए / बी / एन, या विभाजन) परीक्षण मेलिंग सूचियों का परीक्षण करने का सबसे लोकप्रिय तरीका है। यह उपकरण प्रभावी साबित हुआ है, लेकिन इसमें मुख्य रूप से इस तथ्य से संबंधित कमियां हैं कि परीक्षण और मुख्य प्रेषण समय में अलग हो जाते हैं।

हमारे हिस्से के लिए, DashaMail ने स्थिति को प्रभावित करने का निर्णय लिया और परीक्षण मेलिंग के लिए एक अलग दृष्टिकोण पाया, जो हमें एक साथ परीक्षण करने और भेजने का अनुकूलन करने की अनुमति देता है। वह बेयसियन सिद्धांत, तंत्रिका नेटवर्क की तकनीक और मशीन सीखने का उपयोग करता है - नतीजतन, यह सब अक्षरों की ओपनबिलिटी को 20% की औसत से बढ़ाने की अनुमति देता है।

प्रागितिहास

ईमेल न्यूज़लेटर्स की प्रभावशीलता में सुधार करने के लिए उपकरणों में से एक परीक्षण है। बहुत सारे कारक पत्र और दर्शकों के जुड़ाव की खुलेपन को प्रभावित करते हैं, जिसमें संदेश का विषय, प्रेषक का नाम, वितरण का समय आदि शामिल हैं।

बहुत पहले नहीं, बुद्धिशीलता सत्र में से एक पर, हम इस निष्कर्ष पर पहुंचे कि अब लोकप्रिय मशीन लर्निंग एल्गोरिदम परीक्षण मेलिंग, अर्थात् खुलेपन और सगाई को सकारात्मक रूप से प्रभावित करने में फर्क कर सकते हैं। अच्छी तरह से ज्ञात विभाजन परीक्षण किसी भी तरह से सही नहीं है, जैसा कि हम चाहेंगे, लेकिन वास्तव में सुधार के विकल्प हैं।

ईमेल विपणन में ए / बी / एन परीक्षण मुख्य परिकल्पना परीक्षण विकल्प हैं। मुख्य कठिनाई: इस तरह के परीक्षणों के परिणामों का हमेशा तथ्य के बाद ही विश्लेषण किया जा सकता है। यह पूरी प्रक्रिया को काफी लंबा और समय लेने वाला बनाता है: पहले आपको कई मेलिंग विकल्प भेजने की आवश्यकता होती है, फिर परिणामों का अध्ययन करें, परीक्षण मापदंडों का अनुकूलन करें, और फिर से भेजें। और ऐसे कई पुनरावृत्तियों हो सकते हैं।

लेकिन क्या होगा अगर आप एक साथ परीक्षण और अनुकूलन का रास्ता बनाते हैं? यह वह सोच थी जिसने दशामेल में गेस्टाल्ट परीक्षण उपकरण को जन्म दिया।

बायेसियन दृष्टिकोण: मक्खी पर परीक्षण और अनुकूलन

अलग-अलग समय पर प्राप्त विभिन्न संदेश विकल्पों के लिए ग्राहकों की प्रतिक्रिया बहुत भिन्न हो सकती है। जीतने का विकल्प, एक बहुभिन्नरूपी परीक्षा के परिणामस्वरूप निर्धारित किया जाता है, जब मुख्य मेलिंग भेजना उतना प्रभावी नहीं हो सकता है।

इस समस्या से बचने और वास्तविक समय में मेलिंग के सभी महत्वपूर्ण मापदंडों को ध्यान में रखने में सक्षम होने के लिए, निर्णय लेने और सांख्यिकीय मूल्यांकन के लिए बायेसियन दृष्टिकोण का उपयोग किया गया था। हां, हम DashaMail पर वास्तव में गणित और संभाव्यता सिद्धांत को पसंद करते हैं।

बे बनाम बनाम ए / बी / एन परीक्षण

ए / बी / एन परीक्षणों के साथ, एक तरफ, सब कुछ सरल है, और दूसरे पर, उनकी सटीकता बहुत संदिग्ध हो सकती है। सब कुछ बहुत सीधा लगता है: अगर हमें परीक्षण करने की आवश्यकता है, उदाहरण के लिए, विभिन्न डिजाइनों के साथ मेलिंग की प्रभावशीलता, तो, दो विकल्पों के मामले में, हम एक ग्राहक आधार उनमें से एक भेज सकते हैं, और दूसरा - दूसरा। फिर परिणामों का विश्लेषण करें।

लेकिन आपको उपयोगकर्ताओं की न्यूनतम संख्या को समझने की आवश्यकता है जो सांख्यिकीय रूप से महत्वपूर्ण परिणाम प्राप्त करने के लिए दोनों विकल्पों को देखना होगा। वास्तव में, यदि यह परीक्षण के लिए केवल 20% ग्राहक आधार आवंटित करने के लिए पर्याप्त है, तो शेष 80% के लिए हम पत्र के सबसे प्रभावी संस्करण को लॉन्च करने और सबसे अच्छा परिणाम प्राप्त करने में सक्षम होंगे। लेकिन इस बात की कोई गारंटी नहीं है कि 10% के दो समूहों का एक सरल चयन सही परिणाम देगा। यदि पत्र के एक संस्करण में अधिक लाल रंग है, तो यह पता चल सकता है कि जिन लोगों को यह रंग पसंद नहीं है वे गलती से 10% उपयोगकर्ताओं के समूह में आते हैं। इसके अलावा, यदि अधिक लोगों ने परीक्षण में भाग लिया, तो यह विकल्प जीत सकता है। तो हम पहली और दूसरी तरह की त्रुटियों की अवधारणा पर आते हैं - हैबे पर उनके बारे में पर्याप्त लेख हैं। इन त्रुटियों की घटना की अपनी संभावना है।

नतीजतन, इस परीक्षण पद्धति के विश्लेषण से इस तथ्य की ओर संकेत होता है कि यह अनिश्चितता को बिल्कुल भी समाप्त नहीं करता है, अर्थात्, परीक्षण प्रश्न का सटीक उत्तर नहीं देता है "बेहतर क्या है?" काम हो गया है, लेकिन यह स्पष्ट नहीं हुआ है।

इस पद्धति के विपरीत, तथाकथित बायेसियन बहु-सशस्त्र डाकुओं का उपयोग किया जाता है। इस पद्धति का सार यह है कि यह आपको न केवल एक परिकल्पना परीक्षण करने की अनुमति देता है, बल्कि उस प्रश्न का उत्तर भी प्राप्त करता है जिसके अधिक प्रभावी होने की संभावना है। और क्या महत्वपूर्ण है: अनुमान गतिशील रूप से उसी तरह बदलते हैं जैसे प्रत्येक परिकल्पना के लिए नमूना आकार वास्तविक समय में निर्धारित किए जाते हैं (यानी किसी विशिष्ट विकल्प का परीक्षण करने के लिए कितना ट्रैफ़िक / पत्र भेजा जाना चाहिए)।

एक स्थिति की कल्पना करें जब हम "एक-सशस्त्र डाकू" प्रकार के स्लॉट मशीनों के साथ एक कैसीनो में आए थे। हमारे पास सीमित मात्रा में धन है, समय भी अनंत नहीं है। "होनहार" मशीन को निर्धारित करने के लिए जितनी जल्दी हो सके आवश्यक है, जबकि एक ही समय में न्यूनतम लागत के साथ। यह एक बहु-सशस्त्र दस्यु कार्य है। इसे हल करने के लिए कई विकल्प हैं, उनमें से एक थॉम्पसन सैंपलिंग और बेयस प्रमेय पर आधारित है; इसे इस लेख में हैबे पर विस्तार से वर्णित किया गया है।

मेलिंग सूचियों के लिए, यह निम्नानुसार काम करता है। दो या अधिक परिकल्पनाओं (मेलिंग विकल्प) के परीक्षण की प्रक्रिया में, हम स्पष्ट रूप से खोने वाले मापदंडों के साथ बहुत अधिक पत्र नहीं भेजना चाहते हैं (ए / बी परीक्षणों में आपको समान शेयर भेजने की आवश्यकता है)। लेकिन साथ ही, मैं इस तरह के बदलावों का भी पालन करना चाहूंगा, क्योंकि एक मौका है कि समय के साथ वे बेहतर काम करना शुरू कर देंगे (पहली बार में, बस कोई किस्मत नहीं) और नेता भी बन सकते हैं - और फिर अधिक ट्रैफिक उनके पास जाएगा।

इस सिद्धांत ने गेस्टाल्ट परीक्षण नामक एक नए उपकरण का आधार बनाया।



पारंपरिक ए / बी परीक्षण से मुख्य अंतर: इस तथ्य के बावजूद कि अधिकांश पत्र जीतने वाले विकल्प के साथ जाते हैं, अन्य विकल्पों में हमेशा अंतिम मौका होता है, क्योंकि यदि ग्राहकों का व्यवहार पैटर्न बदलता है, तो आपको प्रतिक्रिया करने और समय पर स्थिति के लिए सबसे उपयुक्त विकल्प भेजने की आवश्यकता होती है।

गेस्टाल्ट परीक्षण, इसके अलावा, समाचार पत्र में भावनात्मक विपणन का उपयोग करने की क्षमता है, पत्र के भावनात्मक रंग के लिए विभिन्न विषयों का निर्माण। यह इस तरह से काम करता है: समाचार पत्र भेजने वाला ईमेल बाज़ारकर्ता मूल विषय निर्धारित करता है, फिर आप इस विषय को अलग-अलग भावनाओं में फिर से लिखना चुन सकते हैं - दस विकल्प तक हो सकते हैं (भय, कृतज्ञता आदि)।



तंत्रिका नेटवर्क दिए गए भावनात्मक रंगों का उपयोग करते हुए, विषय के पाठ को परिभाषित करता है और उन्हें विचार के लिए प्रस्तुत करता है। इस मामले में, ईमेल बाज़ारिया अपने विवेक पर बदलाव कर सकता है।

भावनाओं और उनके संबंधित विषयों का उदाहरण, साथ ही उनमें से प्रत्येक के लिए खोजों के संकेतक:



शुरू होने के बाद, सिस्टम समूहों में पत्र भेजना शुरू करता है - प्रत्येक पैकेज में सभी प्रस्तावित विकल्प होते हैं। सभी मेलिंग में लगभग 10 घंटे लगते हैं, हर आधे घंटे में एक पैक। जैसा कि आप देख सकते हैं, उपकरण अल्पकालिक स्टॉक के लिए उपयुक्त नहीं है जिसे जल्दी से बाहर भेजने की आवश्यकता है। इसके बजाय, आप मध्यम अवधि के प्रचार या सामग्री वितरण के विकल्प पर विचार कर सकते हैं। प्रत्येक विकल्प के लिए आंकड़े उपलब्ध हैं - ताकि आप तुरंत देख सकें कि क्या बेहतर है।

नीचे दिए गए उदाहरण में, खोजों और क्लिकों के संबंध में, भावनाओं में तंत्रिका नेटवर्क द्वारा फिर से लिखे गए थीम के साथ संस्करण "प्यार" होता है: "आप कार्यालय में सबसे सुंदर हैं! हमारे चयन से कार्यालय मॉडल के लिए -30% हालाँकि, यह अन्य सभी विकल्पों के बीच उच्चतम को दर्शाता है, सदस्यता समाप्त दर। यह इंगित कर सकता है कि पत्र की सामग्री विषय से कमजोर थी या हम ग्राहकों के पहले से सो रहे सेगमेंट का ध्यान आकर्षित करने में सक्षम थे।



चूंकि गेस्टाल्ट परीक्षण के साथ मेलिंग भेजना समय में बढ़ाया जाता है, इसलिए भेजने के एक विशिष्ट क्षण का परीक्षण भी स्वचालित रूप से किया जाता है। इसके अलावा, सेवा को याद है कि समाचार पत्र की भावना क्या है और किस समय प्रत्येक विशेष ग्राहक बेहतर प्रतिक्रिया देता है, और इस कार्यक्षमता का उपयोग करने के बाद की भावनाओं के दौरान इसे समायोजित किया जाएगा। इसलिए, समय के साथ, गेस्टाल्ट परीक्षण का उपयोग करने की प्रभावशीलता बढ़ जाती है।

यह काम क्यों करता है

नए परीक्षण उपकरण का विचार यह है कि यह आपको इस तथ्य को ध्यान में रखने की अनुमति देता है कि प्राप्तकर्ता सूखे पाठ की तुलना में व्यक्तिगत और भावनात्मक रूप से रंगीन संदेशों का बेहतर जवाब देते हैं।

इसी समय, गेस्टाल्ट परीक्षण में, मशीन सीखने के तरीकों को सभी विषयों के विभिन्न रूपों में लागू किया जाता है। परीक्षण के दौरान सबसे सफल विकल्प सबसे अधिक सक्रिय रूप से उपयोग किया जाता है, लेकिन अन्य तुलना प्रतिभागियों को भी थोड़ा ट्रैफ़िक मिलता है। यह आपको समय के साथ ग्राहकों के व्यवहार पैटर्न की निगरानी करने की अनुमति देता है: अक्सर ऐसा होता है कि विषय, जिसने एक समय में अच्छा प्रदर्शन दिया था, एक धमाके के साथ बाकी विकल्पों को खो देता है। यदि सिस्टम इस तरह के पैटर्न में बदलाव करता है, तो समाचार पत्र अधिकतम दक्षता बनाए रखने के लिए मक्खी पर अनुकूलित हो जाएगा।

प्रत्येक ग्राहक के लिए व्यवहार पैटर्न का विश्लेषण किया जाता है। किसी विशेष प्राप्तकर्ता के खोज इतिहास के आधार पर, एक व्यक्तिगत भेजने का समय उसके लिए चुना जाता है। अस्थायी पैटर्न भी बदल सकते हैं - उदाहरण के लिए, एक व्यक्ति कार्य दिवस की शुरुआत और समाप्ति समय को बदल सकता है और व्यक्तिगत मेल की जांच करने की क्षमता किसी अन्य समय में हो सकती है। जेस्टाल्ट फ़ंक्शन स्वचालित रूप से ऐसे परिवर्तनों को समायोजित करता है।

एक महत्वपूर्ण बिंदु: गेस्टाल्ट परीक्षण एक ऐसी विधि है जिसमें एक निश्चित मात्रा में डेटा की आवश्यकता होती है, अन्यथा उच्च दक्षता बनाए रखना मुश्किल होगा। यही कारण है कि यह केवल 10 हजार पते और ऊपर के डेटाबेस के लिए उपलब्ध है।

निष्कर्ष: आप किन परिणामों पर भरोसा कर सकते हैं

यह तर्कसंगत लगता है, लेकिन आप प्रस्तावित परीक्षण उपकरण के साथ वास्तव में क्या परिणाम गिन सकते हैं? आइए एक उदाहरण देखें। मेलिंग लुक के लिए गेस्टाल्ट फ़ंक्शन के उपयोग पर रिपोर्ट इस प्रकार है: इसमें अंतिम खुली दर (OR), आधार विषय के सापेक्ष परिणाम और उन संकेतकों के साथ तुलना शामिल है जो विषय द्वारा पत्रों के समान वितरण के साथ एक नियमित बहुभिन्नरूपी परीक्षण के साथ प्राप्त किए गए होंगे।



DashaMail ग्राहकों के आंकड़ों के अनुसार, गेस्टाल्ट परीक्षणों के साथ समाचार पत्र के लिए शुरुआती दरों में औसत वृद्धि 20% है। समय के साथ, इस फ़ंक्शन का उपयोग करने की प्रभावशीलता बढ़ती है, क्योंकि सिस्टम सीखता है और याद करता है कि किस समय और कौन सा भाव किसी विशेष ग्राहक को बेहतर प्रतिक्रिया देता है, और परिणामस्वरूप मेलिंग की खुली दर (OR) को 1.5-2 बार की तुलना में बढ़ा सकता है। मूल विषय।

ठीक है, हो सकता है कि आपके पास एक सवाल हो: "जेस्टाल्ट" शब्द का इससे क्या लेना-देना है? .. नहीं, हमने अपने जेनेट को बंद नहीं किया, लेकिन मेलिंग फॉर्म के साथ प्रयोगों के लिए एक उपकरण विकसित करने का फैसला किया। और जर्मन से अनुवादित, "जेस्टाल्ट" एक "रूप" है। इस प्रकार, यह एक आदर्श मेलिंग सूची में आने के लिए फार्म के साथ प्रयोगों के माध्यम से संभव है।

रूस में ईमेल विपणन में वर्तमान रुझानों के बराबर रहने के लिए, उपयोगी जीवन हैक और हमारी सामग्री प्राप्त करने के लिए - DashaMail फेसबुक पेज की सदस्यता लें और हमारे ब्लॉग को पढ़ें।