कैसे हमने लाखों लोगों के साथ बात करने के लिए एक कार सिखाई

X5 में मार्केटिंग बहुत सारा डेटा है। उदाहरण के लिए, Pyaterochka हर महीने 30 मिलियन से अधिक संचार भेजता है, और यह संख्या लगातार बढ़ रही है। एक समय में एक ग्राहक को कई ऑफ़र भेजे जा सकते हैं, और यह चुनना महत्वपूर्ण है कि कौन से सही ढंग से हैं। स्टोर के शेयर ग्राहक के लिए दिलचस्प होने चाहिए और आर्थिक रूप से रिटेलर के लिए उचित होंगे। इस पोस्ट में, हम आपको बताएंगे कि कैसे हमने मशीन लर्निंग का उपयोग करके और स्पैम के प्रभाव को समाप्त करने के लिए वास्तव में लोकप्रिय ऑफ़र निर्धारित करना शुरू किया।



Pyaterochka, Perekrestok और Karusel के ग्राहकों के साथ संचार को बेहतर बनाने के लिए, एक बड़ी टीम X5 रिटेल ग्रुप में काम करती है।

अब, इस प्रणाली को बनाए रखने के लिए दर्जनों लोगों और प्रणालियों के काम की आवश्यकता है: ओरेकल में डेटा का सटीक संचय, डेटा विश्लेषण और एसएएस में अभियान स्थापित करना, कोमार्क में बोनस नियम स्थापित करना। हर दिन, विश्लेषकों ने स्टॉक के परिणामों पर ऐतिहासिक डेटा के आधार पर, विभिन्न प्रकार के विकल्पों में से चयन करते हुए, इस समय सबसे प्रासंगिक प्रस्ताव का चयन करने का निर्णय लिया है। हम यह भी सुनिश्चित करने के लिए काम कर रहे हैं कि संचार को संबोधित किया जाए और स्पैम से कोई लेना-देना न हो।

हमने मशीन सीखने का उपयोग करके ग्राहक-प्रासंगिक ऑफ़र को स्वचालित मोड में चुनने की प्रक्रिया का अनुवाद करने के बारे में सोचा, ताकि:

• ग्राहकों और पिछले अभियानों पर संचित जानकारी
• सिस्टम खुद नए डेटा से सीखा है
• योजना की गणना एक कदम से अधिक की गई

इसलिए हम स्वयं-व्यवस्थित प्रणालियों की प्राप्ति के लिए आए और X5 में सुदृढीकरण सीखने की प्रणाली के विकास का युग शुरू हुआ।

थोड़ा सुदृढीकरण सीखना के बारे में
* RL (सुदृढीकरण सीखना) प्रबलित शिक्षण है। मशीन सीखने के तरीकों में से एक, जिसके दौरान परीक्षण प्रणाली (एजेंट) को प्रशिक्षित किया जाता है, एक निश्चित वातावरण के साथ बातचीत करता है।

प्रबलित शिक्षण सिद्धांत दो अवधारणाओं पर कार्य करता है: क्रिया और स्थिति। ऑब्जेक्ट की स्थिति के आधार पर, एल्गोरिथ्म क्रियाओं की पसंद पर निर्णय लेता है। पूर्ण क्रिया के परिणामस्वरूप, वस्तु एक नई स्थिति में आती है और इसी तरह।



यह मानते हुए कि:

• एजेंट - ग्राहक
• कार्रवाई - ग्राहक के साथ संचार
• राज्य - ग्राहक के राज्य (मैट्रिक्स का सेट)
• लक्ष्य समारोह - आगे ग्राहक व्यवहार (उदाहरण के लिए, राजस्व में वृद्धि या लक्ष्य अभियान का जवाब देना)

... तब वर्णित प्रणाली को निर्धारित लक्ष्य को हल करना चाहिए और एजेंट (ग्राहक) खुद स्टोर के साथ अपने आराम और सार्थक संबंधों के लिए अपने कार्यों (पुरस्कार और अभियान) का चयन करेंगे।

विश्व दिमाग आरएल क्या प्रदान करता है
पहले, हमने ऐसी समस्याओं के समाधान के उदाहरणों की तलाश की, जो खुले स्रोतों में वर्णित हैं।
कुछ दिलचस्प उदाहरण मिले:

उपकरण के बारे में:

• www.quora.com/What-frameworks-are-available-for-reinforcement-learning

इसी तरह के विपणन कार्यों के लिए आरएल को लागू करने के बारे में:

• www.researchgate.net/publication/221653839_Cross_channel_optimized_marketing_by_reinforcement_learning
• cseweb.ucsd.edu/~elkan/254spring02/sequential.pdf
• www0.cs.ucl.ac.uk/staff/d.silver/web/Publications_files/concurrent-rl.pdf
• arxiv.org/pdf/1504.01840.pdf
• habrahabr.ru/company/ods/blog/325416

लेकिन उन सभी ने हमारे मामले को फिट नहीं किया या आत्मविश्वास को प्रेरित नहीं किया।

स्टेज 1. प्रोटोटाइप समाधान

इसलिए, हमने अपना दृष्टिकोण विकसित करने का निर्णय लिया।

जोखिमों को कम करने और ऐसी स्थिति में न आने के लिए, जिसमें वास्तविक उपयोग के बिना सिस्टम को लंबे समय तक विकसित किया गया था, और फिर यह अंततः दूर नहीं हुआ, हमने एक प्रोटोटाइप के साथ शुरू करने का फैसला किया, जो कि आरएल विधि को अपने शुद्ध रूप में लागू नहीं करेगा, लेकिन एक समझ में आता है व्यावसायिक परिणाम।

प्रबलित अधिगम के मूल कार्यान्वयन का आधार राज्य-क्रिया-परिणाम मैट्रिक्स है, जिसे हर बार पर्यावरण से नई जानकारी प्राप्त होने पर अद्यतन किया जाता है।

प्रोटोटाइप के हिस्से के रूप में राज्य की जगह को कम करने के लिए, क्लाइंट से सेगमेंट में एक संक्रमण किया गया था, जहां सभी ग्राहकों को मापदंडों के आधार पर 29 समूहों में विभाजित किया गया था:

• औसत जांच
• खरीद की आवृत्ति
• टोकरी की स्थिरता
• टोकरी भरना
• ग्राहक वफादारी (उस सप्ताह की संख्या के साथ खरीद की संख्या का अनुपात जिसके दौरान एक व्यक्ति ने स्टोर वफादारी कार्यक्रम में भाग लिया)

इस प्रकार, कार्य निम्न रूप के मैट्रिक्स को सीखने के लिए कम हो गया था:



चौराहे पर, मैट्रिक्स को लक्ष्य फ़ंक्शन के मूल्य से भरना चाहिए।

एल्गोरिथ्म के पहले संस्करण में, अभियान के लिए विशिष्ट प्रतिक्रिया को लक्ष्य के एक समारोह के रूप में चुना गया था।

पहला प्रोटोटाइप हमने कुछ हफ्तों में SQL (Oracle) और पायथन में विकसित किया। हमारे पास ऐतिहासिक संचार डेटा था, इसलिए हम "ऑफ़र-टू-ऑफ़र" जोड़े के अनुमानित वजन के साथ मैट्रिक्स को आंशिक रूप से भरने में सक्षम थे। दुर्भाग्य से, यह पता चला कि कुछ जोड़े के लिए पर्याप्त डेटा नहीं है। इसने हमें नहीं रोका, हम मुकाबला परीक्षणों के लिए तरस गए।

10 सप्ताह के प्रयोगों के लिए Pyaterochka Marketing Department ने दो मिलियन ग्राहकों को डेटा प्रदान किया। इस समय, इन ग्राहकों को अन्य सभी संचारों से काट दिया गया था। हमने नियंत्रण समूह में आधे ग्राहकों की पहचान की, शेष समूहों पर हमने प्रोटोटाइप का परीक्षण किया।

आरएल सिद्धांत ने हमें बताया कि हमें न केवल सर्वश्रेष्ठ कार्रवाई का चयन करना चाहिए, बल्कि सीखना भी जारी रखना चाहिए। इसलिए, हर बार हमने छोटे प्रतिशत ग्राहकों पर एक यादृच्छिक अभियान का परीक्षण किया। तदनुसार, शेष ग्राहकों को सबसे अच्छा प्रस्ताव (सर्वश्रेष्ठ अभियान) प्राप्त हुआ। इस प्रकार, हमें सबसे इष्टतम प्रस्ताव चुनने की ε - लालची पद्धति का हमारा कार्यान्वयन मिला।



सिस्टम के तीन लॉन्च के बाद, यह स्पष्ट हो गया कि सर्वश्रेष्ठ प्रतिक्रिया अभियान चुनने से प्रति अभियान विशिष्ट आरटीओ में वृद्धि नहीं होती है (यह संकेतक किसी भी संगठन में किसी भी लक्षित अभियान की प्रभावशीलता का मुख्य उपाय है)।

आरटीओ को सीधे वृद्धिशील समारोह में लक्ष्य फ़ंक्शन (और इसलिए, सबसे अच्छा अभियान चुनने के लिए एल्गोरिथ्म) को बदलकर, हमने सीखा कि इस दृष्टिकोण से सबसे सफल अभियान आरओआई के संदर्भ में लाभहीन हैं।

इसलिए प्रणाली के आठवें लॉन्च के लिए, हमने आरओआई पर तीसरी बार लक्ष्य के कार्य को बदल दिया।

प्रोटोटाइप के विकास से निष्कर्ष

मुख्य संकेतक के लिए प्रदर्शन ग्राफ नीचे दिए गए हैं:

• संचार के लिए शुद्ध ग्राहक प्रतिक्रिया
• वृद्धिशील आरटीओ
• marginality

आप देख सकते हैं कि अंतिम लॉन्च तक, प्रोटोटाइप की दक्षता (वृद्धिशील आरटीओ में) विश्लेषकों द्वारा शुरू किए गए अभियानों के औसत परिणाम से अधिक हो गई, और यदि हम केवल "सर्वश्रेष्ठ" खंडों और प्रस्तावों पर विचार करते हैं, तो अंतर दोगुने से अधिक है।

भविष्य के लिए, हमने अपने लिए निम्नलिखित निष्कर्ष निकाले हैं:

1. अग्रिम में KPI व्यवसाय से बात करना पर्याप्त नहीं हो सकता है। एक व्यवसाय ग्राहक के KPI भी बदल रहे हैं। (इसलिए हम आरटीओ से हाशिए पर चले गए)।
2. अप्रत्यक्ष लक्ष्य (हमारे मामले में, प्रतिक्रिया) अच्छा है, लेकिन जल्द या बाद में आपको प्रत्यक्ष प्रदर्शन संकेतक को ध्यान में रखने के लिए कहा जाएगा।
3. सर्वश्रेष्ठ जोड़े को सेगमेंट अभियान मिला, जो लगातार अच्छे परिणाम दिखाते हैं। ये अभियान पूरे आधार में शुरू किए गए हैं और नियमित रूप से राजस्व उत्पन्न करते हैं।

कुल:

1. सर्किट काम करता है
2. यह ग्राहक की लागतों को ध्यान में रखने लायक है (IRTI में जीत ने आरओआई की वृद्धि सुनिश्चित नहीं की)
3. मैं प्रतिक्रिया इतिहास को ध्यान में रखना चाहूंगा
4. अब यह क्लाइंट स्तर पर जाने के लिए इतना डरावना नहीं है

स्टेज 2. हम सिस्टम खत्म करते हैं

पहले चरण के परिणामों से प्रेरित होकर, हमने सिस्टम को अंतिम रूप देने और निम्नलिखित कार्यात्मक सुधार करने का निर्णय लिया:

1) ग्राहकों के एक सेगमेंट को ऑफ़र चुनने से लेकर क्लाइंट के लिए व्यक्तिगत रूप से ऑफ़र चुनने के लिए, मैट्रिक्स के सेट के साथ इसका वर्णन करने के लिए जाएं:

• अंतिम प्रस्ताव प्रतिक्रिया ध्वज
• ग्राहक के पीटीओ का अनुपात 2 सप्ताह से पीटीओ के लिए 6 सप्ताह है
• लेन-देन के बीच अंतिम दूरी से औसत खरीद के दिनों की संख्या का अनुपात
• अंतिम संचार के बाद से हफ्तों की संख्या
• प्रति माह आरटीओ की राशि के लिए प्रति माह उपयोग किए जाने वाले बोनस की राशि का अनुपात
• पिछले दो सप्ताह में लक्ष्य हासिल करना
• विभिन्न प्रकार के पुरस्कारों के साथ प्रतिक्रिया के झंडे
• 1 नहीं, बल्कि दो बाद के अभियानों की एक श्रृंखला चुनें

2) लक्ष्य के कार्य को स्पष्ट करने के लिए, इसे जोड़ने के लिए, प्रतिक्रिया के अलावा, पीटीओ की वृद्धि :)।

अब, ग्राहक के लिए एक व्यक्तिगत प्रस्ताव का चयन करते हुए, हम उद्देश्य फ़ंक्शन Q1 के अपेक्षित मूल्य पर ध्यान केंद्रित करते हैं:

• Q = 1 यदि ग्राहक ने अभियान पर प्रतिक्रिया दी और प्रकरण के दौरान उसका 2-सप्ताह का RTO m% बढ़ गया
• क्यू = 0, यदि ग्राहक ने अभियान और उसके 2-सप्ताह के आरटीओ को एपिसोड के दौरान m% से बढ़ कर जवाब नहीं दिया
• क्यू = 0, यदि ग्राहक ने अभियान पर प्रतिक्रिया दी और प्रकरण के दौरान उसके 2-सप्ताह के आरटीओ ने% से कम हो गया
• क्यू = -1, यदि ग्राहक ने अभियान पर प्रतिक्रिया नहीं दी और प्रकरण के दौरान उसका 2-सप्ताह का RTO L% से कम हो गया

अब दूसरे दृष्टिकोण का संचालन पूरी तरह से जारी है, लेकिन हम पहले ही पिछले परिणामों को पार कर चुके हैं।

आगे क्या है

सौभाग्य से, परिणाम न केवल कार्यान्वयन और विकास टीम, बल्कि व्यापारिक ग्राहकों को भी प्रसन्न करते हैं, इसलिए, भविष्य में, कार्यात्मक सुधारों के अलावा, समान सिस्टम बनाने की योजना है जो वास्तविक समय और ऑनलाइन मार्केटिंग के लिए काम करते हैं।

इसके अलावा, एक चौकस पाठक यह नोटिस करेगा कि अभी तक हमने आरएल को इसके शुद्धतम रूप में उपयोग नहीं किया है, लेकिन केवल इसकी अवधारणा। फिर भी, इस सरलीकरण के साथ, हम एक सकारात्मक परिणाम का निरीक्षण करते हैं और अब हमारे एल्गोरिथ्म को जटिल करते हुए आगे बढ़ने के लिए तैयार हैं। हमारे उदाहरण से, हम दूसरों को "सरल से जटिल" में जाने के लिए प्रेरित करना चाहते हैं।

संस्करण Habr X5 एक पोस्ट की तैयारी में मदद के लिए Glowbyte परामर्श कंपनी का धन्यवाद। पायलट को पेटरोचका और ग्लोबीटे के छह विशेषज्ञों की एक संयुक्त टीम ने पूरा किया।

वैसे, हम एक बिग डेटा उत्पाद विकास प्रबंधक , डेटा विशेषज्ञ , एनालिटिक्स विशेषज्ञ और वफादारी कार्यक्रम प्रबंधक की तलाश कर रहे हैं ।