सभी को नमस्कार! मेरा नाम मीशा कामेन्शिकोव है, मैं डेटा साइंस और एविटो सिफारिशों टीम में माइक्रोसर्विस के विकास में लगी हूं। इस लेख में, मैं समान विज्ञापनों के लिए हमारी सिफारिशों के बारे में बात करूंगा और हम उन्हें बहु-सशस्त्र डाकुओं के साथ कैसे सुधार सकते हैं। मैंने इस विषय पर हाईलोड + साइबेरिया सम्मेलन और "डेटा एंड साइंस: मार्केटिंग" में एक प्रस्तुति दी।

लेख की रूपरेखा

Avito पर सिफारिशें

सबसे पहले, उन सभी प्रकार की सिफारिशों का संक्षिप्त अवलोकन जो एविटो पर हैं।

वैयक्तिकृत उपयोगकर्ता-मद अनुशंसाएँ

उपयोगकर्ता-आइटम की सिफारिशें उपयोगकर्ता के कार्यों पर आधारित होती हैं और उन्हें रुचि के उत्पाद को जल्दी से खोजने में मदद करने के लिए डिज़ाइन की जाती हैं, या संभावित रूप से कुछ दिलचस्प दिखाती हैं। उन्हें साइट के मुख्य पृष्ठ और अनुप्रयोगों या मेलिंग सूचियों में देखा जा सकता है। ऐसी सिफारिशें बनाने के लिए, हम दो प्रकार के मॉडल का उपयोग करते हैं: ऑफ़लाइन और ऑनलाइन।
ऑफ़लाइन मॉडल मैट्रिक्स फैक्टराइजेशन एल्गोरिदम पर आधारित हैं जो कुछ दिनों में सभी डेटा पर प्रशिक्षित होते हैं, और उपयोगकर्ताओं को वितरण के लिए सिफारिशों को त्वरित रिपॉजिटरी में संग्रहीत किया जाता है। ऑनलाइन मॉडल उपयोगकर्ता के इतिहास से विज्ञापनों की सामग्री का उपयोग करके मक्खी पर सिफारिशों पर विचार करते हैं। ऑफ़लाइन मॉडल का लाभ यह है कि वे अधिक सटीक और उच्च-गुणवत्ता की सिफारिशें प्रदान करते हैं, लेकिन वे मॉडल प्रशिक्षण के दौरान होने वाले नवीनतम उपयोगकर्ता कार्यों को ध्यान में नहीं रखते हैं, जब प्रशिक्षण नमूना तय किया गया था। ऑनलाइन मॉडल तुरंत उपयोगकर्ता की कार्रवाई का जवाब देते हैं, और सिफारिशें हर कार्रवाई के साथ बदल सकती हैं।

कोल्ड स्टार्ट सिफारिशें

सभी सिफारिश प्रणाली में एक तथाकथित "कोल्ड स्टार्ट" समस्या है। इसका अर्थ यह है कि ऊपर वर्णित मॉडल क्रियाओं के इतिहास के बिना एक नए उपयोगकर्ता को सिफारिशें नहीं दे सकते हैं। ऐसे मामलों में, उपयोगकर्ता को साइट पर जो कुछ भी है उससे परिचित करना बेहतर है, जबकि न केवल यादृच्छिक विज्ञापन चुनते हैं, बल्कि, उदाहरण के लिए, उन श्रेणियों के विज्ञापन जो उपयोगकर्ता के क्षेत्र में लोकप्रिय हैं।

सिफारिशें खोजें

जो उपयोगकर्ता अक्सर खोज का उपयोग करते हैं, हम खोज के लिए अनुशंसित शॉर्टकट बनाते हैं - वे उपयोगकर्ता को एक विशिष्ट श्रेणी में भेजते हैं और फ़िल्टर सेट करते हैं। इस तरह की सिफारिशें आवेदन के मुख्य पृष्ठ के शीर्ष पर पाई जा सकती हैं।

मद-मद सिफारिशें

उत्पाद कार्ड पर समान घोषणाओं के रूप में साइट पर आइटम-आइटम सिफारिशें प्रस्तुत की जाती हैं। उन्हें विज्ञापन विवरण के तहत सभी प्लेटफार्मों पर देखा जा सकता है। सिफारिश मॉडल वर्तमान में विशेष रूप से सामग्री है और उपयोगकर्ता कार्यों के बारे में जानकारी का उपयोग नहीं करता है, इसलिए हम तुरंत नए विज्ञापन के लिए साइट पर सक्रिय विज्ञापनों के बीच समान उठा सकते हैं। बाद में लेख में मैं इस विशेष प्रकार की सिफारिश के बारे में बात करूंगा।

Avito पर सभी प्रकार की सिफारिशों के बारे में अधिक विस्तार से हमने पहले ही अपने ब्लॉग में लिखा था। अगर आपकी रुचि है तो पढ़ें।

इसी तरह के विज्ञापन

यहां पर समान विज्ञापनों वाला एक ब्लॉक कैसा दिखता है:

इस प्रकार की सिफारिश सबसे पहले साइट पर दिखाई दी, और Sphinx सर्च इंजन पर तर्क लागू किया गया। वास्तव में, यह मॉडल विभिन्न कारकों का एक रैखिक संयोजन है: शब्द मिलान, दूरी, मूल्य अंतर और अन्य पैरामीटर।

लक्ष्य विज्ञापन के मापदंडों के आधार पर, स्फिंक्स में एक अनुरोध उत्पन्न होता है, और अंतर्निहित रैंकर्स को रैंकिंग के लिए उपयोग किया जाता है।

अनुरोध उदाहरण:

SELECT id, weight as ranker_weight, ranker_weight * 10 + (metro_id=42) * 5 + (location_id=2525) * 10 + (110000 / (abs(price - 1100000) + 110000)) * 5 as rel FROM items WHERE MATCH('@title |scott|scale|700|premium') AND microcat_id=100 ORDER BY rel DESC, sort_time DESC LIMIT 0,32 OPTION max_matches=32, ranker=expr('sum(word_count)')

यदि आप इस दृष्टिकोण का अधिक औपचारिक रूप से वर्णन करने का प्रयास करते हैं, तो आप कुछ भार के रूप में रैंकरों की कल्पना कर सकते हैं $w_1 ... w_n$ , और विज्ञापन पैरामीटर $s_1 ... s_n$ (स्रोत मूल विज्ञापन है) और $t_1 ... t_n$ (लक्षित विज्ञापन)। प्रत्येक पैरामीटर के लिए हम समानता फ़ंक्शन का परिचय देते हैं $च (s, t)$ । वे बाइनरी हो सकते हैं (उदाहरण के लिए, विज्ञापन के शहर का संयोग), असतत हो सकता है (विज्ञापनों के बीच की दूरी) और निरंतर (उदाहरण के लिए, कीमत में सापेक्ष अंतर)। फिर दो घोषणाओं के लिए अंतिम स्कोर सूत्र द्वारा व्यक्त किया जाएगा

स ् क ो र = s u m_{i = 1}^{n} w_{i} * f_{i} (s_{i}, t_{i})

$स्कोर = \ sum_ {i = 1} ^ {n} {w_i} * {f_i} (s_i, t_i)$

खोज इंजन का उपयोग करके, आप पर्याप्त रूप से बड़ी संख्या में विज्ञापनों के लिए इस फॉर्मूला के मूल्य को जल्दी से पढ़ सकते हैं और वास्तविक समय में वितरण को रैंक कर सकते हैं।

इस दृष्टिकोण ने अपने मूल रूप में खुद को काफी अच्छी तरह से दिखाया, लेकिन इसमें महत्वपूर्ण कमियां थीं।

दृष्टिकोण की समस्याएं

सबसे पहले, वजन को शुरू में एक विशेषज्ञ तरीके से चुना गया था और संदेह में नहीं था। कभी-कभी भार में परिवर्तन होते थे, लेकिन वे एक बिंदु प्रतिक्रिया के आधार पर किए जाते थे, और सामान्य रूप से उपयोगकर्ता के व्यवहार के विश्लेषण के आधार पर नहीं।

दूसरे, वजन साइट पर हार्डकोड किया गया था, और उनमें परिवर्तन करना बहुत असुविधाजनक था।

स्वचालन की ओर कदम

सिफारिश मॉडल को बेहतर बनाने की दिशा में पहला कदम पाइथन में एक अलग माइक्रोसॉर्स्क में सभी तर्क को हटाने का था। यह सेवा पहले से ही पूरी तरह से सिफारिशों की हमारी टीम से संबंधित थी, और हम काफी बार प्रयोगों का संचालन कर सकते थे।
प्रत्येक प्रयोग को तथाकथित "कॉन्फिगर" द्वारा चित्रित किया जा सकता है - रैंकर्स के लिए वजन का एक सेट। हम कॉन्फ़िगर करना चाहते हैं और उपयोगकर्ता कार्यों के आधार पर सबसे अच्छा एक चुनना चाहते हैं। इन विन्यासों को कैसे उत्पन्न किया जा सकता है?

पहला विकल्प, जो बहुत शुरुआत से था, कॉन्फ़िगरेशन की विशेषज्ञ पीढ़ी है। यही है, विषय क्षेत्र से ज्ञान का उपयोग करते हुए, हम मानते हैं कि, उदाहरण के लिए, जब एक कार की खोज करते हैं, तो लोग उस मूल्य के करीब विकल्पों में रुचि रखते हैं जो वे देख रहे हैं, और न केवल समान मॉडल, जो काफी अधिक खर्च कर सकते हैं।

दूसरा विकल्प यादृच्छिक कॉन्फ़िगरेशन है। हम प्रत्येक पैरामीटर के लिए किसी तरह का वितरण निर्धारित करते हैं और फिर इस वितरण से सिर्फ एक नमूना लेते हैं। यह विधि अधिक तेज़ है क्योंकि आपको सभी श्रेणियों के लिए प्रत्येक पैरामीटर के बारे में सोचने की आवश्यकता नहीं है।

आनुवंशिक एल्गोरिदम का उपयोग करने के लिए एक अधिक जटिल विकल्प है। हम जानते हैं कि कौन से कॉन्फिग्स हमें उपयोगकर्ता कार्यों के संदर्भ में सबसे अच्छा प्रभाव देते हैं, इसलिए प्रत्येक पुनरावृत्ति पर हम उन्हें छोड़ सकते हैं और नए जोड़ सकते हैं: यादृच्छिक या विशेषज्ञ।

एक और भी अधिक जटिल विकल्प, जिसके लिए प्रयोगों के एक संतुष्ट लंबे इतिहास की आवश्यकता होती है, मशीन सीखने का उपयोग है। हम एक विशेषता वेक्टर के रूप में मापदंडों का एक सेट और एक लक्ष्य चर के रूप में एक लक्ष्य मीट्रिक का प्रतिनिधित्व कर सकते हैं। तब हमें ऐसे मापदंडों का एक सेट मिलेगा, जो मॉडल के आकलन के अनुसार, हमारे लक्ष्य मीट्रिक को अधिकतम करेगा।
हमारे मामले में, हम पहले दो दृष्टिकोणों पर, साथ ही साथ जेनेटिक एल्गोरिदम में सबसे सरल रूप में बसे: हम सबसे अच्छे को छोड़ देते हैं, सबसे खराब को हटाते हैं।

अब हमें लेख का सबसे दिलचस्प हिस्सा मिला: हम कॉन्फ़िगर उत्पन्न कर सकते हैं, लेकिन प्रयोगों का संचालन कैसे करें ताकि यह तेज और कुशल हो?

प्रयोगों का आयोजन

प्रयोग ए / बी / ... परीक्षण के प्रारूप में आयोजित किया जा सकता है। ऐसा करने के लिए, हमें एन कॉन्फिग्रेशन जेनरेट करने की जरूरत है, सांख्यिकीय रूप से महत्वपूर्ण परिणामों की प्रतीक्षा करें, और अंत में, सर्वश्रेष्ठ कॉन्फिगरेशन चुनें। यह काफी लंबा समय ले सकता है, और पूरे परीक्षण के दौरान उपयोगकर्ताओं का एक निश्चित समूह खराब गुणवत्ता की सिफारिशें प्राप्त कर सकता है - यादृच्छिक पीढ़ी के साथ यह काफी संभव है। इसके अलावा, अगर हम प्रयोग में कुछ नया कॉन्फिगर जोड़ना चाहते हैं, तो हमें टेस्ट को फिर से शुरू करना होगा। लेकिन हम प्रयोग की शर्तों को बदलने में सक्षम होने के लिए, जल्दी से प्रयोगों का संचालन करना चाहते हैं। और ताकि उपयोगकर्ता जानबूझकर खराब कॉन्फ़िगरेशन से पीड़ित न हों। कई-हथियारबंद डाकू हमें इसमें मदद करेंगे।

बहु हथियारबंद डाकू

विधि का नाम "एक-हथियारबंद डाकुओं" से आया है - एक कैसीनो में एक लीवर के साथ स्लॉट मशीन जिसके लिए आप खींच सकते हैं और जीत हासिल कर सकते हैं। कल्पना करें कि आप इन मशीनों में से एक दर्जन के साथ एक कमरे में हैं, और आपके पास उनमें से किसी पर खेलने के लिए एन मुक्त प्रयास हैं। बेशक, आप अधिक पैसा जीतना चाहते हैं, लेकिन आप पहले से नहीं जानते हैं कि कौन सी मशीन सबसे बड़ी जीत देती है। कई-हथियारबंद डाकुओं के साथ समस्या सबसे अधिक लाभदायक मशीन को कम से कम नुकसान (नुकसानदेह मशीनों पर खेलने) के साथ खोजने में ठीक है।

यदि हम अपने अनुशंसा कार्य के संदर्भ में इसे तैयार करते हैं, तो यह पता चलता है कि मशीनें कॉन्फ़िगर हैं, प्रत्येक प्रयास सिफारिशों को उत्पन्न करने के लिए एक विन्यास का एक विकल्प है, और उपयोगकर्ता की प्रतिक्रिया के आधार पर लाभ कुछ लक्ष्य मीट्रिक है।

ए / बी / ... परीक्षणों पर डाकुओं का लाभ

उनका मुख्य लाभ यह है कि वे हमें किसी विशेष कॉन्फ़िगरेशन की सफलता के आधार पर ट्रैफ़िक की मात्रा को बदलने की अनुमति देते हैं। यह सिर्फ इस समस्या को हल करता है कि लोगों को पूरे प्रयोग के दौरान खराब सिफारिशें मिलेंगी। यदि वे अनुशंसाओं पर क्लिक नहीं करते हैं, तो बैंडिट जल्दी से इसे समझ जाएगा और इस कॉन्फ़िगरेशन को नहीं चुनेगा। इसके अलावा, हम हमेशा प्रयोग में एक नया कॉन्फिगर जोड़ सकते हैं या बस एक करंट हटा सकते हैं। सभी एक साथ हमें प्रयोगों का संचालन करने और ए / बी / ... परीक्षण के साथ दृष्टिकोण की समस्याओं को हल करने की सुविधा देते हैं।

गैंगस्टर की रणनीति

बहु-सशस्त्र दस्यु समस्या के समाधान के लिए बहुत सारी रणनीतियाँ हैं। इसके बाद, मैं उन आसान-से-क्रियान्वयन रणनीतियों के कई वर्गों का वर्णन करूँगा जिन्हें हमने अपने कार्य में लागू करने का प्रयास किया था। लेकिन पहले आपको यह समझने की आवश्यकता है कि रणनीतियों की प्रभावशीलता की तुलना कैसे करें। यदि हम पहले से जानते हैं कि कौन सा कलम अधिकतम लाभ देता है, तो इष्टतम रणनीति हमेशा इस कलम को खींचने के लिए होगी। हम चरणों की संख्या को ठीक करते हैं और इष्टतम इनाम की गणना करते हैं $R_ {ऑप्ट}$ । रणनीति के लिए, हम इनाम भी गिनेंगे। $R_ {रणनीति}$ और अवधारणा का परिचय $पछतावा$ :

अ फ स ो स = R_{ऑ प ् ट} - R_{र ण न ी त ि}

$अफसोस = R_ {ऑप्ट} - R_ {रणनीति}$

आगे की रणनीतियों की तुलना सिर्फ इस मूल्य से की जा सकती है। मैं ध्यान देता हूं कि रणनीतियों में बदलाव की प्रकृति होती है

प छ त ा व ा

$पछतावा$ अलग-अलग हो सकता है, और एक छोटी सी संख्या के लिए एक रणनीति बेहतर हो सकती है, और दूसरे के लिए एक बड़ी।

लालची रणनीति

जैसा कि नाम से पता चलता है, लालची रणनीति एक सरल सिद्धांत पर आधारित होती है - हमेशा उस कलम को चुनें जो औसतन सबसे बड़ा इनाम देता है। इस वर्ग की रणनीतियाँ इस बात में भिन्न हैं कि हम इस बहुत ही कलम को निर्धारित करने के लिए पर्यावरण का पता कैसे लगाते हैं। उदाहरण के लिए, $\ epsilon-greedy$ रणनीति। उसका एक पैरामीटर है - $\ epsilon$ , जो संभावना को निर्धारित करता है जिसके साथ हम सबसे अच्छा पेन नहीं, बल्कि यादृच्छिक चुनते हैं, इस प्रकार हमारे पर्यावरण की खोज करते हैं। आप समय के साथ अनुसंधान की संभावना को भी कम कर सकते हैं। इस रणनीति को कहा जाता है $\ epsilon-घटते$ । लालची रणनीतियों को लागू करने और समझने में बहुत आसान है, लेकिन हमेशा प्रभावी नहीं होता है।

UCB1

यह रणनीति पूरी तरह से निर्धारक है - कलम वर्तमान में उपलब्ध जानकारी से विशिष्ट रूप से निर्धारित है। यहाँ सूत्र है:

भ ु ज ा = a r g u n d e r s e t j अ ध ि क त म (o v e r l i n e x_{j} + s q r t f r a c 2 l n n n_{j})

$भुजा = arg \ underset {j} अधिकतम (\ overline {x_j} + \ sqrt {\ frac {2 \ ln {n}} {n_j}})$

सूत्र का भाग

o v e r l i n e x_{j}

$\ overline {x_j}$ जे-वें पेन के मध्य का अर्थ है और शोषण के लिए जिम्मेदार है, जैसे लालची रणनीतियों में। सूत्र का दूसरा भाग अन्वेषण के लिए जिम्मेदार है,

ए न

$एन$ क्रियाओं की कुल संख्या है

n_{j}

$n_j$ - जे-वें पेन की क्रियाओं की संख्या। इस रणनीति के लिए एक सिद्ध अनुमान है

प छ त ा व ा

$पछतावा$ । आप इसके बारे में यहां पढ़ सकते हैं।

थॉम्पसन नमूना

इस रणनीति में, हम प्रत्येक पेन को एक यादृच्छिक वितरण प्रदान करते हैं, और प्रत्येक चरण में हम इस वितरण से एक संख्या का नमूना लेते हैं, अधिकतम के अनुसार एक पेन का चयन करते हैं। प्रतिक्रिया के आधार पर, हम वितरण मापदंडों को अपडेट करते हैं ताकि सबसे अच्छा पेन एक बड़े औसत के साथ वितरण के अनुरूप हो, और इसकी फैलाव क्रियाओं की संख्या के साथ घट जाती है। आप एक उत्कृष्ट लेख में इस रणनीति के बारे में अधिक पढ़ सकते हैं।

रणनीति की तुलना

आइए ऊपर बताए गए रणनीतियों को कृत्रिम वातावरण पर तीन हैंडल के साथ अनुकरण करें, जिनमें से प्रत्येक एक पैरामीटर के साथ बर्नौली वितरण से मेल खाती है $p = 0.3, 0.5, 0.7$ क्रमशः। हमारी रणनीतियाँ:

$\ epsilon-greedy$ साथ $\ epsilon = 0.1$ ;
UCB1;
थॉम्पसन बीटा नमूनाकरण

ग्राफ से पता चलता है कि लालची रणनीति $पछतावा$ रैखिक रूप से बढ़ता है, और अन्य दो रणनीतियों में - लघुगणक, और थॉम्पसन का नमूना खुद को दूसरों की तुलना में बहुत बेहतर दिखाता है $पछतावा$ लगभग चरणों की संख्या के साथ नहीं बढ़ता है।
तुलना कोड GitHub पर उपलब्ध है ।

मैंने आपको बहु-सशस्त्र डाकुओं से परिचित कराया और अब मैं आपको बता सकता हूं कि हमने उनका उपयोग कैसे किया।

Avito में बहु-हथियारबंद डाकू

इसलिए, हमारे पास कई कॉन्फ़िगरेशन (मापदंडों के सेट) हैं, और हम बहु-सशस्त्र डाकुओं की मदद से उनमें से सबसे अच्छा एक चुनना चाहते हैं। सीखने के लिए डाकुओं के लिए, हमें एक महत्वपूर्ण विवरण की आवश्यकता है - उपयोगकर्ता प्रतिक्रिया। उसी समय, उन कार्यों का विकल्प, जिन पर हम प्रशिक्षित हैं, उन्हें हमारे लक्ष्यों के अनुरूप होना चाहिए - मैं चाहता हूं कि उपयोगकर्ता बेहतर सिफारिशों के साथ अधिक लेनदेन करें।

लक्ष्य क्रियाएँ चुनें

लक्षित कार्यों के चयन के लिए पहला दृष्टिकोण काफी सरल और अनुभवहीन था। लक्ष्य मीट्रिक के रूप में, हमने विचारों की संख्या को चुना, और डाकुओं ने सीखा कि इस मीट्रिक को अच्छी तरह से कैसे अनुकूलित किया जाए। लेकिन एक समस्या थी: अधिक विचार हमेशा अच्छे नहीं होते हैं। उदाहरण के लिए, "ऑटो" श्रेणी में, हमने विचारों की संख्या को 15% तक बढ़ाने में कामयाबी हासिल की, लेकिन साथ ही संपर्क अनुरोधों की संख्या में भी उसी राशि की गिरावट आई। बारीकी से जांच करने पर, यह पता चला कि डाकुओं ने एक कलम चुना जिसमें क्षेत्र द्वारा फ़िल्टर बंद कर दिया गया था। इसलिए, ब्लॉक ने पूरे रूस से विज्ञापन दिखाए, जहां समान विज्ञापनों का विकल्प, निश्चित रूप से अधिक है। इससे विचारों की संख्या में वृद्धि हुई: बाह्य रूप से, सिफारिशें बेहतर गुणवत्ता की लग रही थीं, लेकिन जब उन्होंने उत्पाद के कार्ड में प्रवेश किया, तो लोगों ने महसूस किया कि कार उनसे बहुत दूर थी और संपर्क करने का अनुरोध नहीं किया।

दूसरा तरीका यह है कि ब्लॉक को संपर्क अनुरोध में देखने से कैसे परिवर्तित किया जाए। यह दृष्टिकोण पिछले एक की तुलना में बेहतर था, यदि केवल इसलिए कि यह मीट्रिक सिफारिशों की गुणवत्ता के लिए लगभग सीधे जिम्मेदार है। लेकिन एक और समस्या दिखाई दी - दैनिक मौसम। दिन के समय के आधार पर, रूपांतरण मूल्य चार (!) टाइम्स से भिन्न हो सकते हैं (यह अक्सर एक बेहतर कॉन्फ़िगरेशन के प्रभाव से अधिक होता है), और एक उच्च रूपांतरण के साथ पहले अंतराल में चुने जाने के लिए भाग्यशाली कलम को दूसरों के साथ अधिक बार चुना जाता रहा।

_{दैनिक रूपांतरण गतिशीलता (Y- अक्ष मान परिवर्तित)}

अंत में, तीसरा दृष्टिकोण। हम अभी इसका इस्तेमाल करते हैं। हम संदर्भ समूह को सिंगल करते हैं, जो हमेशा एक ही एल्गोरिदम पर सिफारिशें प्राप्त करता है और डाकुओं के प्रभाव के अधीन नहीं है। अगला, हम अपने लक्ष्य समूह और संदर्भ में संपर्कों की पूर्ण संख्या को देखते हैं। उनका संबंध मौसमीता के अधीन नहीं है, क्योंकि हम संदर्भ समूह को यादृच्छिक रूप से चुनते हैं, और यह दृष्टिकोण आसानी से थॉम्पसन के नमूने पर टिकी हुई है।

हमारी रणनीति

हम संदर्भ और लक्ष्य समूहों को अलग करते हैं, जैसा कि ऊपर वर्णित है। फिर एन हैंडल (उनमें से प्रत्येक एक विन्यास से मेल खाती है) को बीटा वितरण के साथ आरंभ करें $B (\ Alpha = 1, \ Beta = 1)$

हर कदम पर:

प्रत्येक कलम के लिए हम उसके अनुरूप वितरण से एक संख्या का नमूना लेते हैं और अधिकतम के अनुसार कलम का चयन करते हैं;
समूहों में क्रियाओं की संख्या गिनें $R_ {लक्ष्य}$ और $R_ {संदर्भ}$ समय की एक निश्चित मात्रा के लिए (हमारे मामले में यह 10 सेकंड है) और चयनित पेन के लिए वितरण मापदंडों को अपडेट करें: $\ Alpha \ mathrel {+} = R_ {target}$ । $\ beta \ mathrel {+} = R_ {संदर्भ}$ ।

इस रणनीति का उपयोग करते हुए, हम अपनी आवश्यकता के अनुसार मीट्रिक का अनुकूलन करते हैं, लक्ष्य समूह में संपर्क अनुरोधों की संख्या और उन समस्याओं से बचते हैं जो मैंने ऊपर वर्णित की थीं। इसके अलावा, वैश्विक ए / बी परीक्षण में, इस दृष्टिकोण ने सर्वोत्तम परिणाम दिखाए।

परिणाम

वैश्विक ए / बी परीक्षण निम्नानुसार आयोजित किया गया था: सभी विज्ञापनों को यादृच्छिक रूप से दो समूहों में विभाजित किया गया है। उनमें से एक की घोषणाओं के लिए हम डाकुओं की मदद से सिफारिशें दिखाते हैं, और दूसरे को - पुराने विशेषज्ञ एल्गोरिदम के साथ। फिर हम प्रत्येक समूह में रूपांतरण संपर्क अनुरोधों की संख्या (समान ब्लॉक से विज्ञापनों पर स्विच करने के बाद किए गए अनुरोध) को मापते हैं। औसतन, सभी श्रेणियों में, डाकुओं के समूह को नियंत्रण से लगभग 10% अधिक लक्षित क्रियाएं प्राप्त होती हैं, लेकिन कुछ श्रेणियों में यह अंतर 30% तक पहुंच सकता है।

और बनाया मंच आपको तर्क को बदलने, डाकुओं से कॉन्फ़िगर करने और परिकल्पना को मान्य करने की अनुमति देता है।

यदि आपके पास हमारी अनुशंसा सेवा या बहु-सशस्त्र डाकुओं के बारे में प्रश्न हैं, तो उन्हें टिप्पणियों में पूछें। मुझे जवाब देने में खुशी होगी।

सिफारिशों में बहु-हथियारबंद डाकू