हमारे स्टोर के ग्राहक कूल मार्केटिंग करना चाहते हैं। लोगों को अधिक खरीदने के लिए, वे नियमित रूप से उन्हें ईमेल भेजते हैं। और हर बार वे सोचते हैं: "पत्र में क्या लिखना है?"।

आप बस लिख सकते हैं: "हमसे अधिक बार खरीदें!", लेकिन यह बहुत अच्छी तरह से काम नहीं करता है। एक बेहतर विचार एक पत्र में उत्पाद विज्ञापन सम्मिलित करना है। यह उन उत्पादों को विज्ञापित करने के लिए सलाह दी जाती है जो खरीदारों को रुचि रखते हैं।

अगला, मैं इस बारे में बात करूंगा कि हमने खरोंच से वास्तविक व्यक्तिगत सिफारिशें कैसे की हैं।

क्या सिफारिश करने के लिए चुनें

आप कुछ भी सुझा सकते हैं।

आप सबसे अधिक खरीदे गए उत्पादों की सिफारिश कर सकते हैं। उदाहरण के लिए, एक इलेक्ट्रॉनिक्स स्टोर में, ये हार्ड ड्राइव और मोबाइल फोन हैं। लेकिन जो पहले से ही उनके पास है उनके बारे में क्या? यह पता चला है कि सभी को एक ही चीज की सिफारिश की जाती है - बहुत शांत नहीं।

आप साइट पर दिख रहे व्यक्ति के समान कुछ सुझा सकते हैं - उदाहरण के लिए, जूते को देखा, हम अनुशंसा करते हैं ... अन्य जूते! कोई फर्क नहीं पड़ता कि यह कितना अजीब लगता है, इसका उपयोग अभ्यास और यहां तक ​​कि काम करता है।

लेकिन हम अभी भी कुछ विशेष करना चाहते थे ताकि हर कोई पत्र में कुछ व्यक्तिगत रूप से देखे, जिसकी उसे वास्तव में आवश्यकता थी, ताकि उसे बार-बार दुकान पर लौटने की इच्छा हो। यह कार्य इस तथ्य से जटिल था कि हमारे पास विभिन्न क्षेत्रों में लगभग 300 ग्राहक दुकानें हैं। और सिफारिशों को उनमें से प्रत्येक के लिए अच्छी तरह से काम करना चाहिए, किसी विशेष स्टोर की बारीकियों के लिए स्वचालित रूप से समायोजित करना। इसलिए हमने सार्वभौमिक व्यक्तिगत सिफारिशें करना शुरू कर दिया।

बेस मॉडल बनाना

अमेज़ॅन के लेखों को पढ़ने के बाद, हमने व्यक्तिगत सिफारिशों का सबसे बुनियादी मॉडल बनाने का फैसला किया और देखें कि यह खुद को कैसे दिखाता है।

आरंभ करने के लिए, खरीदारी तालिका डाउनलोड करें और इसे विरल क्लाइंट-उत्पाद मैट्रिक्स में विस्तारित करें।

ग्राहक-उत्पाद मैट्रिक्स में खरीदारी सूची परिवर्तित करना

अगला हम सहयोगी फ़िल्टरिंग का उपयोग करते हैं। यहाँ अंतर्ज्ञान सरल है: ग्राहक संख्या 1 खरीदा उत्पाद नंबर 1 और दो उत्पाद नंबर 3; क्लाइंट नंबर 2 ने उत्पाद नंबर 1 भी खरीदा है - वह उत्पाद नंबर 3 खरीदना चाहता है।

सहयोगात्मक फ़िल्टरिंग में एक बड़े विरल मैट्रिक्स के अपघटन में दो घने लम्बी सुप्तावस्था वाले फीचर मैट्रीस होते हैं, जो छोटे आकार के होते हैं। अपघटन के लिए, हमने अंतर्निहित लाइब्रेरी से अल्टरनेटिंगलाइस्टसक्वेर्स के तैयार-किए गए कार्यान्वयन का उपयोग किया।

मॉडल को प्रशिक्षित करने के बाद, हम सभी ग्राहकों और सभी उत्पादों के लिए अव्यक्त लक्षण प्राप्त करते हैं। उन्हें क्रमशः मैट्रिसेस (ग्राहकों की संख्या x संख्या के संकेत) और (उत्पादों की संख्या x संख्याएँ) के रूप में प्रस्तुत किया जाता है।

अव्यक्त संकेत वे संकेत हैं जो स्पष्ट रूप से कहीं भी सेट नहीं किए जाते हैं, जैसे, किसी व्यक्ति की ऊंचाई या किसी अपार्टमेंट का क्षेत्र। आमतौर पर उन्हें मूल डेटा पर कुछ गणितीय परिवर्तनों के परिणामस्वरूप प्राप्त किया जाता है।

अव्यक्त फ़ीचर मैट्रिसेस को व्यवस्थित किया जाता है ताकि यदि आप उन्हें गुणा करें, तो आपको मूल के समान आकार का मैट्रिक्स प्राप्त हो। पारंपरिकता के उच्च स्तर के साथ, हम कह सकते हैं कि जहाँ बड़ी संख्याएँ थीं, वहाँ बड़ी संख्याएँ होंगी - लगभग एक। जहां कम है कम। जहां शून्य थे, वहां शून्य के करीब, संभवतः नकारात्मक होंगे। लेकिन महत्वपूर्ण बात यह है कि कुछ स्थानों पर जहां शून्य थे, बल्कि बड़ी संख्या में दिखाई देंगे - हमारे भविष्य की सिफारिशें।

खरीदारी जो एक-दूसरे को दृढ़ता से प्रभावित करती है, उसी रंग में हाइलाइट होती है। एक बॉक्स भविष्य की कुछ सिफारिशों पर प्रकाश डालता है।

अब, यदि हम किसी विशेष ग्राहक के लिए फीचर वेक्टर लेते हैं और इसे उत्पाद सुविधा मैट्रिक्स द्वारा गुणा करते हैं, तो हमें उस ग्राहक के सभी उत्पादों का स्कोर वेक्टर मिल जाता है। यह केवल अधिकतम गति वाले कई उत्पादों को चुनने के लिए बनी हुई है।

एक छोटे से बारीकियों - उच्च संभावना वाले अनुशंसित उत्पादों में वे होंगे जो पहले से ही ग्राहक द्वारा खरीदे गए हैं - उन्हें बाहर करने की आवश्यकता है।

अजीब तरह से पर्याप्त है, लेकिन इस तरह की एक सरल योजना काम कर रही है और ग्राहक हमारी सिफारिशों का परीक्षण करने में प्रसन्न थे। हमने एबी परीक्षण किया, जहां हमने बेस्टसेलर के साथ व्यक्तिगत सिफारिशों की तुलना की। कुछ मामलों में, कोई अंतर नहीं था, लेकिन कुछ में उन्होंने 10% तक के क्रम में रूपांतरणों में एक महत्वपूर्ण वृद्धि देखी। ये मुख्य रूप से खरीद की उच्च आवृत्ति के साथ स्टोर थे, और, तदनुसार, बड़ी मात्रा में डेटा।

हम अधिक डेटा का उपयोग करते हैं।

यह स्पष्ट था कि अच्छी सिफारिशें करने के लिए अकेले खरीद के बारे में जानकारी पर्याप्त नहीं थी। यदि केवल इसलिए कि कई ग्राहकों के पास खरीदारी बिल्कुल नहीं है। इसलिए, हमने अपनी सिफारिशों में सुधार करने का निर्णय लिया।

सभी कार्यों के बारे में जानकारी जोड़ें

खरीद के अलावा, हमने उत्पाद के विचारों को ध्यान में रखना शुरू किया, साथ ही साथ उन्हें विभिन्न सूचियों में शामिल किया: टोकरी में, "में", आदि।

प्रत्येक प्रकार की कार्रवाई के लिए, हमने एक वजन का चयन किया और इसे इस भार के साथ हमारे विरल मैट्रिक्स में जोड़ा।

हम कार्रवाई के समय को ध्यान में रखते हैं

हमने सोचा कि कल की खरीद और एक साल पहले की खरीद का सिफारिशों पर समान प्रभाव नहीं होना चाहिए। इसलिए, हमने सभी कार्यों के लिए एक घातीय भूल गुणांक पेश किया।

इसके अलावा, कुछ दुकानों के लिए, उदाहरण के लिए, कपड़े, मौसमी महत्वपूर्ण है: यदि यह गर्मी है, तो आपको एक महीने पहले गर्मियों में एक व्यक्ति ने सर्दियों में छह महीने पहले जो खरीदा था, उससे अधिक ध्यान देने की आवश्यकता है।

हम स्पष्ट संकेतों को ध्यान में रखते हैं

हमारे डेटाबेस में कई तरह की जानकारी है। हमने तय किया कि हर चीज का इस्तेमाल किया जाना चाहिए।

उत्पादों के लिए, हमने मूल्य, निर्माता, उत्पाद श्रेणी और विभिन्न अतिरिक्त क्षेत्रों का उपयोग करना शुरू कर दिया जो कि स्टोर इंगित करता है (कपड़ों का आकार, फर्नीचर का रंग, कुत्ते के भोजन में जीएमओ की उपस्थिति, आदि)।

ग्राहकों के लिए, उन्होंने लिंग, आयु, मेलबॉक्स डोमेन, अंतिम सत्र में ऑपरेटिंग सिस्टम और चैनल जिसके माध्यम से वह डेटाबेस (ऑनलाइन, ऑफ़लाइन, सोशल नेटवर्क, आदि) में शामिल हो गए।
मॉडल के लिए यह सब संलग्न करने के लिए, हम:

1. हम फीचर मैट्रिसेस (ग्राहकों और उत्पादों के लिए अलग-अलग) बनाते हैं, पहले उन्हें मानक तरीकों का उपयोग करके संसाधित किया जाता है: स्केलिंग, एक-हॉट एन्कोडिंग।
2. उत्पादों की विशेषताओं और मौजूदा ग्राहक-उत्पाद मैट्रिक्स के आधार पर, हम ग्राहकों के लिए अतिरिक्त सुविधाओं को पुनर्स्थापित करते हैं। पुनर्स्थापना इस तरह से की जाती है कि उत्पाद की विशेषताओं को ग्राहक विशेषताओं के साथ जोड़ा जाता है ताकि स्रोत मैट्रिक्स को यथासंभव निकट लाया जा सके। मौजूदा अव्यक्त के लिए इन अतिरिक्त संकेतों को गोंद करें।
3. इसी तरह, हम ग्राहकों के संकेतों के साथ करते हैं।

अव्यक्त संकेतों का विस्तार करें

अब हमारे पास और अधिक संकेत हैं और हम अधिक सटीक सिफारिशें कर सकते हैं। उस क्षण से, व्यक्तिगत सिफारिशों के पक्ष में सांख्यिकीय रूप से महत्वपूर्ण परिणाम दिखाने वाले परीक्षणों की संख्या बढ़ने लगी। परीक्षणों के अलावा, विशेषज्ञों द्वारा व्यक्तिपरक मूल्यांकन में भी सुधार हुआ है।

हाइपरपैरामीटर कॉन्फ़िगर करें

मेट्रिक्स फर्स्ट

बेशक, हमने हर समय अपनी सिफारिशों का परीक्षण किया। हमने ऑफ़लाइन परीक्षण और ऑनलाइन दोनों आयोजित किए।

बेशक, ऑनलाइन एबी परीक्षण यह जांचने के लिए एक अधिक विश्वसनीय तरीका है कि अच्छी सिफारिशें कैसे हैं। और इन परीक्षणों ने अच्छे परिणाम दिखाए।

हालांकि, ऑनलाइन परीक्षण बहुत असुविधाजनक हैं:

• आपको एक ऐसा स्टोर ढूंढना होगा जो अपने ग्राहकों के साथ जोखिम लेना चाहता हो और एल्गोरिथ्म के नए संस्करण का परीक्षण कर सके।

  
  

• फिर आपको कुछ सांख्यिकीय महत्वपूर्ण परिणाम प्राप्त करने के लिए एक दिन / सप्ताह / दो का इंतजार करना होगा।

  
  

• 100 अलग-अलग विकल्पों का परीक्षण करने के लिए आपको इसे 100 बार दोहराना होगा।

  
  

इसलिए, ऑफ़लाइन परीक्षण अपरिहार्य हैं। और यहाँ यह उल्लेख नहीं किया जाएगा कि हमने उन्हें कैसे किया।

एक ऑफ़लाइन मीट्रिक के रूप में, उन्होंने लोकप्रिय और सरल - nDCG @ K (K पर सामान्यीकृत छूटयुक्त संचयी लाभ) को चुना , या कई हजार ग्राहकों के लिए इसका औसत।

यह मीट्रिक रैंकिंग गुणवत्ता है। यह 0 से 1 तक मान लेता है और दिखाता है कि सिफारिशें कितनी अच्छी हैं।

मीट्रिक के मूल्य की गणना करने के लिए, आपको एक मानक - आदर्श सिफारिशों की आवश्यकता होती है। हमारे पास ऐसा कोई मानक नहीं है। लेकिन हमें एक रास्ता मिल गया: हमने अतीत में समय पर एक बिंदु पर सिफारिशों पर विचार किया - एक महीने पहले - और इस महीने के लिए एक व्यक्ति ने क्या खरीदा - यह हमारा मानक था।

यहां एक छोटी सी चाल है: अगर हमने क्लाइंट को कुछ महीने पहले सिफारिश की थी, तो वह इसे खरीद सकता था, लेकिन उसने इसे खरीदा नहीं था। लेकिन हम इस बारे में कभी नहीं जान पाएंगे।

एक और बिंदु: हम एक pompom के साथ एक नीली टोपी की सिफारिश कर सकते हैं, और एक ग्राहक ने एक pompom के बिना एक नीली टोपी खरीदी। माल समान प्रतीत होता है, लेकिन अलग-अलग - मेट्रिक सैग्स। इसलिए, मीट्रिक की गणना करते समय, हमने सामानों की समानता को ध्यान में रखना शुरू किया।

और अब हाइपरपैरामीटर के बारे में

चूंकि हमारे पास एक ऑफ़लाइन मीट्रिक है, इसलिए हम अपनी सिफारिशों के लिए विभिन्न प्रकार के विकल्पों का सुरक्षित रूप से परीक्षण कर सकते हैं और चिंता न करें कि कोई पीड़ित हो सकता है।

एक हफ्ते तक हमारी कल्पना को तनावग्रस्त करने के लिए, हमने अपने एल्गोरिथ्म के 2-3 दर्जनों संशोधनों की कोशिश की, जिनमें से सरल थे, जैसे कि विभिन्न भूलने के कारक, और अधिक जटिल, जैसे कि ग्राहकों और उत्पादों के स्पष्ट संकेतों के लिए एक और एल्गोरिथ्म का उपयोग करना।

कुछ संशोधनों का कहीं भी कोई प्रभाव नहीं है। कुछ ने सभी परियोजनाओं पर सुधार दिखाया - हमने उन्हें ठीक कर दिया। और कुछ परियोजनाओं पर मीट्रिक में सुधार हुआ, जबकि अन्य पर वे खराब हो गए। इसलिए हमें हाइपरपरेटिंग सेटिंग मिल गई ।

अब हमारे पास 11 हाइपरपरमेटर्स हैं। सभी परियोजनाओं के लिए उनमें से प्रत्येक के इष्टतम मूल्यों को खोजने में कई दिन लग गए।

ट्यूनिंग के बाद, यह निकला कि औसतन सभी परियोजनाओं के लिए मीट्रिक 6 गुना बढ़ी, और सबसे मजबूत विकास - 35 गुना!

कार्यक्षमता में सुधार

हम अच्छी व्यक्तिगत सिफारिशें कर सकते हैं। कूल।

लेकिन वे कैसे काम करते हैं? कुछ इस तरह से: रात में हर दिन, जब सर्वर पर लोड कम हो जाता है, हम सभी परियोजनाओं के लिए सिफारिशों को फिर से लिखना शुरू करते हैं। रैम और सीपीयू की खपत बंद हो जाती है, कई घंटे बीत जाते हैं, और सिफारिशें तैयार हो जाती हैं। वे एक विशेष भंडारण में जाते हैं और वहां से ले जाने तक इंतजार करते हैं।

क्यों लेते हैं? उदाहरण के लिए, एक पत्र में भेजने के लिए। जो अच्छा लगे।

या साइट पर दिखाने के लिए। कल्पना कीजिए कि आप साइट पर जाते हैं, एक मोबाइल फोन चुनते हैं, और खिड़की में व्यक्तिगत सिफारिशें होती हैं, और आपको ... केतली की पेशकश करते हैं! एक केतली क्यों? हां, क्योंकि आपने एक महीने पहले माइक्रोवेव खरीदा था, और एल्गोरिथ्म ने गणना की कि माइक्रोवेव खरीदने वालों को अक्सर केतली की आवश्यकता होती है।

लेकिन आपको एक सेल फोन चाहिए! कैसे हो सकता है?

समय आ गया है कि सिफारिशें करें जो वास्तविक समय में काम करें।

गणित के दृष्टिकोण से, कुछ भी नया नहीं है: हमने बस मॉडल प्रशिक्षण के चरण और सिफारिशें जारी करने के चरण को विभाजित किया है।

हम अभी भी दिन में एक बार मॉडल को प्रशिक्षित करते हैं।

और अब हम अनुशंसाएँ ऑनलाइन जारी कर सकते हैं। जैसे ही कोई व्यक्ति साइट पर कुछ कार्रवाई करता है, उदाहरण के लिए, उत्पाद को देखता है या इसे टोकरी में जोड़ता है, एक अनुरोध उत्पन्न होता है। अनुरोध इंगित करता है कि किसने क्या किया, किस उत्पाद के साथ। सिफारिश एल्गोरिथ्म इस अनुरोध को संसाधित करता है और जवाब में, इस क्लाइंट के लिए सिफारिशों की एक सूची तैयार करता है।

इसे संभव बनाने के लिए, हमें चाहिए:

1. एक रिपॉजिटरी बनाओ जहां प्रशिक्षण के बाद मॉडल जोड़े जाते हैं।
2. क्लाइंट द्वारा पहले की गई क्रियाओं को संग्रहीत करने के लिए एक कुंजी-मूल्य भंडारण को व्यवस्थित करें, क्योंकि उन्हें डेटाबेस से लोड करने में बहुत लंबा समय लगता है।
3. हमारी सिफारिशों को महत्वपूर्ण रूप से गति दें। मुख्य त्वरण बिंदु एक व्यक्ति के लिए सबसे अधिक प्रासंगिक उत्पादों का चयन करने के लिए निकटतम पड़ोसियों को खोजने के लिए nmslib पुस्तकालय का उपयोग था। Microsoft के धूर्त लोग यह समझ गए कि मैट्रिक्स गुणन की समस्या को कैसे कम किया जाए और निकटतम पड़ोसियों को खोजने के कार्य के लिए उच्चतम मूल्य के साथ तत्वों के शीर्ष को चुनना।
4. साइट पर किसी व्यक्ति के कार्यों को ट्रैक करने वाला एक माइक्रो-सर्विस बनाएं, सिफारिशों के लिए एक अनुरोध भेजता है, इन सिफारिशों को लेता है और इसे व्यक्ति को दिखाता है।

और इस नारकीय मशीन ने कमाई की है। और जल्दी कमाया। जैसे ही आप अपने मोबाइल फोन को देखते हैं, सिफारिशों को एक दूसरे विभाजन में विभाजित किया जाता है, और मोबाइल फोन, मामलों, चश्मे और जैसे पहले से ही आपके लिए अनुशंसित हैं।
यह स्पष्ट करने के लिए कि तेज क्या है: हम इंटेल एक्सॉन 2.6 गीगाहर्ट्ज सीपीयू के केवल 3 कोर का उपयोग करके 7000 आरपीएम (प्रति मिनट अनुरोध) का भार झेल रहे हैं। यह लोड हमारे ग्राहकों के 2 सबसे बड़े हिस्से की चरम गतिविधि में दिया गया है।

आगे क्या है

ऐसा लगता है कि वर्तमान मॉडल से हमने वह सब कुछ निचोड़ लिया जो संभव है।

आगे के सुधार के लिए बड़े बदलावों की आवश्यकता होगी।

सुधार विकल्पों में से एक समूहों में ग्राहकों का प्रारंभिक विभाजन है।

लोग अलग तरीके से व्यवहार करते हैं: कोई अक्सर और बहुत कम से खरीदता है, कोई शायद ही कभी, लेकिन बड़े बैचों में, कोई महंगा सामान, कोई सस्ता। वास्तव में, मॉडल को स्वयं ऐसे समूह खोजने चाहिए और उन्हें सलाह देनी चाहिए कि उन्हें क्या चाहिए।

लेकिन यह मुश्किल हो सकता है, उदाहरण के लिए, यदि समूह छोटे हैं। उदाहरण के लिए, कानूनी संस्थाओं का एक छोटा समूह। या महिलाओं के स्टोर में पुरुषों का एक समूह। वे हमेशा औपचारिक विशेषता "लिंग" द्वारा निर्धारित नहीं किए जा सकते हैं, क्योंकि पत्नी अपने पति के लिए जारी किए गए एक वफादारी कार्ड का उपयोग कर सकती है, और इसके विपरीत।

आप मॉडल की मदद करने की कोशिश कर सकते हैं, यदि आप पहले इन समूहों का चयन करते हैं, और फिर उनमें से प्रत्येक के लिए अलग से एक मॉडल बनाते हैं।

एक और, सुधार के लिए अधिक गंभीर दृष्टिकोण कार्रवाई के इतिहास को ध्यान में रखना हो सकता है।

अब हम केवल कार्रवाई के पर्चे को ध्यान में रखते हैं, और यह हमें व्यवहार में पैटर्न की पहचान करने की अनुमति नहीं देता है। उदाहरण के लिए, मॉडल यह नहीं समझ सकता है कि यदि आपने पहली बार गर्भवती महिलाओं और फिर डायपर के लिए कपड़े खरीदे हैं, तो यह शिशु आहार की सिफारिश करने का समय है।

सामान्य तौर पर, हमारी राय में, सिफारिशों में सुधार पर काम लगभग अनिश्चित काल तक चल सकता है। प्रत्येक नए ग्राहक का उपयोग करने के साथ, सुधार के लिए नए मामले और नई परिकल्पनाएं दिखाई देती हैं।

इसलिए हम सुधार करना जारी रखते हैं, और हम जो हम कर रहे हैं उसके बारे में लिखने की कोशिश करेंगे। अलविदा न कहना :)