इसे निजीकृत करें: हम QIWI सिफारिशों के साथ कैसे काम करते हैं

सभी को नमस्कार!

मेरा नाम लिडा है, मैं QIWI में एक छोटी सी DataScience टीम की टीम लीड हूं।

हम लोग अक्सर ग्राहकों की ज़रूरतों पर शोध करने के काम का सामना करते हैं, और इस पोस्ट में मैं एक विषय को विभाजन के साथ शुरू करने के बारे में विचार साझा करना चाहूंगा और बिना किसी डेटा के समुद्र को समझने के लिए कौन से दृष्टिकोण मदद कर सकते हैं।

अब निजीकरण से कौन आश्चर्यचकित होगा? किसी उत्पाद या सेवा में व्यक्तिगत ऑफ़र की कमी पहले से ही एक बुरे आदमी की तरह लगती है, और हम उसी क्रीम का इंतजार कर रहे हैं जो हमारे लिए केवल हर जगह चुनी गई है - इंस्टाग्राम से एक व्यक्तिगत टैरिफ प्लान को खिलाती है।

हालाँकि, वह सामग्री या प्रस्ताव कहां से आता है? यदि यह आपका पहली बार मशीन सीखने के गहरे पानी में डूब रहा है, तो आप शायद इस सवाल पर आएँगे कि ग्राहक की बहुत रुचियों को कहाँ से शुरू किया जाए और कैसे पहचाना जाए। सबसे अधिक बार, यदि कोई बड़ा उपयोगकर्ता आधार है और उनके बारे में ज्ञान की कमी है, तो दो लोकप्रिय तरीकों से जाने की इच्छा है:

1. मैन्युअल रूप से उपयोगकर्ताओं के नमूने को चिह्नित करें और उस पर एक मॉडल को प्रशिक्षित करें जो आपको यह निर्धारित करने की अनुमति देता है कि क्या यह वर्ग या कक्षाएं मल्टीस्केल लक्ष्य के मामले में हैं।

यह एक अच्छा विकल्प है, लेकिन प्रारंभिक चरण में यह एक जाल हो सकता है - आखिरकार, हमें अभी भी नहीं पता है कि हमारे पास सिद्धांत में कौन से खंड हैं और वे नए उत्पाद सुविधाओं, संचार, और अधिक को बढ़ावा देने के लिए कितने उपयोगी हैं। इस तथ्य का उल्लेख नहीं करने के लिए कि मैनुअल क्लाइंट मार्कअप काफी महंगा है और कभी-कभी मुश्किल है, क्योंकि आपके पास जितनी अधिक सेवाएं हैं, उतना ही अधिक डेटा आपको यह समझने के लिए देखने की आवश्यकता है कि यह क्लाइंट कैसे रहता है और साँस लेता है। यह बहुत संभावना है कि ऐसा कुछ निकल जाएगा:



2. विकल्प # 1 पर खुद को जलाए जाने के बाद, वे अक्सर एक प्रशिक्षण नमूने के बिना असुरक्षित विश्लेषण का विकल्प चुनते हैं ।

यदि आप किमी की प्रभावशीलता के बारे में चुटकुले छोड़ते हैं, तो आप एक महत्वपूर्ण बिंदु नोट कर सकते हैं जो प्रशिक्षण के बिना सभी क्लस्टरिंग विधियों को जोड़ती है - वे आपको चयनित मैट्रिक्स द्वारा निकटता के आधार पर ग्राहकों को संयोजित करने की अनुमति देते हैं। उदाहरण के लिए, खरीद की संख्या, जीवन के दिनों की संख्या, संतुलन, और बहुत कुछ।

यह भी उपयोगी हो सकता है यदि आप अपने दर्शकों को बड़े समूहों में विभाजित करना चाहते हैं और फिर प्रत्येक का अध्ययन करते हैं, या उत्पाद मैट्रिक्स के पीछे चल रहे कोर और सेगमेंट को उजागर करते हैं।

उदाहरण के लिए, द्वि-आयामी अंतरिक्ष में, एक उपयोगी परिणाम इस तरह दिख सकता है - आप तुरंत देख सकते हैं कि कौन से क्लस्टर अधिक विस्तार से खोज करने लायक हैं।



लेकिन क्लस्टरिंग के लिए आप जितने अधिक मैट्रिक्स का उपयोग करेंगे, परिणाम की व्याख्या करना उतना ही कठिन होगा। और उन्हीं ग्राहकों की पसंद अभी भी रहस्य में डूबी हुई है।

क्या करें, यहाँ सवाल है? QIWI में, हमने इस दुविधा पर अपने दिमाग को बार-बार उकेरा है जब तक कि हम इस लेख से प्रेरित एक जिज्ञासु मॉडल पर नहीं आते हैं। अन्य मामलों में, लेख ने बिगस्ट्रीम लाइब्रेरी पर आधारित बैंक कार्ड उपयोगकर्ताओं के व्यवहार के अव्यक्त पैटर्न को उजागर करने के लिए कोंस्टेंटिन वोरोन्तोव के निर्णय का वर्णन किया।

लब्बोलुआब यह है कि ग्राहक लेनदेन को शब्दों के एक सेट के रूप में प्रस्तुत किया गया था और फिर परिणामी पाठ संग्रह से, जहां दस्तावेज़ = ग्राहक, और शब्द = एमसीसी कोड (व्यापारी श्रेणी कोड, आउटलेट्स का अंतर्राष्ट्रीय वर्गीकरण), प्राकृतिक भाषा प्रसंस्करण उपकरण में से एक का उपयोग करके पाठ विषय आवंटित किए गए थे। एनएलपी) - विषयगत मॉडलिंग ।

हमारे प्रदर्शन में, पाइपलाइन इस तरह दिखती है:



यह बिल्कुल स्वाभाविक लगता है - अगर हम यह समझना चाहते हैं कि हमारे दर्शक कैसे और कैसे रहते हैं, तो उन कार्यों की कल्पना क्यों न करें जो ग्राहक हमारे पारिस्थितिकी तंत्र के अंदर उनके द्वारा बताई गई कहानी के रूप में करते हैं। और इन कहानियों के विषयों के लिए एक मार्गदर्शक बनाएं।

इस तथ्य के बावजूद कि अवधारणा सुरुचिपूर्ण और सरल दिखती है, व्यवहार में, मॉडल को लागू करते समय, मुझे कई समस्याओं का सामना करना पड़ा:

1. डेटा में आउटलेयर और विसंगतियों की उपस्थिति और, परिणामस्वरूप, एक बड़े टर्नओवर वाले ग्राहकों की खरीद की श्रेणियों की विषयों में एक बदलाव,
2. विषयों की संख्या एन का सही निर्धारण,
3. परिणामों के सत्यापन का प्रश्न (क्या यह सिद्धांत में संभव है?)

पहली समस्या के लिए, समाधान काफी आसानी से मिल गया था - सभी प्रमुख ग्राहकों को सरलतम क्लासिफायर द्वारा "कोर" और "सितारों" (ऊपर चित्र देखें) में विभाजित किया गया था और पहले से ही प्रत्येक क्लस्टर को एक अलग पाठ संग्रह के रूप में संसाधित किया गया था।

लेकिन दूसरे और तीसरे अंक ने मुझे आश्चर्यचकित किया - वास्तव में, प्रशिक्षण नमूने के बिना सीखने के परिणामों को कैसे मान्य किया जाए? बेशक, मॉडल के लिए गुणवत्ता मीट्रिक हैं, लेकिन ऐसा लगता है कि वे पर्याप्त नहीं हैं - और यही कारण है कि हमने एक बहुत ही सरल काम करने का फैसला किया - एक ही स्रोत डेटा पर परिणामों की जांच करने के लिए।

यह जाँच निम्न प्रकार से होती है: विषयों के एक समूह में वर्गीकरण परिणाम, उदाहरण के लिए, इस तरह:



यहाँ पायथन सूची इस विषय के लिए खरीद की सबसे अधिक संभावना वाली मुख्य MCC श्रेणियों का एक सेट है (मैट्रिक्स "शब्द - विषय" से)। यदि आप एयरलाइन और एयर कैरियर्स श्रेणी में खरीद को अलग से देखते हैं, तो यह काफी तर्कसंगत है कि "यात्री" थीम वाले ग्राहक अपने उपयोगकर्ताओं के लिए बहुत कुछ करेंगे।



और यह चेक डैशबोर्ड के रूप में सुविधाजनक रूप से लागू किया गया है - एक ही समय में आपके पास उत्पाद परिकल्पना पैदा करने के लिए दृश्य सामग्री होगी - जिनके पास उड़ानों के लिए कैशबैक है, और जिनके पास कॉफी पर छूट है।

और विषयगत मॉडलिंग के लिए संग्रह में, आप न केवल लेनदेन की घटनाओं को जोड़ सकते हैं, बल्कि अन्य मॉडलों से मेटा जानकारी, ग्राहक सहायता कॉल के विषय और बहुत कुछ जोड़ सकते हैं। या पर्यवेक्षित एल्गोरिदम के लिए श्रेणीबद्ध सुविधाओं के रूप में उपयोग करें - उदाहरण के लिए, बहिर्वाह भविष्यवाणी के मॉडल और इसी तरह।

बेशक, इस दृष्टिकोण की अपनी बारीकियां हैं - उदाहरण के लिए, संग्रह को शब्दों के बैग के रूप में संसाधित किया जाता है और खरीद के आदेश को ध्यान में नहीं रखा जाता है, लेकिन इसे ग्राहक के जीवन की प्रत्येक महत्वपूर्ण अवधि (उदाहरण के लिए) के प्रत्येक महत्वपूर्ण अवधि के लिए एन ग्राम का उपयोग करके या विषयगत टैग की गणना करके पूरी तरह से मुआवजा दिया जा सकता है। हालांकि, पठनीय और व्याख्यात्मक ग्राहक कहानी का बहुत विचार, एनएलपी और अन्य मॉडलों का एक संयोजन हमें बहुत आकर्षक लगता है।

और आपको यह विषय कैसा लगा? आपके डेटा साइंस टीम को किस तरह की कठिनाइयों या खुशियों का सामना करना पड़ता है? आपकी राय जानना दिलचस्प होगा।