सभी को नमस्कार। टिंकॉफ में मेरी टीम सिफारिशकर्ता प्रणाली का निर्माण कर रही है। यदि आप अपने मासिक कैशबैक से खुश हैं, तो यह हमारा व्यवसाय है। हमने भागीदारों से विशेष प्रस्तावों की एक सिफारिश प्रणाली भी बनाई है और टिंकऑफ एप्लिकेशन में स्टोरीज़ के व्यक्तिगत संग्रह में लगे हुए हैं। और हम खुद को अच्छे आकार में रखने के लिए मशीन लर्निंग प्रतियोगिताओं में भाग लेना पसंद करते हैं।

दो महीनों के लिए, 18 फरवरी से 18 अप्रैल तक, Boosters.pro में एक प्रतियोगिता आयोजित की गई थी, जिसमें सबसे बड़े रूसी ऑनलाइन सिनेमाघरों ओकोको के वास्तविक डेटा पर एक सिफारिश प्रणाली का निर्माण किया गया था। आयोजकों का लक्ष्य मौजूदा सिफारिश प्रणाली में सुधार करना है। फिलहाल, प्रतियोगिता सैंडबॉक्स मोड में उपलब्ध है , जिसमें आप अपने दृष्टिकोण का परीक्षण कर सकते हैं और सिफारिश प्रणाली के निर्माण में अपने कौशल को सुधार सकते हैं।

डेटा विवरण

ओको में सामग्री तक पहुंच टीवी या स्मार्टफोन पर आवेदन के माध्यम से या वेब इंटरफेस के माध्यम से किया जाता है। सामग्री किराए पर दी जा सकती है®, खरीदी गई (पी) या सदस्यता (एस) द्वारा देखी जा सकती है। प्रतियोगिता के आयोजक ने एन दिनों (एन> 60) के विचारों पर डेटा प्रदान किया, इसके अलावा, रेटिंग और जोड़े गए बुकमार्क के बारे में जानकारी उपलब्ध थी। यह एक महत्वपूर्ण विवरण को ध्यान में रखने योग्य है, यदि उपयोगकर्ता एक फिल्म को कई बार या श्रृंखला के कई एपिसोड में देखता है, तो केवल अंतिम लेनदेन की तारीख और सामग्री की प्रति यूनिट खर्च किए गए कुल समय को टैबलेट में दर्ज किया जाएगा।

लगभग 10 मिलियन लेनदेन, 450 हजार रेटिंग और 500 हजार उपयोगकर्ताओं के लिए 950 हजार बुकमार्किंग तथ्य प्रदान किए गए थे।

नमूने में न केवल सक्रिय उपयोगकर्ता हैं, बल्कि ऐसे उपयोगकर्ता भी हैं जिन्होंने पूरी अवधि के लिए एक-दो फ़िल्में देखी हैं।

ओकोको सूची में तीन प्रकार की सामग्री शामिल है: फिल्में (फिल्म), श्रृंखला (श्रृंखला) और धारावाहिक फिल्में (मल्टीआर्ट_मूवी), कुल 10,200 वस्तुएं। प्रत्येक ऑब्जेक्ट के लिए, अज्ञात विशेषताओं और विशेषताओं (विशेषता_1, ..., feature_5) का एक सेट उपलब्ध था, सदस्यता, किराये या उपलब्धता और अवधि की खरीद।

लक्ष्य चर और मीट्रिक

यह कार्य बहुत अधिक सामग्री की भविष्यवाणी करने के लिए आवश्यक है जिसका उपयोग उपयोगकर्ता अगले 60 दिनों में करेगा। यह माना जाता है कि यदि वह उपयोगकर्ता सामग्री का उपभोग करेगा:

• इसे खरीदें या किराए पर लें
• सदस्यता के द्वारा फिल्म के आधे से अधिक देखें
• सदस्यता द्वारा श्रृंखला के एक तिहाई से अधिक देखें

• r_u (i) - क्या उपयोगकर्ता ने मेरे लिए अनुमानित सामग्री का उपभोग किया है i (1 या 0)
• n_u - परीक्षण अवधि के दौरान उपयोगकर्ता द्वारा उपयोग किए जाने वाले तत्वों की संख्या
• यू - कई परीक्षण उपयोगकर्ता

आप इस पोस्ट से रैंकिंग कार्य के लिए मीट्रिक के बारे में अधिक जान सकते हैं।

अधिकांश उपयोगकर्ता अंत तक फिल्में देखते हैं, इसलिए लेनदेन पर सकारात्मक वर्ग की हिस्सेदारी 65% है। एल्गोरिथ्म की गुणवत्ता का मूल्यांकन प्रस्तुत नमूने से 50 हजार उपयोगकर्ताओं के सबसेट का उपयोग करके किया गया था।

अलग रेटिंग

प्रतियोगिता का निर्णय सामग्री रेटिंग के साथ सभी उपयोगकर्ता इंटरैक्शन के एकत्रीकरण के साथ एकल रेटिंग स्केल में शुरू हुआ। यह मान लिया गया था कि यदि उपयोगकर्ता ने सामग्री खरीदी है, तो इसका मतलब अधिकतम ब्याज है। फिल्म श्रृंखला से छोटी है, इसलिए श्रृंखला को समग्र रूप से देखने के लिए आपको अधिक अंक देने की आवश्यकता है। परिणामस्वरूप, निम्न नियमों के अनुसार कुल रेटिंग का गठन किया गया था:

• मूवी शेयर * ५
• टीवी शो शेयर * 10
• [फिल्म का बुकमार्क] * 0.5
• [श्रृंखला को बुकमार्क करना] * 1.5
• [सामग्री की खरीद / किराये पर] * १५
• रेटिंग + २

पहले स्तर का मॉडल

आयोजकों ने Tf-IDF तराजू के साथ सहयोगी फ़िल्टरिंग के आधार पर एक मूल समाधान प्रदान किया। कुल रेटिंग में सभी प्रकार के इंटरैक्शन को जोड़ते हुए, निकटतम पड़ोसियों की संख्या को 20 से बढ़ाकर 150 कर दिया गया और बीएम 25 वेट्स के साथ Tf-IDF को बदलकर LB (लीडर बोर्ड) पर लगभग 0.03 पर दस्तक दी।

रेसिस चैलेंज 2018 में तीसरे स्थान पर रहने वाली टीम के पद से प्रेरित होकर, मैंने दूसरे बेस मॉडल के रूप में डब्ल्यूएआरपी लॉस के साथ लाइटफएम मॉडल को चुना। चयनित हाइपर पैरामीटर्स के साथ लाइटफ़एम: लर्निंग_रेट, नो_कंप्यूटर, आईटम_लफ़ा, यूज़र_ल्पा, मैक्स_सैमप्लेड ने LB पर 0.033 दिया।

मॉडल का सत्यापन समय पर किया गया था: पहले 80% इंटरैक्शन ट्रेन में गिर गए, शेष 20% सत्यापन में। एलबी पर जमा करने के लिए, एक मॉडल को संपूर्ण डेटासेट पर सत्यापन के लिए चयनित मापदंडों के साथ प्रशिक्षित किया गया था।

मॉडल सम्मिश्रण

पिछले चरण में, यह दो मजबूत आधारभूत निर्माण करने के लिए निकला, इसके अलावा, उनकी सिफारिशें अनुशंसित सामग्री के 60 प्रतिशत के लिए औसतन प्रतिच्छेद की गईं। यदि दो मजबूत और एक ही समय में कमजोर सहसंबद्ध मॉडल हैं, तो उनका सम्मिश्रण एक उचित कदम है।

इस मामले में, मॉडल स्कोर अलग-अलग वितरणों के हैं और अलग-अलग पैमाने हैं, इसलिए दोनों मॉडलों को संयोजित करने के लिए रैंकों के योग का उपयोग करने का निर्णय लिया गया। मॉडल सम्मिश्रण LB पर 0.0347 निकला ।

दूसरे स्तर का मॉडल

सिफारिश करने वाले सिस्टम अक्सर बिल्डिंग मॉडल के लिए दो-स्तरीय दृष्टिकोण का उपयोग करते हैं: सबसे पहले, शीर्ष उम्मीदवारों का चयन एक साधारण फर्स्ट-लेवल मॉडल द्वारा किया जाता है, फिर चयनित टॉप को अधिक जटिल मॉडल द्वारा बड़ी संख्या में सुविधाओं के अलावा फिर से स्थान दिया जाता है।

डेटासेट को प्रशिक्षण और सत्यापन भागों में समय पर विभाजित किया गया था। प्रत्येक उपयोगकर्ता के लिए सत्यापन भाग के लिए सिफारिशों का चयन एकत्र किया गया था, जिसमें पहले से देखी गई फिल्मों के अपवाद के साथ प्रथम-स्तरीय मॉडल के शीर्ष 200 पूर्वानुमानों को मिलाकर किया गया था। इसके अलावा, प्रत्येक उपयोगकर्ता के लिए परिणामी शीर्ष को फिर से व्यवस्थित करने के लिए मॉडल को सिखाना आवश्यक था। बाइनरी वर्गीकरण के संदर्भ में समस्या तैयार की गई थी। एक जोड़ी (उपयोगकर्ता, सामग्री) केवल सकारात्मक वर्ग से संबंधित होती है यदि उपयोगकर्ता सत्यापन अवधि के दौरान सामग्री का उपभोग करता है। दूसरे स्तर के मॉडल के रूप में, ग्रेडिंग बूस्टिंग का उपयोग किया गया था, जिसका नाम लाइट जीबीएम पैकेज था।

सबूत

जोड़े (उपयोगकर्ता, सामग्री) के लिए प्रथम-स्तरीय मॉडल एक गति के रूप में प्रासंगिकता का मूल्यांकन करते हैं, जो क्रम में घटते क्रम में आप एक रैंक प्राप्त कर सकते हैं। मॉडल ने रैंक और गति के संकेतों पर प्रशिक्षित किया, सामग्री कैटलॉग से संकेतों के साथ, एलबी पर 0.0359 दस्तक दी।

अज्ञात विशेषताओं के पहले के वितरण फॉर्म से, यह निष्कर्ष निकाला गया कि यह वह तारीख है जो फिल्म कैटलॉग में दिखाई दी थी, इसलिए, मॉडल को चयनित सत्यापन योजना के साथ इस सुविधा के लिए दृढ़ता से पुनर्प्रकाशित किया गया था। नमूने से एक विशेषता को हटाने से पौंड में 0.0367 की वृद्धि हुई

लाइटफ़एम मॉडल, उपयोगकर्ता के लिए सामग्री की प्रासंगिकता की भविष्यवाणी करने के अलावा, दो वैक्टर लौटाता है: आइटम पूर्वाग्रह और उपयोगकर्ता पूर्वाग्रह, जो सामग्री की लोकप्रियता और उपयोगकर्ता द्वारा देखी गई फिल्मों की संख्या के साथ सहसंबद्ध है। संकेतों को जोड़ने से पौंड पर गति 0.0388 बढ़ गई ।

आप पहले से ही देखी गई फिल्मों को हटाने से पहले या बाद में एक जोड़ी (उपयोगकर्ता, सामग्री) के लिए एक रैंक प्रदान कर सकते हैं। उत्तरार्द्ध की विधि में परिवर्तन ने LB में 0.0395 की वृद्धि प्रदान की।

लगभग किसी ने फिल्मों की सूची का एक महत्वपूर्ण हिस्सा नहीं देखा। सामग्री जो 100 से कम उपयोगकर्ताओं द्वारा देखी गई थी, दूसरे स्तर के मॉडल के प्रशिक्षण के लिए नमूने से हटा दी गई थी, जिसने सूची को आधे से कम कर दिया था। अलोकप्रिय सामग्री को हटाने ने पहले स्तर के मॉडल से चयन को अधिक प्रासंगिक बना दिया और इसके बाद ही लाइटफ़एम के उपयोगकर्ताओं के वेक्टर ने सत्यापन की गति में सुधार किया और एलबी पर 0.0429 की वृद्धि दी।

इसके अलावा, एक संकेत जोड़ा गया था - उपयोगकर्ता ने बुकमार्क को पुस्तक में जोड़ा, लेकिन ट्रेन की अवधि नहीं देखी, जिसने एलबी पर गति को 0.0447 तक बढ़ा दिया । इसके अलावा, पहले और आखिरी लेनदेन की तारीख के बारे में संकेत जोड़े गए थे, उन्होंने गति को LB45 पर बढ़ा दिया।

हम इस मॉडल पर विचार करेंगे। सबसे महत्वपूर्ण पहले-स्तरीय मॉडल से संकेत और सामग्री कैटलॉग से अज्ञात संकेत थे।

निम्नलिखित विशेषताएं अंतिम मॉडल तक नहीं बढ़ीं:

• बुकमार्क से देखे गए सामग्री के बुकमार्क + शेयर की संख्या - 0.0453 एलबी
• खरीदी गई फिल्मों की संख्या 0.0451 एलबी

लेकिन जब अंतिम मॉडल के साथ सम्मिश्रण किया गया, तो उन्होंने LB4 पर ०.०४६५ पर दस्तक दी। सम्मिश्रण के परिणाम से प्रेरित, निम्नलिखित मॉडल अलग से प्रशिक्षित किए गए थे:

• पहले स्तर के मॉडल के लिए प्रशिक्षण नमूने के विभिन्न अंशों के साथ। 90% / 10% के विभाजन ने 95% / 5% और 70% / 30% के विभाजन के विपरीत वृद्धि दी।
• एक संशोधित रेटिंग एकत्रीकरण विधि के साथ।
• दूसरे स्तर के मॉडल के लिए प्रशिक्षण सेट में अलोकप्रिय फिल्मों को जोड़ने के साथ। सामग्री की प्रत्येक इकाई के लिए, 1000 उपयोगकर्ताओं का संकलन किया गया था।

6 मॉडलों के अंतिम सम्मिश्रण ने LB पर 0.0469678 हासिल करने की अनुमति दी, जो 5 वें स्थान पर था।

निजी हिस्से पर, एक शेक अप हुआ, जिसने समाधान को 2 वें स्थान पर फेंक दिया। मुझे लगता है कि बड़ी संख्या में मॉडलों के सम्मिश्रण के कारण समाधान स्थायी हो गया।

दर्ज नहीं किया गया

प्रतियोगिता को हल करने की प्रक्रिया में, कई संकेत उत्पन्न हुए थे जो निश्चित रूप से अंदर जाने के लिए लग रहे थे, लेकिन अफसोस। संकेत और दृष्टिकोण जो सबसे भरोसेमंद थे:

• अनाम सामग्री विशेषताएँ। यह निश्चित नहीं था कि वे क्या सम्‍मिलित करते हैं, लेकिन प्रतियोगिता के सभी प्रतिभागियों का मानना ​​था कि उनमें अभिनेता, निर्देशक, संगीतकार ... के बारे में जानकारी थी ... अपने निर्णय में मैंने उन्हें कई स्वरूपों में जोड़ने की कोशिश की: बाइनरी पात्रों के रूप में लोकप्रिय, सामग्री का एक मैट्रिक्स तैयार करना। लाइटफ़एम और बिगार्टम का उपयोग करने वाली विशेषताएँ, और फिर वैक्टर को खींचकर दूसरे स्तर के मॉडल में जोड़ देती हैं।
• दूसरे स्तर के मॉडल में LigthFM मॉडल से सामग्री वैक्टर।
• उन उपकरणों के गुण जिनसे उपयोगकर्ता ने सामग्री देखी।
• दूसरे स्तर के मॉडल के लिए लोकप्रिय सामग्री का वजन कम करना।
• देखी गई सामग्री की कुल संख्या के संबंध में फिल्मों / टीवी शो का अनुपात।
• कैटबॉस्ट से रैंकिंग मेट्रिक्स।

प्रतियोगिता के बारे में रोचक तथ्य

• Top1 समाधान ओको उत्पाद मॉडल 0.048 बनाम 0.062 से भी बदतर निकला। यह ध्यान में रखा जाना चाहिए कि नमूना के समय उत्पाद मॉडल पहले ही लॉन्च किया गया था।
• प्रतियोगिता की शुरुआत के लगभग एक हफ्ते बाद, डेटासेट बदल दिया गया, उन लोगों के लिए जिन्होंने शुरुआत से ही भाग लिया, उन्होंने 30 सबमिशन जोड़े, जो टीमों के विलय के बाद अप्रत्याशित रूप से जल गए।
• सत्यापन हमेशा एलबी के साथ सहसंबंधित नहीं था, जिसने एक संभावित शेक अप का संकेत दिया।

निर्णय कोड

समाधान दो जुपिटर-लैपटॉप के रूप में जीथब पर उपलब्ध है: रेटिंग एकत्रीकरण, पहले और दूसरे स्तर के प्रशिक्षण मॉडल।
जीथब पर एक 3 जी समाधान भी उपलब्ध है।

आयोजकों का फैसला

एक हजार शब्दों के बजाय, मैं आयोजकों की शीर्ष विशेषताओं को संलग्न करता हूं।

इसके अलावा, ओक्को के लोगों ने एक लेख जारी किया जिसमें वे अपने सिफारिश के इंजन के विकास के चरणों के बारे में बात करते हैं।

PS यहां आप समस्या के इस समाधान के बारे में डेटा फेस्ट 6 में प्रदर्शन देख सकते हैं ।