👌🏻 👨🏿‍✈️ 👔 रेक्को चैलेंज 2019: यह कैसा था 🚙 🦊 👩🏾‍🚒

इतना समय पहले नहीं, ओको ऑनलाइन सिनेमा - रेक्को चैलेंज 2019 से सिफारिश प्रणालियों की एक प्रतियोगिता बूस्टर्स प्लेटफॉर्म पर आयोजित की गई थी। मेरे लिए यह एक लीडरबोर्ड के साथ प्रतियोगिता में भाग लेने का पहला अनुभव था (पहले मैंने केवल हैकाथॉन में ताकत की कोशिश की थी)। यह कार्य मेरे लिए अभ्यास से दिलचस्प और परिचित है, एक पुरस्कार राशि है, जिसका अर्थ है कि इसमें भाग लेने का मतलब है। नतीजतन, मैंने 14 वां स्थान लिया, जिसके लिए आयोजकों ने एक स्मारक टी-शर्ट जारी किया। अच्छा लगा। आपका धन्यवाद

इस लेख में, मैं आपको संक्षेप में कार्य में डुबो दूंगा, मेरे द्वारा सामने रखी गई परिकल्पनाओं के बारे में बात करेंगे, साथ ही अनुशंसा प्रणालियों में प्रतिस्पर्धा को कैसे खींचें और बिना स्टैकिंग अनुभव के शीर्ष 15 में पहुंचें, जो विशेष रूप से उन लोगों के लिए उपयोगी होगा जो केवल प्रतियोगिताओं में भाग लेने जा रहे हैं।

अनुशंसा प्रणाली

अनुशंसाकर्ता प्रणालियों का मुख्य लक्ष्य उपयोगकर्ता को वह देना है जो वह खरीदना ~~चाहता है~~ (दुर्भाग्य से, इस तरह के हाइपरट्रॉफाइड दृश्य को व्यावसायिक अनुप्रयोग द्वारा हम पर लगाया जाता है)।
कार्यों के अलग-अलग कथन हैं (रैंकिंग, समान लोगों की खोज, एक विशिष्ट तत्व की भविष्यवाणी), और, तदनुसार, उन्हें हल करने के तरीके। खैर, हम सभी को पसंद में परिवर्तनशीलता पसंद है, जो प्रत्येक समस्या के लिए कई संभावित समाधानों के एक सेट द्वारा प्रदान की जाती है। विभिन्न दृष्टिकोणों को अच्छी तरह से अनुशंसित सिस्टम के एनाटॉमी लेख में वर्णित किया गया है। बेशक, किसी ने एनएफएल प्रमेय को रद्द नहीं किया, जिसका मतलब है कि प्रतिस्पर्धी समस्या में हम विभिन्न एल्गोरिदम की कोशिश कर सकते हैं।

समस्या का बयान

आयोजकों द्वारा लेख में कार्य और डेटा के बारे में अधिक पढ़ें। टीएल; डीआर यहां मैं संदर्भ को समझने के लिए आवश्यक न्यूनतम वर्णन करूंगा।

डेटासेट में अज्ञात विशेषताओं के साथ सिर्फ दस हजार से अधिक फिल्में हैं। निम्नलिखित विकल्प उपयोगकर्ता-आइटम इंटरैक्शन मैट्रिसेस के रूप में उपलब्ध हैं:

लेन-देन - इसमें उपयोक्ता द्वारा सामग्री खरीदने / किराए पर लेने / देखने के तथ्य शामिल हैं;
रेटिंग - उपयोगकर्ताओं द्वारा फिल्मों की रेटिंग;
बुकमार्क - बुकमार्क में मूवी जोड़ने की घटना।

सभी जानकारी एक निश्चित अवधि में ली जाती है, जो मनमानी इकाइयों में प्रस्तुत की जाती है जो वास्तविक से जुड़ी होती हैं।

t s = f (t s_{r e a l})

$ts = f (ts_ {real})$

सामग्री में निम्नलिखित विशेषताएं थीं:

आप आयोजकों द्वारा लेख में उनके बारे में विस्तार से पढ़ सकते हैं, लेकिन मैं तुरंत ध्यान देना चाहता हूं कि मेरी आंख को क्या पकड़ा गया: "गुण" पैरामीटर। इसमें ~ 36 हजार की कार्डिनलिटी के साथ श्रेणीबद्ध विशेषताओं का एक बैग था। प्रति फिल्म औसतन 15 मान थे। पहली नज़र में, सामग्री का वर्णन करने वाली बस सबसे बुनियादी विशेषताओं को इन मूल्यों में एन्क्रिप्ट किया गया है: अभिनेता, निर्देशक, देश, सदस्यता या संग्रह जिसमें फिल्म शामिल है।

20 फिल्मों की भविष्यवाणी करना आवश्यक है जो परीक्षण उपयोगकर्ता अगले दो महीनों में देखेंगे। टेस्ट उपयोगकर्ता सभी 500 हजार उपयोगकर्ताओं से 50 हजार हैं। लीडरबोर्ड पर, वे सार्वजनिक / निजी में प्रत्येक में आधे से विभाजित हैं: 25 हजार।

मीट्रिक

आयोजकों ने मेट्रिक के रूप में 20 तत्वों (एमएनएपी @ 20) पर औसत सामान्यीकरण औसत चुना। सामान्य एमएपी से मुख्य अंतर यह है कि उन उपयोगकर्ताओं के लिए जिन्होंने परीक्षण अवधि में 20 फिल्में नहीं देखी हैं, राशनिंग k पर नहीं होती है, लेकिन देखी गई फिल्मों के वास्तविक मूल्य पर।

अधिक पढ़ें और साइथन में कोड देखें ।

मान्यता

समस्या के समाधान के लिए हो रही है। सबसे पहले, यह तय करना आवश्यक था कि क्या मान्य था। चूंकि हमें भविष्य में फिल्मों की भविष्यवाणी करने की आवश्यकता है, इसलिए हम उपयोगकर्ताओं द्वारा एक साधारण ब्रेकडाउन नहीं कर सकते हैं। इस तथ्य के कारण कि समय गुमनाम है, मुझे कम से कम लगभग इसे समझने के लिए कम से कम शुरुआत करनी थी। ऐसा करने के लिए, मैंने कई उपयोगकर्ताओं को लिया, लेनदेन के लिए एक कार्यक्रम बनाया और एक निश्चित मौसम का खुलासा किया। यह माना गया कि यह दैनिक है, और दिनों के बीच के समय के अंतर को जानने के बाद, हम गणना कर सकते हैं कि डेटा किस अवधि में अपलोड किया गया था। यह पता चला कि ये 6 महीने के लिए लेनदेन थे। बाद में टेलीग्राम चैनल में इस बात की पुष्टि की गई जहां इस प्रतियोगिता पर चर्चा की गई।

ऊपर दिए गए चार्ट में उदाहरण के रूप में एक महीने के लंबे डेटा का उपयोग करके लेनदेन की प्रति घंटा आवृत्ति को दिखाया गया है। प्रत्येक सप्ताह में तीन प्रमुख चोटियां शुक्रवार, शनिवार और रविवार शाम के समान होती हैं।

नतीजतन, हमारे पास छह महीने का समय है, और फिल्मों को अगले दो के लिए भविष्यवाणी करने की आवश्यकता है। हम सत्यापन नमूने के रूप में प्रशिक्षण नमूना समय के अंतिम तीसरे का उपयोग करेंगे।

अगले कुछ सबमिशन से पता चला कि विभाजन को अच्छी तरह से चुना गया था और लीडरबोर्ड के साथ स्थानीय सत्यापन गति उत्कृष्ट रूप से संबंधित थी।

डेटा का पता लगाने का प्रयास करें

शुरुआत करने के लिए, मैंने सभी फिल्मों का नाम बदलने की कोशिश करने का फैसला किया, ताकि:

सामग्री की मेटा-जानकारी द्वारा संकेतों का एक गुच्छा उत्पन्न करें। कम से कम, निम्नलिखित लोगों के दिमाग में आते हैं: शैलियों, कलाकारों, सदस्यता में प्रवेश, पाठ विवरण, आदि;
मैट्रिक्स की विरलता को कम करने के लिए पक्ष से बातचीत के भट्टी में फेंकें। हां, प्रतियोगिता नियमों ने बाहरी डेटा के उपयोग पर रोक नहीं लगाई। बेशक, खुले डेटासेट के साथ मैच की कोई उम्मीद नहीं थी, लेकिन किसी ने रूसी पोर्टल के पार्सिंग को रद्द नहीं किया।

यह एक तार्किक प्रेरणा प्रतीत होती है, जो मेरी उम्मीदों के अनुसार, एक हत्यारा-आधारित समाधान बन गया था।

सबसे पहले, मैंने ओको वेबसाइट को पार्स करने और उनकी संपत्तियों (रेटिंग, अवधि, आयु प्रतिबंध और अन्य) के साथ सभी फिल्मों को बाहर निकालने का फैसला किया। ठीक है, कैसे पार्स करने के लिए - सब कुछ काफी सरल निकला, इस मामले में, आप एपीआई का उपयोग कर सकते हैं:

कैटलॉग में जाने और एक विशिष्ट शैली या सदस्यता का चयन करने के बाद, आपको बस किसी भी तत्व में जाना होगा। उपरोक्त अनुरोध के जवाब में, सभी विशेषताओं के साथ शैली / सदस्यता में फिल्मों की संपूर्ण सरणी बाहर हो जाती है। बहुत सहज :)

तो संरचना में एक तत्व की विशेषताओं को देखा

"element": { "id": "c2f98ef4-2eb5-4bfd-b765-b96589d4c470", "type": "SERIAL", "name": " ", "originalName": " ", "covers": {...}, "basicCovers": {...}, "description": "      ,    ...", "title": null, "worldReleaseDate": 1558731600000, "ageAccessType": "16", "ageAccessDescription": "16+    16 ", "duration": null, "trailers": {...}, "kinopoiskRating": 6, "okkoRating": 4, "imdbRating": null, "alias": "staraja-gvardija", "has3d": false, "hasHd": true, "hasFullHd": true, "hasUltraHd": false, "hasDolby": false, "hasSound51": false, "hasMultiAudio": false, "hasSubtitles": false, "inSubscription": true, "inNovelty": true, "earlyWindow": false, "releaseType": "RELEASE", "playbackStartDate": null, "playbackTimeMark": null, "products": { "items": [ { "type": "PURCHASE", "consumptionMode": "SUBSCRIPTION", "fromConsumptionMode": null, "qualities": [ "Q_FULL_HD" ], "fromQuality": null, "price": { "value": 0, "currencyCode": "RUB" }, "priceCategory": "679", "startDate": 1554670800000, "endDate": null, "description": null, "subscription": { "element": { "id": "bc682dc6-c0f7-498e-9064-7d6cafd8ca66", "type": "SUBSCRIPTION", "alias": "119228" } }, "offer": null, "originalPrice": null }, ... ], "emptyReason": null }, "licenses": null, "assets": {...}, "genres": { "items": [ { "element": { "id": "Detective", "type": "GENRE", "name": "", "alias": "Detective" } }, ... ], "totalSize": 2 }, "countries": { "items": [ { "element": { "id": "3b9706f4-a681-47fb-918e-182ea9dfef0b", "type": "COUNTRY", "name": "", "alias": "russia" } } ], "totalSize": 1 }, "subscriptions": { "items": [ { "element": { "id": "bc682dc6-c0f7-498e-9064-7d6cafd8ca66", "type": "SUBSCRIPTION", "name": "   ", "alias": "119228" } }, ... ], "totalSize": 7 }, "promoText": null, "innerColor": null, "updateRateDescription": null, "contentCountDescription": null, "copyright": null, "subscriptionStartDate": null, "subscriptionEndDate": null, "subscriptionActivateDate": null, "stickerText": null, "fullSeasonPriceText": null, "purchaseDate": null, "expireDate": null, "lastWatchedChildId": null, "bookmarkDate": null, "userRating": null, "consumeDate": null, "lastStartingDate": null, "watchDate": null, "startingDate": null, "earlyWatchDate": null }

यह सभी शैलियों से गुजरता है, JSON को पार्स करता है, और फिर डुप्लिकेट की अनुमति देता है, क्योंकि एक फिल्म कई शैलियों या सदस्यता से संबंधित हो सकती है।

हां, यहां मैं भाग्यशाली था और मैंने बहुत समय बचाया। यदि यह आपका मामला नहीं है, और आपको HTML सामग्री को पार्स करने की आवश्यकता है, तो हब पर ऐसे लेख हैं जो इस के साथ मदद कर सकते हैं, उदाहरण के लिए, यहां ।

"बात टोपी की है," मैंने सोचा, "हम केवल इसे वापस पकड़ सकते हैं।" "बिंदु टोपी है," मुझे अगले दिन एहसास हुआ: डेटा बिल्कुल मेल नहीं खाते थे। इसके बारे में नीचे।

सबसे पहले, कैटलॉग का आकार काफी अलग था: डेटासेट में - 10,200, साइट से एकत्र किया गया - 8870। यह डेटासेट की ऐतिहासिकता से निम्नानुसार है: यह केवल वही डाउनलोड किया गया था जो अब साइट पर है, और 2018 के लिए प्रतियोगिता डेटा। कुछ फिल्में अनुपलब्ध हो गई हैं। उफ़।

दूसरे, मैच के लिए संभावित विशेषताओं में केवल निम्नलिखित के बारे में लगातार अंतर्ज्ञान था:

फीचर 5 - आयु सीमा। यह समझना काफी आसान था। विशेषता की कार्डिनैलिटी 5 अद्वितीय फ्लोट मान और "-1" है। एकत्र किए गए आंकड़ों के बीच, "ageAccessType" विशेषता को केवल 5 के कार्डिनिटी के साथ पाया गया था। मैपिंग इस तरह दिखती थी:

 catalogue.age_rating = catalogue.age_rating.map({0: 0, 0.4496666915: 6 0.5927161087: 12 0.6547073468: 16 0.6804096966000001: 18})

फीचर 2 - मूवी सर्च से कन्वर्ट मूवी रेटिंग। प्रारंभ में, ईडीए चरण में, यह विचार कि हम एक रेटिंग के साथ काम कर रहे हैं, कुल अंकों के साथ पैरामीटर के सहसंबंध द्वारा प्रस्तुत किया गया था। इसके बाद, यह विश्वास कि यह रेटिंग एक फिल्म खोज से थी, साइट डेटा में "kinopoiskRating" पैरामीटर की उपस्थिति की पुष्टि की।

मैच के करीब एक कदम! अब यह गुमनाम रूप में प्रस्तुत फीचर 2 पैरामीटर के लिए रूपांतरण को रिवर्स करने का एक तरीका खोजने के लिए बना हुआ है।

यहाँ मानों का वितरण फीचर 2 में कैसा दिखता है:

और इसलिए kinopoiskRating पैरामीटर मानों का वितरण:

जब मैंने अपनी सहकर्मी साशा को ये चित्र दिखाए, तो उन्होंने तुरंत देखा कि यह तीन डिग्री है। तीन गणितज्ञों का सम्मान नहीं किया जाता है, लेकिन संख्या पाई बहुत समान है। नतीजतन, यह इस तरह निकला:

यह सब लगता है, लेकिन काफी नहीं है। हम समान वितरण देखते हैं, लेकिन नाममात्र मूल्य और मात्रा अभी भी नहीं मिलते हैं। यदि हम तुलनात्मक उदाहरणों की एक निश्चित संख्या जानते हैं, तो यह केवल कारक को खोजने के लिए एक रैखिक फ़ंक्शन का अनुमान लगाएगा। लेकिन हमारे पास वे नहीं थे।

लगभग, वैसे, सबसे उपयुक्त शब्द नहीं है। हमें लगभग शून्य के बराबर त्रुटि वाले समाधान की आवश्यकता है। एकत्रित डेटा में सटीकता विभाजक के बाद 2 वर्ण है। यदि आप मानते हैं कि 6.xx की रेटिंग के साथ बहुत सारी फिल्में हैं और उसी रेटिंग के साथ फिल्में हैं, तो आपको यहां परिशुद्धता के लिए लड़ना चाहिए।

आप और क्या प्रयास कर सकते हैं? आप न्यूनतम और अधिकतम मूल्यों पर भरोसा कर सकते हैं और MinMaxScaler का उपयोग कर सकते हैं, लेकिन इस पद्धति की अविश्वसनीयता तुरंत संदेह पैदा करती है। आपको याद दिला दूं कि फिल्मों की संख्या शुरू में मेल नहीं खाती थी, और हमारा डेटासेट ऐतिहासिक है, और साइट पर वर्तमान स्थिति है। यानी इस बात की कोई गारंटी नहीं है कि दोनों समूहों में न्यूनतम और अधिकतम रेटिंग वाली फिल्में समान हैं (यह पता चला है कि उनकी आयु सीमा अलग थी, और अवधि "पूरी तरह से" शब्द से नहीं मिली थी), साथ ही साथ यह भी ठीक से समझ में नहीं आता है कि ओकेजन अपडेट कितनी बार करते हैं। एपीआई दैनिक बदलते फिल्म खोज रेटिंग।

इसलिए यह स्पष्ट हो गया कि मुझे मिलान के लिए अधिक विशेषता वाले उम्मीदवारों की आवश्यकता है।

और क्या दिलचस्प है?

फीचर 1 किसी तरह की तारीख है। सिद्धांत रूप में, तारीखों के लिए, आयोजकों ने राज्यों के अलगाव के संरक्षण का वादा किया, जिसने एक रैखिक कार्य किया। सामान्य तौर पर, रूपांतरण मैट्रिसेस के लिए ts विशेषता के समान होना चाहिए। यदि आप फीचर 1 द्वारा फिल्मों के वितरण को देखते हैं ...

... तो फिल्म की रिलीज की तारीख परिकल्पना तुरंत बह गई। अंतर्ज्ञान बताता है कि समय के साथ उद्योग द्वारा निर्मित फिल्मों की संख्या में वृद्धि होनी चाहिए। इसकी पुष्टि नीचे दी गई है।

साइट से प्राप्त डेटा में 14 विशेषताएँ हैं। वास्तव में, दुर्भाग्य से, मूल्यों में केवल निम्नलिखित शामिल थे:

उपरोक्त में से कोई भी उदाहरण feature_1 के समान नहीं है। खैर, तुलना के लिए अधिक विचार नहीं थे, और ऐसा लगता है कि इस कार्य के साथ सभी उपद्रव व्यर्थ थे। बेशक, मैंने प्रतियोगिताओं के बारे में सुना, जहां लोगों ने डेटा को मैन्युअल रूप से चिह्नित किया, लेकिन जब यह सैकड़ों और हजारों प्रतियों की बात आती है।

निर्णय

1. सरल मॉडल

यह महसूस करते हुए कि सब कुछ इतना सरल नहीं है, मैंने विनम्रतापूर्वक काम करना शुरू कर दिया। शुरुआत के लिए, मैं एक साधारण से शुरुआत करना चाहता था। मैंने अक्सर उद्योग में उपयोग किए जाने वाले कई समाधानों की कोशिश की, अर्थात्: सहयोगी फ़िल्टरिंग (हमारे मामले में आइटम-आधारित) और मैट्रिसेस का कारक ।

समुदाय इन कार्यों के लिए उपयुक्त अजगर पुस्तकालयों के एक जोड़े का व्यापक उपयोग करता है: अंतर्निहित और लाइटफ़एम । पहला एएलएस पर आधारित फैक्टरिंग में सक्षम है, साथ ही आइटम-आइटम मैट्रिक्स को प्रीप्रोसेस करने के लिए कई विकल्पों के साथ निकटतम पड़ोसी सहयोगी फ़िल्टरिंग। दूसरे के दो विशिष्ट कारक हैं:

फैक्टराइजेशन डब्ल्यूडब्ल्यूडी पर आधारित है, जो डब्ल्यूएआरपी सहित नमूना-आधारित हानि कार्यों का उपयोग करना संभव बनाता है।
यह हाइब्रिड दृष्टिकोण का उपयोग करता है, मॉडल में उपयोगकर्ता विशेषताओं और वस्तुओं के बारे में जानकारी को इस तरह से जोड़ता है कि उपयोगकर्ता के अव्यक्त वेक्टर इसकी विशेषताओं के अव्यक्त वैक्टर का योग है। और इसी तरह वस्तुओं के लिए। उपयोगकर्ता / आइटम के लिए कोल्ड स्टार्ट समस्या होने पर यह दृष्टिकोण बेहद सुविधाजनक हो जाता है।

हमारे पास कोई उपयोगकर्ता विशेषताएँ नहीं हैं (फिल्मों के साथ बातचीत के आधार पर उन्हें प्रदर्शित करने की क्षमता के अलावा), इसलिए मैंने केवल आइटम की विशेषताओं का उपयोग किया।

कुल मिलाकर, 6 सेटिंग्स पैरामीटर्स को एन्यूमरेट करने के लिए गईं। तीन मैट्रिक्स के संयोजन का उपयोग इंटरैक्शन मैट्रिक्स के रूप में किया गया था, जहां रेटिंग्स को बाइनरी में बदल दिया गया था। नीचे दी गई तालिका में प्रत्येक सेटिंग के लिए सबसे अच्छा हाइपरपरमेटर्स के साथ तुलनात्मक परिणाम।

आदर्श	टेस्ट MNAP @ 20
लागू एएलएस	.०२,६४६
इंप्लिक्ट कोसाइन kNN CF	.०३,१७०
प्रभावशाली TFIDF kNN CF	.०३,११३
लाइटएफएम (आइटम सुविधाओं के बिना), बीपीआर नुकसान	.०२,५६७
लाइटफ़एम (आइटम सुविधाओं के बिना), WARP नुकसान	.०२,६३२
आइटम सुविधाओं के साथ लाइटएफएम, डब्ल्यूएआरपी नुकसान	.०२,६३५

जैसा कि आप देख सकते हैं, शास्त्रीय सहयोगी फ़िल्टरिंग अन्य मॉडलों की तुलना में बहुत बेहतर साबित हुई है। सही नहीं है, लेकिन बेस लाइन की बहुत आवश्यकता नहीं है। इस कॉन्फ़िगरेशन के साथ सबमिट करें ने पब्लिक लीडरबोर्ड पर 0.03048 दिया। मुझे उस समय की स्थिति याद नहीं है, लेकिन प्रतियोगिता के समापन के समय, यह सबमिशन निश्चित रूप से शीर्ष 80 में पहुंच गया और कांस्य पदक प्रदान किया।

2. नमस्ते बूस्टिंग

एक मॉडल से बेहतर क्या हो सकता है? सही: कई मॉडल।

इसलिए, अगला विकल्प सिफारिशों के संदर्भ में था या, दूसरे स्तर का रैंकिंग मॉडल। एक दृष्टिकोण के रूप में, मैंने इस लेख को Avito के लोगों से लिया। यह नुस्खा के अनुसार कड़ाई से खाना पकाने लगता है, समय-समय पर सरगर्मी और फिल्मों की विशेषताओं के साथ मसाला। एकमात्र विचलन उम्मीदवारों की संख्या थी: मैंने लाइटएफएम से शीर्ष 200 लिया, क्योंकि 500,000 उपयोगकर्ताओं के साथ, और अधिक बस स्मृति में फिट नहीं हुआ।

नतीजतन, सत्यापन पर मेरे द्वारा प्राप्त की गई गति एक मॉडल पर खराब थी।

कई दिनों के प्रयोग के बाद, एहसास हुआ कि कुछ भी काम नहीं कर रहा था और कुछ भी अपने आप काम नहीं करेगा। या मुझे नहीं पता कि इसे कैसे पकाना है (स्पॉइलर: सही दूसरा उत्तर)। मैं क्या गलत कर रहा हूँ? दो कारण सामने आए:

एक ओर, पहले स्तर के मॉडल से शीर्ष 200 को लेना "कठिन नकारात्मक" नमूने, अर्थात् उत्पन्न करने के दृष्टिकोण से समझदार है। वे फिल्में जो उपयोगकर्ता के लिए भी प्रासंगिक हैं, लेकिन उनके द्वारा देखी नहीं जाती हैं। दूसरी ओर, इनमें से कुछ फिल्मों को परीक्षण अवधि के दौरान देखा जा सकता है, और हम इन उदाहरणों को नकारात्मक के रूप में प्रस्तुत करते हैं। अगला, मैंने इस तथ्य के जोखिमों को कम करने का निर्णय लिया, निम्नलिखित प्रयोग के साथ परिकल्पना की पुन: जाँच: मैंने सभी सकारात्मक उदाहरणों को लिया + प्रशिक्षण नमूने के लिए यादृच्छिक। परीक्षण के नमूने पर गति में सुधार नहीं हुआ। यहां यह स्पष्ट करना आवश्यक है कि परीक्षण पर नमूने में पहले स्तर के मॉडल से शीर्ष पूर्वानुमान भी थे, क्योंकि लीडरबोर्ड पर कोई भी मुझे सभी सकारात्मक उदाहरण नहीं बताएगा।
कैटलॉग में उपलब्ध 10,200 फिल्मों में से केवल 8,296 फिल्मों ने ही कोई बातचीत की। लगभग 2,000 फिल्मों को उपयोगकर्ता के ध्यान से वंचित किया गया, क्योंकि वे खरीद / किराये / सदस्यता के हिस्से के रूप में उपलब्ध नहीं थे। चैट में मौजूद लोगों ने पूछा कि क्या टेस्ट की अवधि में दुर्गम फिल्में उपलब्ध हो सकती हैं। जवाब हां था। उन्हें फेंकना निश्चित रूप से असंभव है। इस प्रकार, मैंने सुझाव दिया कि अगले 2 महीनों में लगभग 2,000 और फिल्में उपलब्ध होंगी। अन्यथा, उन्हें डेटासेट में क्यों फेंका जाए?

3. न्यूरॉन्स

पिछले पैराग्राफ से सवाल पूछा गया था: हम उन फिल्मों के साथ कैसे काम कर सकते हैं जिनके लिए बिल्कुल भी बातचीत नहीं है? हां, हम लाइटफ़एम में आइटम सुविधाओं को याद करते हैं, लेकिन जैसा कि हम याद करते हैं, उन्होंने प्रवेश नहीं किया। और क्या? Neyronki!

खुले स्रोत के शस्त्रागार में सिफारिश करने वाले सिस्टम के साथ काम करने के लिए काफी लोकप्रिय उच्च-स्तरीय पुस्तकालय हैं: मैकीज कुला (लाइटफ़एम के लेखक) और टेंसोरेक द्वारा स्पॉटलाइट । हुड पायटच के तहत पहला, दूसरा - टेंसोरफ्लो।

स्पॉटलाइट न्यूरॉन्स और मॉडल अनुक्रमों के साथ निहित / स्पष्ट डेटासेट पर कारक कर सकते हैं। उसी समय, फैक्टराइजेशन में "बॉक्स से बाहर" उपयोगकर्ता / आइटम सुविधाओं को जोड़ने का कोई तरीका नहीं है, इसलिए इसे छोड़ दें।

TensorRec, इसके विपरीत, केवल यह जानता है कि कैसे कारक है और एक दिलचस्प ढांचा है:

प्रतिनिधित्व ग्राफ - एम्बेडिंग में इनपुट डेटा के रूपांतरण की एक विधि (यह उपयोगकर्ता / आइटम के लिए अलग-अलग सेट की जा सकती है), जिसके आधार पर भविष्यवाणी ग्राफ़ में गणनाएँ होंगी। चुनाव में विभिन्न सक्रियण विकल्पों के साथ परतें होती हैं। एक कस्टम परिवर्तन में अमूर्त वर्ग और छड़ी का उपयोग करना भी संभव है, जिसमें केरस परतों का एक क्रम शामिल है।
भविष्यवाणी ग्राफ आपको अंत में ऑपरेशन का चयन करने की अनुमति देता है: आपका पसंदीदा डॉट उत्पाद, यूक्लिडियन और कोसाइन दूरी।
नुकसान - से चुनने के लिए भी बहुत कुछ है। हम WMRB (अनिवार्य रूप से एक ही WARP के कार्यान्वयन से प्रसन्न थे, केवल यह जानते हैं कि बैच और वितरित कैसे सीखें)

सबसे महत्वपूर्ण बात, TensorRec प्रासंगिक सुविधाओं के साथ काम करने में सक्षम है, और वास्तव में लेखक स्वीकार करता है कि वह मूल रूप से लाइटएफएम के विचार से प्रेरित था। खैर, चलिए देखते हैं। हम बातचीत (केवल लेनदेन) और आइटम सुविधाएँ लेते हैं।

हम विभिन्न कॉन्फ़िगरेशन की खोज करने और प्रतीक्षा करने के लिए भेजते हैं। लाइटएफएम की तुलना में, प्रशिक्षण और सत्यापन में लंबा समय लगता है।

इसके अलावा, कुछ असुविधाओं का सामना करना पड़ा था:

वर्बोज़ फ़्लैग को बदलने से लेकर, फिट का तरीका कुछ भी नहीं बदला है और आपके लिए कोई कॉलबैक भी नहीं दिया गया है। मुझे एक ऐसा फंक्शन लिखना था, जो फिट_पार्टियल पद्धति का उपयोग करके आंतरिक रूप से एक युग को प्रशिक्षित करता था, और फिर ट्रेन और परीक्षण के लिए मान्यता को चलाता था (दोनों मामलों में, प्रक्रिया को तेज करने के लिए नमूनों का उपयोग किया गया था)।
सामान्य तौर पर, रूपरेखा का लेखक एक महान साथी है और हर जगह tf.SparseTensor का उपयोग करता है। हालांकि, यह समझना सार्थक है कि सत्यापन के लिए, सत्यापन के लिए, आपको प्रत्येक उपयोगकर्ता के लिए लंबाई n_items के साथ सदिश के रूप में घने परिणाम मिलते हैं। इसके लिए दो युक्तियां अनुसरण करती हैं: शीर्ष-के फ़िल्टरिंग के साथ बैच (लाइब्रेरी विधि में ऐसा कोई पैरामीटर नहीं है) के साथ पूर्वानुमान उत्पन्न करने के लिए एक चक्र बनाएं और स्ट्रिप्स को रैम के साथ तैयार करें।

अंत में, सबसे अच्छा विन्यास विकल्प पर, मैं अपने परीक्षण नमूने पर 0.02869 निचोड़ने में कामयाब रहा। एलबी के समान कुछ था।

खैर, मुझे क्या उम्मीद थी? आइटम विशेषताओं में गैर-रैखिकता जोड़ने से मीट्रिक में दो गुना वृद्धि होगी? यह भोला है।

4. उस कार्य को बेक करें

तो एक पल रुकिए। ऐसा लगता है कि मैं फिर से करतब दिखाने वाले न्यूरॉन्स में भाग गया। जब मैंने इस व्यवसाय को अपनाया तो मैं किस परिकल्पना का परीक्षण करना चाहता था? परिकल्पना थी: “विलंबित चयन के अगले 2 महीनों में, लगभग 2,000 नई फिल्में लीडरबोर्ड पर देखी जाएंगी। उनमें से कुछ विचारों में भारी हिस्सेदारी लेंगे। ”

तो आप इसे 2 चरणों में जांच सकते हैं:

यह देखना अच्छा होगा कि ट्रेन के संबंध में हमारे द्वारा परीक्षण अवधि में कितनी फिल्में हमने ईमानदारी से विभाजित की हैं। यदि हम केवल विचार करते हैं, तो "नई" फिल्में केवल 240 (!) हैं। परिकल्पना तुरंत हिल गई। ऐसा लगता है कि नई सामग्री की खरीद समय-समय पर उस राशि से भिन्न नहीं हो सकती है।
हम खत्म करते हैं। हमारे पास केवल आइटम सुविधाओं पर आधारित प्रस्तुति का उपयोग करने के लिए मॉडल को प्रशिक्षित करने का अवसर है (लाइटएफएम में, उदाहरण के लिए, यह डिफ़ॉल्ट रूप से किया जाता है, अगर हमने पहचान मैट्रिक्स के साथ विशेषता मैट्रिक्स को पूर्व-आबाद नहीं किया है)। इसके अलावा, अधीरता के लिए हम केवल इस मॉडल को प्रस्तुत कर सकते हैं (!) हमारी दुर्गम और कभी नहीं देखी गई फिल्में। इन परिणामों से, हम जमा करते हैं और 0.0000136 प्राप्त करते हैं।

बिंगो! इसका मतलब यह है कि आप फिल्म विशेषताओं के बाहर शब्दार्थ को निचोड़ना बंद कर सकते हैं। वैसे, बाद में, DataFest में, OKKO के लोगों ने कहा कि अधिकांश दुर्गम सामग्री सिर्फ कुछ पुरानी फिल्में थीं।

आपको कुछ नया करने की कोशिश करने की ज़रूरत है, और नए - पुराने भूल गए हैं। हमारे मामले में, पूरी तरह से भूल नहीं है, लेकिन कुछ दिन पहले क्या हुआ था। सहयोगी फ़िल्टरिंग?

5. बेस लाइन को ट्यून करें

मैं सीएफ बेसलाइन कैसे मदद कर सकता हूं?

विचार संख्या 1

इंटरनेट पर, मुझे लघु फिल्मों को छानने के लिए संभावना अनुपात परीक्षण का उपयोग करने के बारे में एक प्रस्तुति मिली।

नीचे मैं एलएलआर स्कोर की गणना करने के लिए अपना अजगर कोड छोड़ दूंगा, जिसे इस विचार का परीक्षण करने के लिए मुझे अपने घुटने पर लिखना होगा।

एलएलआर गणना

 import numpy as np from scipy.sparse import csr_matrix from tqdm import tqdm class LLR: def __init__(self, interaction_matrix, interaction_matrix_2=None): interactions, lack_of_interactions = self.make_two_tables(interaction_matrix) if interaction_matrix_2 is not None: interactions_2, lack_of_interactions_2 = self.make_two_tables(interaction_matrix_2) else: interactions_2, lack_of_interactions_2 = interactions, lack_of_interactions self.num_items = interaction_matrix.shape[1] self.llr_matrix = np.zeros((self.num_items, self.num_items)) # k11 - item-item co-occurrence self.k_11 = np.dot(interactions, interactions_2.T) # k12 - how many times row elements was bought without column elements self.k_12 = np.dot(interactions, lack_of_interactions_2.T) # k21 - how many times column elements was bought without row elements self.k_21 = np.dot(lack_of_interactions, interactions_2.T) # k22 - how many times elements was not bought together self.k_22 = np.dot(lack_of_interactions, lack_of_interactions_2.T) def make_two_tables(self, interaction_matrix): interactions = interaction_matrix if type(interactions) == csr_matrix: interactions = interactions.todense() interactions = np.array(interactions.astype(bool).T) lack_of_interactions = ~interactions interactions = np.array(interactions, dtype=np.float32) lack_of_interactions = np.array(lack_of_interactions, dtype=np.float32) return interactions, lack_of_interactions def entropy(self, k): N = np.sum(k) return np.nansum((k / N + (k == 0)) * np.log(k / N)) def get_LLR(self, item_1, item_2): k = np.array([[self.k_11[item_1, item_2], self.k_12[item_1, item_2]], [self.k_21[item_1, item_2], self.k_22[item_1, item_2]]]) LLR = 2 * np.sum(k) * (self.entropy(k) - self.entropy(np.sum(k, axis=0)) - self.entropy(np.sum(k, axis=1))) return LLR def compute_llr_matrix(self): for item_1 in range(self.num_items): for item_2 in range(item_1, self.num_items): self.llr_matrix[item_1, item_2] = self.get_LLR(item_1, item_2) if item_1 != item_2: self.llr_matrix[item_2, item_1] = self.llr_matrix[item_1, item_2] def get_top_n(self, n=100, mask=False): filtered_matrix = self.llr_matrix.copy() for i in tqdm(range(filtered_matrix.shape[0])): ind = np.argpartition(filtered_matrix[i], -n)[-n:] filtered_matrix[i][[x for x in range(filtered_matrix.shape[0]) if x not in ind]] = 0 if mask: return filtered_matrix != 0 else: return filtered_matrix

नतीजतन, परिणामस्वरूप मैट्रिक्स का उपयोग केवल सबसे महत्वपूर्ण इंटरैक्शन को छोड़ने के लिए मास्क के रूप में किया जा सकता है और दो विकल्प हैं: उच्चतम मूल्य के साथ थ्रेशोल्ड का उपयोग करें या टॉप-के तत्वों को छोड़ दें। उसी तरह, एक गति में खरीदारी पर कई प्रभावों के संयोजन का उपयोग वस्तुओं को रैंक करने के लिए किया जाता है, दूसरे शब्दों में, परीक्षण से पता चलता है कि यह कितना महत्वपूर्ण है, उदाहरण के लिए, खरीदारी में संभावित रूपांतरण के बारे में पसंदीदा में जोड़ना। यह आशाजनक लग रहा है, लेकिन उपयोग से पता चला है कि एलएलआर स्कोर का उपयोग करके फ़िल्टर करना बहुत ही लघु वृद्धि देता है, और कई स्कोर के संयोजन से केवल परिणाम बिगड़ता है। जाहिर है, विधि इस डेटा के लिए नहीं है। प्लसस में से, मैं केवल इस बात पर ध्यान दे सकता हूं कि इस विचार को कैसे लागू किया जाए, मुझे पता है कि मुझे हुड के नीचे निहित में खुदाई करनी थी।

इस कस्टम तर्क को निहितार्थ में लागू करने का एक उदाहरण बिल्ली के नीचे छोड़ दिया जाएगा।

आव्यूह में मैट्रिक्स का संशोधन

 #   LLR scores.     n_items * n_items. llr = LLR(train_csr, train_csr) llr.compute_llr_matrix() #     id, ,      llr_based_mask = llr.get_top_n(n=500, mask=True) #     ,  - CosineRecommender. model = CosineRecommender(K=10200) model.fit(train_csr.T) # model.similarity -   co-occurrence (  Cosine - ).        . masked_matrix = np.array(model.similarity.todense()) * llr_based_mask #  fit()  scorer     model.similarity. #     . model.scorer = NearestNeighboursScorer(csr_matrix(masked_matrix)) #      :   recommend   . test_predict = {} for id_ in tqdm(np.unique(test_csr.nonzero()[0])): test_predict[id_] = model.recommend(id_, train_csr, filter_already_liked_items=True, N=20) #   tuples (item_id, score),   id  . test_predict_ids = {k: [x[0] for x in v] for k, v in test_predict.items()} #       / ,     ,   Cython.

विचार संख्या 2

एक और विचार सामने आया जो साधारण सहयोगी फ़िल्टरिंग पर भविष्यवाणियों को बेहतर बना सकता है। उद्योग अक्सर पुराने अनुमानों के लिए कुछ प्रकार के भिगोने के कार्य का उपयोग करता है, लेकिन हमारे पास इतना सरल मामला नहीं है। शायद, आपको किसी तरह 2 संभावित मामलों को ध्यान में रखना होगा:

जो उपयोगकर्ता सेवा देखते हैं वे ज्यादातर नए हैं
"निरीक्षण करने के लिए।" यही है, जो अपेक्षाकृत हाल ही में आए और पहले से लोकप्रिय फिल्में देख सकते हैं।

इस प्रकार, सहयोगी घटक को दो अलग-अलग समूहों में स्वचालित रूप से विभाजित करना संभव है। ऐसा करने के लिए, मैंने एक फ़ंक्शन का आविष्कार किया, जो उपयोगकर्ता और फिल्म के चौराहे पर "1" या "0" पर सेट किए गए निहित मूल्यों के बजाय, यह मान दिखाता है कि यह फिल्म उपयोगकर्ता के इतिहास में कितना महत्वपूर्ण है।

आ त ् म व ि श ् व ा स (फ ि ल ् म) = α * S t a r t T i m e + Δ * $ W a t c h T i m e

$आत्मविश्वास (फिल्म) = α * StartTime + Δ * $WatchTime$

जहाँ StartTime फिल्म की रिलीज़ की तारीख है, और isWatchTime रिलीज़ की तारीख और उपयोगकर्ता द्वारा देखे जाने की तारीख के बीच का अंतर है, और α और par हाइपरपैरमीटर हैं।

यहां, पहला शब्द उन फिल्मों की गति बढ़ाने के लिए जिम्मेदार है जो हाल ही में जारी की गई हैं, और दूसरा पुरानी फिल्मों के उपयोगकर्ताओं की लत को ध्यान में रखने के लिए है। यदि कोई फिल्म बहुत पहले रिलीज़ हुई थी, और उपयोगकर्ता ने तुरंत इसे खरीदा था, तो आज, इस तथ्य को अधिक ध्यान में नहीं रखा जाना चाहिए। यदि यह किसी प्रकार की नवीनता है, तो हमें बड़ी संख्या में ऐसे उपयोगकर्ताओं की सिफारिश करनी चाहिए जो नई वस्तुओं को भी देखते हैं। यदि फिल्म काफी प्राचीन है, और उपयोगकर्ता ने इसे अभी देखा है, तो यह उसके जैसे लोगों के लिए भी महत्वपूर्ण हो सकता है।

एक trifle बचा है - गुणांक α और le को हल करने के लिए। रात के लिए छोड़ दें, और काम किया जाता है। रेंज के बारे में बिल्कुल भी कोई धारणा नहीं थी, इसलिए यह शुरू में बड़ी थी, और नीचे एक स्थानीय इष्टतम खोज के परिणाम हैं।

इस विचार का उपयोग करते हुए, एक मैट्रिक्स पर एक सरल मॉडल ने स्थानीय सत्यापन पर 0.03627 और सार्वजनिक एलबी पर 0.03685 की गति दी, जो पिछले परिणामों की तुलना में तुरंत एक अच्छा बढ़ावा की तरह दिखता है। उस समय, यह मुझे शीर्ष 20 में ले आया।

आइडिया नंबर 3

अंतिम विचार यह था कि पुरानी फिल्में जो उपयोगकर्ता लंबे समय से देख रहे थे, उन्हें बिल्कुल भी नजरअंदाज किया जा सकता है। इस CF स्क्रीनिंग विधि को प्रायः प्रूनिंग कहा जाता है। चलो कई मूल्यों पर चलते हैं और परिकल्पना का परीक्षण करते हैं:

यह पता चलता है कि लंबे इतिहास वाले उपयोगकर्ताओं के लिए यह केवल पिछले 25 इंटरैक्शन को छोड़ने के लिए समझ में आता है।

कुल मिलाकर, डेटा के साथ काम करके, हमने स्थानीय परीक्षण नमूने पर 0.040312 की गति प्राप्त की, और इन मापदंडों के साथ प्रस्तुत करने ने क्रमशः सार्वजनिक / निजी भागों पर 0.03870 और 0.03990 में परिणाम दिया, और मुझे 14 वें स्थान और एक टी-शर्ट प्रदान किया।

स्वीकृत खंड

जुपिटर नोटबुक में प्रोजेक्ट चलाना एक धन्यवादहीन काम है। आप लगातार अपने कोड में खोए रहते हैं, जो कई नोटबुक में बिखरा रहता है। और केवल आउटपुट कोशिकाओं में परिणामों को ट्रैक करने के लिए प्रतिलिपि प्रस्तुत करने योग्यता के संदर्भ में पूरी तरह से खतरनाक है। इसलिए, डेटाटेस्टर्स जितना संभव हो उतना सामना करते हैं। मेरे सहकर्मियों और मैंने हमारे कुकीस्कटर-डेटा-विज्ञान की रूपरेखा - महासागर बनाई । यह संरचना और परियोजना प्रबंधन बनाने के लिए एक उपकरण है। आप हमारे लेख में इसके फायदों के बारे में पढ़ सकते हैं । बड़े पैमाने पर प्रयोगों के अलगाव के लिए अच्छे दृष्टिकोण के कारण, मैंने अपना दिमाग नहीं खोया और परिकल्पनाओं का परीक्षण करते समय भ्रमित नहीं हुआ।

सफलता का रहस्य (मेरा नहीं)

जैसा कि लीडरबोर्ड के निजी हिस्से के खुलने के तुरंत बाद यह ज्ञात हो गया, शीर्ष समाधान वाले लगभग सभी लोगों ने पहले स्तर पर सरल मॉडल का इस्तेमाल किया और दूसरे पर अतिरिक्त सुविधाओं के साथ बढ़ाया। जैसा कि मैंने बाद में समझा, इस प्रयोग में मेरा पंचर मुख्य रूप से दूसरे स्तर के मॉडल को प्रशिक्षित करते समय नमूने को विभाजित करने का एक तरीका था। मैंने यह कोशिश की:

यह समझते हुए कि यह बेवकूफ था, मैंने इस तरह के परिष्कृत तरीकों की तलाश करना शुरू कर दिया, जैसे कि:

अच्छी तरह से, मैंने एवगेनी स्मिरनोव की प्रस्तुति से स्लाइड पर सही तरीका पाया, जिसने 2 वां स्थान हासिल किया। यह पहले स्तर के मॉडल के परीक्षण भाग में उपयोगकर्ताओं द्वारा एक विभाजन था। यह तुच्छ लगता है, लेकिन यह विचार मुझे नहीं आया।

निष्कर्ष

प्रतियोगिताएं प्रतियोगिता हैं। भारी मॉडल वास्तव में अधिक सटीकता देते हैं, खासकर यदि आप उन्हें खाना बना सकते हैं। क्या यह अनुभव काम आएगा? एक उत्तर के बजाय, मैं कहूंगा कि प्रतियोगिता के अंत के बाद, आयोजकों ने एक स्पॉइलर को फेंक दिया - उत्पाद मॉडल से एक फीचर महत्व ग्राफ, जिसके अनुसार यह स्पष्ट है कि वे उत्पादन में उसी "सफल" दृष्टिकोण का उपयोग करते हैं। यह पता चला है कि वे भी ठेस में बह रहे हैं।

यह पता चला है कि मेरे लिए भागीदारी का अनुभव वास्तव में पेशेवर रूप से उपयोगी था। लेख पढ़ने के लिए धन्यवाद; प्रश्न, सुझाव, टिप्पणी का स्वागत है।

रेक्को चैलेंज 2019: यह कैसा था