🙏 ✌️ 👩🏽‍🤝‍👨🏿 रेकको चुनौती 🤘🏾 👱🏿 🧕🏽

रेकको चुनौती

आज हम ओको ऑनलाइन मूवी थियेटर से मशीन लर्निंग प्रतियोगिता रेक्को चैलेंज 2019 शुरू कर रहे हैं।

हमारा सुझाव है कि आप सबसे बड़े रूसी ऑनलाइन सिनेमाघरों में से एक के वास्तविक डेटा पर एक सिफारिश प्रणाली का निर्माण करें। हमें यकीन है कि यह कार्य शुरुआती और अनुभवी विशेषज्ञों दोनों के लिए दिलचस्प होगा। हमने रचनात्मकता के लिए अधिकतम गुंजाइश रखने की कोशिश की, जबकि सैकड़ों पूर्व-गणना की गई सुविधाओं के साथ आपको गीगाबाइट डेटासेट के साथ अधिभार नहीं दिया।

ओक्को के बारे में और अधिक पढ़ें, कार्य, डेटा, पुरस्कार और नियम - नीचे।

कार्य

आपके पास एन दिनों (N> 60) की अवधि के साथ-साथ सामग्री के बारे में सभी मेटा-जानकारी के लिए "मेमोरेटेड" फिल्मों और श्रृंखला के सभी दृश्यों, रेटिंग और परिवर्धन पर डेटा तक पहुंच है। यह भविष्यवाणी करना आवश्यक है कि उपयोगकर्ता अगले 60 दिनों में कौन सी फिल्मों और श्रृंखलाओं की सदस्यता खरीदेगा या देखेगा।

अगले भाग में, हमने डेटा को जल्दी से समझने और उसका विश्लेषण करने के लिए ऑनलाइन सिनेमाघरों के बारे में जो कुछ भी जानने की आवश्यकता है उसका न्यूनतम वर्णन करने का प्रयास किया। यदि यह जानकारी आपके लिए प्रासंगिक नहीं है, तो आप तुरंत डेटा के विवरण के लिए आगे बढ़ सकते हैं।

हमारी सेवा के बारे में

यदि कोई उपयोगकर्ता कानूनी तौर पर इंटरनेट पर फिल्म देखना चाहता है, तो उसके पास तीन मुख्य तरीके हैं।

पहला तरीका है मुफ्त में देखना, लगातार विज्ञापनों पर रोक लगाना ( AVOD , विज्ञापन वीडियो ऑन डिमांड)। दूसरा आपके संग्रह या किराए के लिए एक फिल्म खरीदना है ( टीवीओडी , ट्रांजैक्शनल वीडियो ऑन डिमांड)। तीसरा है एक निश्चित अवधि ( SVOD , Subscription Video On Demand) की सदस्यता लेना ।

ओक्को केवल TVOD और SVOD मॉडल पर काम करता है। हमारी सेवा में कोई विज्ञापन नहीं है।

कुल मिलाकर, सेवा में 10 हजार से अधिक फिल्में और श्रृंखलाएं हैं, उनमें से लगभग 6 हजार सदस्यता द्वारा उपलब्ध हैं, बाकी केवल खरीद या किराए पर लेने के लिए हैं। इसी समय, लगभग किसी भी सदस्यता सामग्री को खरीदा जा सकता है। एक अपवाद है, उदाहरण के लिए, Amediateka टीवी शो , उन्हें केवल सदस्यता द्वारा देखा जा सकता है।

उपभोग मॉडल द्वारा सामग्री वितरण

फिल्म किस मॉडल के अनुसार उपलब्ध होगी, यह काफी हद तक अधिकारों पर आधारित स्टूडियो पर निर्भर करता है। वे ऑनलाइन सिनेमा के साथ एक अनुबंध समाप्त करते हैं, जो फिल्म कब और किन अधिकारों के लिए उपलब्ध होगी, यह निर्धारित करता है। एक नियम के रूप में, सभी बाजार के खिलाड़ियों के लिए स्थितियां समान हैं, लेकिन कभी-कभी स्टूडियो कुछ सिनेमाघरों के लिए रियायतें देते हैं या अधिक पैसे के लिए अधिक अनुकूल परिस्थितियों की पेशकश करते हैं। तो एक्सक्लूसिव हैं।

उदाहरण के लिए, प्रमुख वैश्विक नवाचार तुरंत सदस्यता में नहीं आते हैं, लेकिन केवल 2-3 महीने के बाद सेवा में दिखाई देते हैं। इसके अलावा, पहले कुछ हफ्तों में उन्हें किराए पर भी नहीं दिया जा सकता है, केवल हमेशा के लिए खरीदने का अवसर उपलब्ध है। लेकिन रूसी फिल्में रिलीज़ होने के तुरंत बाद और कभी-कभी ऑफ़लाइन सिनेमाघरों में किराये की शुरुआत के साथ भी सब्सक्रिप्शन द्वारा उपलब्ध हो सकती हैं।

जब अनुबंध समाप्त हो जाता है, तो फिल्म अनुपलब्ध हो जाती है - जब तक कि समाप्त अनुबंध के विस्तार या एक नए के समापन तक।

दुर्गम फिल्म कार्ड उदाहरण

सामग्री के अधिकारों की कमी की अवधि विचारों की संख्या के ग्राफ पर स्पष्ट रूप से दिखाई देती है। नीचे, उदाहरण के लिए, फिल्म "जॉन विक 2" के लिए एक चार्ट है। सबसे पहले, ऐसा लग सकता है कि हडप कुछ महीनों के लिए आराम करने के लिए लेट गया, लेकिन नहीं: अधिकार समाप्त हो गए।

फिल्म "जॉन विक 2" के दृश्यों का ग्राफ

उपरोक्त ग्राफ में सबसे ऊंची चोटी (एक ऊर्ध्वाधर रेखा के साथ चिह्नित) उस तिथि के साथ मेल खाती है जिस दिन फिल्म को सदस्यता में जोड़ा गया था: यह हाई-प्रोफाइल सस्ता माल के लिए एक बहुत ही विशिष्ट व्यवहार है। हमारी सेवा में 12 सदस्यताएँ हैं:

आठ विषयगत
टीवी श्रृंखला Amediateka,
टीवी श्रृंखला एबीसी,
रूसी फिल्मों और श्रृंखला से START सेवा,
4K फिल्में।

और दो सदस्यता पैकेज: इष्टतम, जिसमें सभी विषयगत सदस्यताएं शामिल हैं, और ऑप्टिमल + एमेडिएटका।

सदस्यता इंटरफ़ेस

सबसे लोकप्रिय, ज़ाहिर है, मेटा पैकेज हैं। विषयगत सदस्यता में से, उपयोगकर्ता विश्व सिनेमा और हमारे सिनेमा को पसंद करते हैं।

कुछ उपयोगकर्ता केवल सदस्यता के आधार पर फिल्में देखते हैं, ज्यादातर या तो फिल्में खरीदते हैं या सदस्यता के अतिरिक्त खरीदते हैं।

सबसे अधिक बार, उपयोगकर्ता पिछले वर्ष के वर्तमान किराये और प्रमुख प्रीमियर के लिए नई वस्तुओं को खरीदना पसंद करते हैं।

आवेदन में खरीद का सबसे लोकप्रिय स्रोत "सिफारिशें" अनुभाग है, जिसके बाद "खोज", "समाचार" और "कैटलॉग" है। उपयोगकर्ता "समान" और "याद" से फिल्मों का हिस्सा खरीदते हैं।

मुख्य समस्याओं में से एक है कि हम ओको में सक्रिय रूप से लड़ रहे हैं सामग्री का चयन करने वाले उपयोगकर्ताओं की समस्या है। यदि आप सेवा में खर्च किए गए समय बनाम खरीदने की संभावना के ग्राफ (पिछले वर्ष के लिए डेटा) को देखते हैं, तो यह स्पष्ट हो जाएगा कि उपयोगकर्ता पहले 10 मिनट के भीतर एक फिल्म चुनने और खरीदने के लिए तैयार हैं, फिर एक खरीद की संभावना तेजी से घट जाती है। इसी समय, उपयोगकर्ताओं का एक बड़ा हिस्सा रहता है जो आधे घंटे से एक घंटे तक सेवा में रहते हैं और अपने लिए उपयुक्त सामग्री का चयन नहीं कर सकते हैं।

10 मिनट - इतना नहीं। इस समय के दौरान, उपयोगकर्ता विशुद्ध रूप से कैटलॉग का विस्तार से अध्ययन करने में असमर्थ है और उस सामग्री का चयन करता है जिसे वह पसंद करता है।

यह वह जगह है, जहां ओक्को ऑनलाइन मूवी थियेटर के लिए आंतरिक सिफारिश प्रणाली रेकोको आती है। रेक्को वर्तमान में सेवा के दो वर्गों में काम करता है - "सिफारिशें" और "समान"।

टीवी सिफारिश अनुभाग

टीवी के समान

सामग्री के साथ उपयोगकर्ता की संतुष्टि का आकलन करने के लिए, हम खरीद के तथ्य का विश्लेषण करते हैं, सदस्यता द्वारा विचार करते हैं, समय देखते हैं, याद किए गए और उपयोगकर्ता रेटिंग को जोड़ते हैं।

ओको में रेटिंग स्केल को पांच डिवीजनों के साथ पांच तारांकन द्वारा दर्शाया गया है: यह 0 से 10 तक पूर्णांक मान लेता है।

रेटिंग इंटरफ़ेस

खरीद या देखने के तथ्य की परवाह किए बिना उपयोगकर्ता किसी भी समय फिल्म को रेट कर सकता है। स्कोर को असीमित संख्या में बदला जा सकता है, लेकिन पूर्ववत नहीं किया जा सकता है।

आप किसी भी समय एक फिल्म को "याद" कर सकते हैं, फिर यह उपयोगकर्ता की प्रोफ़ाइल में "याद" में दिखाई देगा। उसी तरह इसे वहां से हटाया जा सकता है।

भंडारण इंटरफ़ेस

प्रोफाइल में रिकॉर्ड की गई फिल्में

रेको पर काम ठीक एक साल पहले शुरू हुआ था और फिलहाल ए / बी परीक्षणों के अनुसार, इसने हमें 4% की खरीद की औसत संख्या में वृद्धि करने, 3% द्वारा लेनदेन राजस्व, 5% द्वारा सदस्यता में रूपांतरण की अनुमति दी, और उपयोगकर्ताओं ने फिल्मों को 18% तेजी से चुनना शुरू कर दिया। ।

डेटा

समय और रेटिंग को छोड़कर सभी डेटा, बेनामी या विकृत है। अमूर्त इकाइयों में समय व्यक्त किया जाता है जिसके लिए आदेश और दूरी के संबंध संरक्षित होते हैं।

transactions.csv

प्रशिक्षण अवधि के दौरान उन पर सभी लेनदेन और सामग्री विचारों के रिकॉर्ड। यहां लेन-देन हमेशा के लिए एक फिल्म की खरीद है, या तो किराए के लिए या सदस्यता द्वारा देखने की पहल करने के लिए।

element_uid	user_uid	consumption_mode	ts	watched_time	device_manufacturer
3336	5177	एस	44305181.2180206	4282	50
481	593,316	एस	४,४३,०५,१८०.६०,६०,२७,६२६	2989	11
4128	262,355	एस	44305180.41444582	833	50

element_uid - तत्व पहचानकर्ता
user_uid - उपयोगकर्ता आईडी
consumption_mode - consumption_mode प्रकार ( P - खरीद, R - किराये, S - सदस्यता द्वारा देखें)
ts - लेन-देन का समय
watched_time - इस लेनदेन के सेकंड के लिए उपयोगकर्ता द्वारा देखे गए सेकंड की संख्या
device_type - बेनामी प्रकार का उपकरण जिससे लेनदेन किया गया था
device_manufacturer - उस उपकरण का अनाम निर्माता, जिससे लेनदेन किया गया था

देखा गया_ वितरण

ratings.csv

प्रशिक्षण अवधि के लिए उपयोगकर्ता रेटिंग के बारे में जानकारी। जानकारी एकत्रित होती है, अर्थात यदि उपयोगकर्ता ने अपनी रेटिंग बदल दी है, तो केवल अंतिम मान तालिका में प्रस्तुत किया जाएगा।

user_uid	element_uid	रेटिंग	ts
571,252	1364	10	44305174.26309871
63,140	3037	10	44305139.28281821
443,817	4363	8	44305136.20584908

element_uid - तत्व पहचानकर्ता
user_uid - उपयोगकर्ता आईडी
rating - उपयोगकर्ता-परिभाषित रेटिंग ( 0 से 10 )
ts - रैंकिंग समय

रेटिंग का वितरण

bookmarks.csv

उपयोगकर्ताओं को "याद" करने के लिए एक फिल्म को जोड़ने वाले तथ्य जानकारी एकत्रित होती है, अर्थात यदि उपयोगकर्ता ने फिल्म को "सहेजे" से हटा दिया है, तो उसे वहां तालिका में जोड़ने का कोई रिकॉर्ड नहीं होगा।

user_uid	element_uid	ts
301,135	7185	44305161.30743926
301,135	4083	44305160.01187332
301,135	10158	44305157.74463292

element_uid - तत्व पहचानकर्ता
user_uid - उपयोगकर्ता आईडी
ts - "याद" में फिल्म जोड़ने का समय

catalogue.json

सभी अनुशंसित तत्वों के बारे में मेटा-जानकारी: फिल्में, श्रृंखला और धारावाहिक फिल्में।

 { "1983": { "type": "movie", "availability": ["purchase", "rent", "subscription"], "duration": 140, "feature_1": 1657223.396513469, "feature_2": 0.7536096584, "feature_3": 39, "feature_4": 1.1194091265, "feature_5": 0.0, "attributes": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, ...] }, "2166": { "type": "movie", "availability": ["purchase", "rent"], "duration": 110, "feature_1": 36764165.87817783, "feature_2": 0.7360206399, "feature_3": 11, "feature_4": 1.1386044027, "feature_5": 0.6547073468, "attributes": [16738, 13697, 1066, 1089, 7, 5318, 308, 54, 170, 33, ...] }, ... }

type - movie , multipart_movie या series के मान लेता है
duration - मिनट में अवधि, दसियों (श्रृंखला और धारावाहिक फिल्मों के लिए श्रृंखला की अवधि) तक
availability - सामग्री के लिए उपलब्ध अधिकार (इसमें purchase , rent और subscription के मूल्य शामिल हो सकते हैं)
attributes - कुछ अज्ञात विशेषताओं का एक बैग
feature_1..5 - पांच अनाम सामग्री और क्रमिक सुविधाएँ

उपलब्ध अधिकार प्रशिक्षण अवधि और परीक्षण की शुरुआत के अंत में इंगित किए जाते हैं।

महत्वपूर्ण: json में, शब्दकोश कुंजियाँ केवल स्ट्रिंग हो सकती हैं, इसलिए उन्हें एक संख्या में डालना याद रखें यदि आप तालिकाओं में पहचानकर्ता को संख्याओं के रूप में पढ़ते हैं (स्मृति को बचाने के लिए ऐसा करें)।

कैटलॉग में विशेषताओं का वितरण

मीट्रिक

एक मीट्रिक के रूप में हम 20 तत्वों के लिए औसत औसत परिशुद्धता (एमएपी) का उपयोग करते हैं, लेकिन थोड़ा संशोधित। परीक्षण अवधि के दौरान, उपयोगकर्ता 20 से कम फिल्मों का उपभोग कर सकता है। यदि इस मामले में हम एक ईमानदार एमएपी पर विचार करते हैं, तो मीट्रिक की ऊपरी सीमा एक से कम होगी, और मान छोटे होंगे। इसलिए, यदि उपयोगकर्ता ने 20 से कम तत्वों का उपभोग किया है, तो हम उनकी संख्या से सामान्य करते हैं, और 20 से नहीं।

\ mbox {MNAP @ 20} = \ frac {1} {\ uvert U \ rvert} \ sum_ {u \ _ in U} \ frac {1} {\ min (n_u, 20)} \ _ \ _ = 1 =} ^ {20} r_u (i) p_u @ i

$\ mbox {MNAP @ 20} = \ frac {1} {\ uvert U \ rvert} \ sum_ {u \ _ in U} \ frac {1} {\ min (n_u, 20)} \ _ \ _ = 1 =} ^ {20} r_u (i) p_u @ i$

p_{u} @ k = f r a c 1 k s u m_{i = 1}^{k} r_{u} (i)

$p_u @ k = \ frac {1} {k} \ sum_ {i = 1} ^ {k} r_u (i)$

$r_u (i)$ - स्थित है $मैं$ उपयोगकर्ता द्वारा परीक्षण अवधि के दौरान उपभोग किए गए तत्वों के सेट में वें अनुमानित तत्व $यू$ । $n_u$ इस सेट का आकार है। यदि अचानक रैंकिंग गुणवत्ता मैट्रिक्स को भुला दिया जाता है, तो हब पर उनके बारे में एक उत्कृष्ट लेख है

साइथन में मीट्रिक कोड

 def average_precision( dict data_true, dict data_predicted, const unsigned long int k ) -> float: cdef: unsigned long int n_items_predicted unsigned long int n_items_true unsigned long int n_correct_items unsigned long int item_idx double average_precision_sum double precision set items_true list items_predicted if not data_true: raise ValueError('data_true is empty') average_precision_sum = 0.0 for key, items_true in data_true.items(): items_predicted = data_predicted.get(key, []) n_items_true = len(items_true) n_items_predicted = min(len(items_predicted), k) if n_items_true == 0 or n_items_predicted == 0: continue n_correct_items = 0 precision = 0.0 for item_idx in range(n_items_predicted): if items_predicted[item_idx] in items_true: n_correct_items += 1 precision += <double>n_correct_items / <double>(item_idx + 1) average_precision_sum += <double>precision / <double>min(n_items_true, k) return average_precision_sum / <double>len(data_true) def metric(true_data, predicted_data, k=20): true_data_set = {k: set(v) for k, v in true_data.items()} return average_precision(true_data_set, predicted_data, k=k)

पुरस्कार और नियम

पुरस्कार राशि 600 हजार रूबल है:

विजेता को 300 हजार मिलेंगे,
200 हजार - दूसरे स्थान पर प्रतिभागी
100 हजार - तीसरे स्थान पर एक प्रतिभागी।

नियम मानक हैं: प्लेटफ़ॉर्म को बाधित न करें, केवल एक खाते का उपयोग करें, अन्य प्रतिभागियों के साथ निजी कोड विनिमय से बचें और ओकोको और रामब्लर का कर्मचारी न बनें।

कैसे शुरू करें?

अनुभवी पेशेवरों के लिए भी प्रतियोगिता में भाग लेना शुरू करना मुश्किल हो सकता है: आपको जल्दी से एक नए डोमेन क्षेत्र का पता लगाने, डेटा को समझने और उसका विश्लेषण करने और नए पुस्तकालयों को क्रमबद्ध करने की आवश्यकता है।

हमें उम्मीद है कि इस लेख में हम आपको ऑनलाइन सिनेमा के विषय में विसर्जित करने में सक्षम थे और डेटा का पर्याप्त वर्णन करते हैं। कार्य के साथ संग्रह में, आपको baseline.ipynb फ़ाइल मिलेगी, जिसमें डेटा लोड करने के लिए कोड और K निकटतम पड़ोसियों के एल्गोरिथ्म का उपयोग करते हुए एक सरल समाधान का एक उदाहरण है।

यदि डेटा और डोमेन डोमेन के विवरण में से कोई भी बिंदु अस्पष्ट है, तो हम आपके सवालों के जवाब देने में प्रसन्न होंगे। आप टेलीग्राम चैनल @boosterspro में भी प्रश्न पूछ सकते हैं - प्रतियोगिता की मुख्य चर्चा वहां आयोजित की जाएगी।

तो कैसे शुरू करें:

बूस्टर.प्रो पर साइन अप करें और @boosterspro से जुड़ें ;
प्रतियोगिता पृष्ठ पर या यहां डेटा डाउनलोड करें ;
baseline.ipynb खोलें baseline.ipynb , आवश्यक पैकेज स्थापित करें, सभी कोड निष्पादित करें और अपना पहला समाधान डाउनलोड करें;
प्रदर्शन में सुधार के लिए आधार रेखा को संशोधित करने का प्रयास करें;
प्रयोग!

रेक्को चैलेंज आज, 18 फरवरी को बंद हो गया। निर्णय 18 अप्रैल, 23:59:59 मास्को समय तक किए जाते हैं।

हम सभी का इंतजार कर रहे हैं और शुभकामनाएँ!

वैसे, हम कर्मचारियों की तलाश कर रहे हैं । सिफारिश प्रणाली के डेवलपर सहित।

UPD 02/26/2019: परीक्षण डेटा के गठन में एक बग मिला, उन्हें और फ़ाइल test_users.json को प्रतिस्थापित किया। सभी प्रतिभागियों को अतिरिक्त प्रयास दिए गए हैं।