टेलीविजन को वास्तव में स्मार्ट कैसे बनाएं?

कुछ साल पहले, सिफारिश प्रणाली सिर्फ अपने उपभोक्ताओं पर जीतना शुरू कर रही थी। ऑनलाइन स्टोर सक्रिय रूप से सिफारिश एल्गोरिदम का उपयोग कर रहे हैं, अपने ग्राहकों को उनकी खरीदारी के इतिहास के आधार पर अधिक से अधिक नए उत्पादों की पेशकश कर रहे हैं।

ग्राहक सेवा में, सिफारिश प्रणाली इतने समय पहले प्रासंगिक नहीं हो गई हैं। दी गई सामग्री में वृद्धि के कारण, ग्राहकों को इस बात की जानकारी के प्रवाह में खोना शुरू हो गया कि उन्हें क्या, कहाँ और कब देखना है। पे-टीवी ऑपरेटरों और ऑनलाइन मूवी थिएटर ने वीडियो कंटेंट प्रेमियों के सिर दर्द का कारण बने।



"क्या देखना है?" की शाश्वत समस्या को हल करने के एक प्रभावी तरीके के रूप में। सिफारिश प्रणाली दिखाई दी है कि एक विशेष गणितीय मॉडल के आधार पर काम करते हैं।

दो साल पहले, हमने एक सिफारिश प्रणाली शुरू की, बाद में इसे संपादकीय चयनों के साथ पूरक किया और बिक्री में और हमारी सेवा का उपयोग करने की अवधि में दोनों पर ध्यान देने योग्य प्रभाव महसूस किया।

सिफारिश प्रणाली क्या हैं

एक अनुशंसाकर्ता प्रणाली वह है जब आप कुछ देखना चाहते हैं, लेकिन यह नहीं जानते कि वास्तव में क्या है, और टीवी बहुत ही सफलतापूर्वक आपकी प्राथमिकताओं का अनुमान लगाता है। यह एक सामग्री फ़िल्टरिंग है जो उपयोगकर्ता व्यवहार की वरीयताओं और विश्लेषण के आधार पर फिल्मों और टीवी शो का चयन करता है। ऑपरेटर द्वारा उपयोग की जाने वाली प्रणाली को किसी विशेष तत्व को देखने वाले की प्रतिक्रिया की भविष्यवाणी करनी चाहिए और वह सामग्री प्रदान करना चाहिए जो उसे पसंद हो।

जब प्रोग्रामिंग सिफारिश प्रणाली, तीन मुख्य तरीकों का उपयोग किया जाता है: सहयोगी फ़िल्टरिंग, सामग्री-आधारित फ़िल्टरिंग, और विशेषज्ञ सिस्टम (ज्ञान-आधारित सिस्टम)।

सहयोगी फ़िल्टरिंग तीन चरणों पर आधारित है: उपयोगकर्ता जानकारी एकत्र करना, संघों की गणना के लिए एक मैट्रिक्स का निर्माण करना और विश्वसनीय सिफारिशें जारी करना।

सहयोगी फ़िल्टरिंग का एक अच्छा उदाहरण सिनेमैच है, जिसका उपयोग नेटफ्लिक्स करता है। उपयोगकर्ता स्पष्ट रूप से या अनुमानित रूप से देखी गई फिल्मों को रेटिंग देते हैं, और सिफारिशें उनके उपयोगकर्ता रेटिंग और अन्य दर्शकों के दोनों को ध्यान में रखते हुए बनाई जाती हैं। ऐसा करने के लिए, सिस्टम समान प्राथमिकताओं वाले उपयोगकर्ताओं का चयन करता है, जिनकी रेटिंग अपने स्वयं के करीब होती है। लोगों के इस सर्कल की राय के आधार पर, दर्शक को स्वचालित रूप से सिफारिश दी जाती है: किसी विशेष फिल्म को देखने के लिए।

अनुशंसित प्रणाली के अधिकतम सही संचालन के लिए, निश्चित रूप से, संचित और एकत्रित डेटा एक मौलिक भूमिका निभाते हैं। किसी विशेष ग्राहक की खपत प्रोफ़ाइल के बारे में जितना अधिक डेटा जमा होता है, उसके लिए उतनी ही सटीक सिफारिशें जारी की जाती हैं।

सामग्री सिफारिश प्रणाली प्रत्येक तत्व को सौंपी गई विशेषताओं के आधार पर तैयार की जाती है। यदि आप एक निश्चित शैली की फिल्में देखते हैं, तो सिस्टम स्वचालित रूप से आपको ऐसी सामग्री प्रदान करेगा जो कुछ विशेष स्थितियों में आपकी शैली के करीब है। यह ऐसी सिफारिश प्रणाली के आधार पर है जो पेंडोरा वेबसाइट काम करती है।

विशेषज्ञ अनुशंसाकर्ता प्रणाली रेटिंग के आधार पर नहीं, बल्कि उपयोगकर्ता की आवश्यकताओं और उत्पाद विवरणों के बीच समानता के आधार पर या वांछित उत्पाद को निर्दिष्ट करते समय उपयोगकर्ता द्वारा निर्धारित प्रतिबंधों के आधार पर सिफारिशें प्रदान करते हैं। इसलिए, इस प्रकार की प्रणाली अद्वितीय है, क्योंकि यह क्लाइंट को स्पष्ट रूप से इंगित करने की अनुमति देता है कि वह क्या चाहता है।

विशेषज्ञ प्रणालियां उन संदर्भों में सबसे प्रभावी हैं जहां उपलब्ध डेटा की मात्रा सीमित है, और सहयोगी फ़िल्टरिंग उन वातावरणों में सबसे अच्छा काम करता है जहां बड़ी मात्रा में डेटा होते हैं। लेकिन जब डेटा में विविधता होती है, तो विभिन्न तरीकों से एक ही समस्या को हल करना संभव है। इसका मतलब यह है कि यह कई तरीकों से प्राप्त सिफारिशों को बेहतर ढंग से संयोजित करेगा, जिससे पूरे सिस्टम की गुणवत्ता में सुधार होगा।

यह ई-कंटेंट से एक ऐसी हाइब्रिड प्रणाली है जो हमारी वाईफायर टीवी सेवा में काम करती है। यह दिसंबर 2016 में ऑपरेशन और डिबगिंग में डाल दिया गया था और निम्नलिखित सिद्धांत के अनुसार काम करता है: यदि सिस्टम उपयोगकर्ता या सामग्री के बारे में बहुत कुछ जानता है, तो सहयोगी फ़िल्टरिंग एल्गोरिदम प्रबल होते हैं। यदि सामग्री नई है, या इसके साथ उपयोगकर्ताओं की सहभागिता के बारे में अपर्याप्त जानकारी एकत्र की गई है, तो सामग्री एल्गोरिदम का उपयोग मौजूदा मेटाडेटा के आधार पर सामग्री की समानता का मूल्यांकन करने के लिए किया जाता है।

एल्गोरिदम कैसे सिफारिशों का निर्माण किया गया था

ई-कंटेंट में एक व्यक्तिगत चयन का निर्माण करने के लिए, सभी उपलब्ध सामग्री को इस संभावना से रैंक करना आवश्यक था कि किसी विशेष उपयोगकर्ता को इस सामग्री में रुचि होगी।



उपयोगकर्ता की रुचि मुख्य रूप से उस समय निर्धारित की जाती है जब वह अपने द्वारा अनुशंसित सामग्री पर क्लिक करता है, और संभावना को उस क्लिक की संख्या के अनुपात के रूप में परिभाषित किया जाता है जब इस उपयोगकर्ता को इस सामग्री की सिफारिश की गई थी।

पी (क्लिक) = एन क्लिक / एन प्रदर्शित करता है

कठिनाई इस तथ्य में निहित है कि आपको उपयोगकर्ता को कुछ ऐसी चीज़ों की सिफारिश करने की ज़रूरत है जो उसने कभी नहीं देखी है, जिसका अर्थ है कि इस संभावना की गणना करने के लिए क्लिक या इंप्रेशन की संख्या पर बस कोई डेटा नहीं है।

इसलिए, वास्तविक संभावना के बजाय, इस संभावना के अनुमान का उपयोग करने का निर्णय लिया गया था, दूसरे शब्दों में, अनुमानित मूल्य।

सहयोगी फ़िल्टर का विचार सरल है:

1. सामग्री देखने वाले उपयोगकर्ताओं के बारे में ऐतिहासिक डेटा लें
2. इस डेटा के आधार पर, समूह के उपयोगकर्ताओं को उनके द्वारा देखी गई सामग्री द्वारा
3. किसी दिए गए उपयोगकर्ता के लिए एक ही समूह में अन्य उपयोगकर्ताओं के ऐतिहासिक डेटा के आधार पर सामग्री की एक विशेष इकाई में उसकी रुचि की संभावना का अनुमान लगाने के लिए।

इस प्रकार, उपयोगकर्ता संयुक्त रूप से सामग्री के चयन की प्रक्रिया में भाग लेते हैं।



इस दृष्टिकोण को लागू करने के लिए कई अलग-अलग विकल्प हैं:

1. सामग्री इकाइयों के सीधे पहचानकर्ताओं का उपयोग करके एक मॉडल बनाएँ:



इस दृष्टिकोण का नुकसान यह है कि मॉडल "सामग्री की इकाइयों के बीच किसी भी लिंक को नहीं देखता है"। उदाहरण के लिए, उसके लिए "टर्मिनेटर" और "टर्मिनेटर 2" एक दूसरे से "एलियन" और "गुड नाईट, किड्स!" जैसे होंगे। इसके अलावा, मैट्रिक्स स्वयं बहुत विरल हो जाता है (कई खाली कोशिकाएं और थोड़ा भरा हुआ)।

2. पहचानकर्ताओं के बजाय, लेख, कार्यक्रमों या फिल्मों के शीर्षक में शामिल शब्दों का उपयोग करें:



3. फिल्मों के लिए, अभिनेताओं, निर्देशकों या IMDb के डेटा के नाम:



दूसरे और तीसरे विकल्प आंशिक रूप से पहले दृष्टिकोण के नुकसान को खत्म करते हैं, सामग्री के कनेक्शन को देखते हैं जिसमें सामान्य विशेषताएं हैं (एक ही निर्देशक या शीर्षक में समान शब्द)। हालांकि, मैट्रिक्स की विरलता भी कम हो जाती है, लेकिन जैसा कि वे कहते हैं, पूर्णता की कोई सीमा नहीं है।

स्मृति में उपयोगकर्ता रेटिंग की एक पूरी श्रृंखला रखना काफी महंगा है। 80 मिलियन लोगों पर रनेट उपयोगकर्ताओं की संख्या और 370 हजार फिल्मों में IMDb डेटाबेस के आकार का मोटा अनुमान लगाते हुए, हमें 27 टेराबाइट्स के आवश्यक आकार मिलते हैं। एकवचन अपघटन मैट्रिक्स के आयाम को कम करने की एक विधि है।


एक बड़े मैट्रिक्स टी को छोटे मैट्रिसेस के सेट के उत्पाद के रूप में दर्शाया जाता है

दूसरे शब्दों में, "कोर" मैट्रिक्स की खोज, जिसमें पूर्ण मैट्रिक्स के समान गुण हैं, लेकिन बहुत छोटा है। आयाम में कमी के साथ, निर्वहन भी कम हो जाता है। इस लेख में, हम कार्यान्वयन की पेचीदगियों में नहीं जाएंगे, खासकर जब से तैयार लाइब्रेरी कई प्रोग्रामिंग भाषाओं के लिए पहले से मौजूद हैं।

तकनीकी दिक्कतें

ठंड शुरू

वह स्थिति जब नई सामग्री या उपयोगकर्ता के लिए डेटा की कमी उच्च गुणवत्ता वाली सिफारिशें देने की अनुमति नहीं देती है, जिसे "कोल्ड स्टार्ट" के रूप में भी जाना जाता है, सहयोगी फ़िल्टरिंग के लिए एक विशिष्ट समस्या है।

एक समाधान यह है कि सिफारिशों की कई इकाइयों को उन आंकड़ों में मिलाया जाए जो पर्याप्त डेटा एकत्र नहीं करते हैं। उसी समय, नए उपयोगकर्ता के लिए सबसे लोकप्रिय सामग्री की सिफारिश की जाएगी।

सबसे लोकप्रिय

उपरोक्त दृष्टिकोण का उपयोग करना, यह भूलना महत्वपूर्ण नहीं है कि अनुशंसित सूची में "सबसे लोकप्रिय" होने की आवृत्ति में इसका परिणाम एक व्यवस्थित वृद्धि होगी। उपयोगकर्ताओं के व्यवहार से सीखना, जिन्हें अक्सर "सबसे लोकप्रिय" की पेशकश की जाती है, विशेष रूप से सबसे लोकप्रिय सामग्री की सिफारिश करने के लिए सिफारिश करने वाला सिस्टम जोखिमों को सीखता है।



व्यक्तिगत सिफारिशों और सबसे लोकप्रिय सामग्री की प्रतिबंध संबंधी सिफारिशों के बीच मुख्य अंतर यह है कि वे व्यक्तिगत स्वादों को ध्यान में रखते हैं, जो "औसत" वाले लोगों से काफी भिन्न हो सकते हैं।

इस प्रकार, सिफारिश करने वाले मॉडल को प्रशिक्षित करने के लिए उपयोग की जाने वाली सामग्री के लिए उपयोगकर्ता प्रतिक्रियाओं का नमूना सामान्य होना चाहिए।

उपलब्धता, विफलता, और स्केलेबिलिटी

संसाधन के उपयोगकर्ताओं की संख्या प्रति सेकंड अनुशंसा प्रणाली के सैकड़ों और हजारों अनुरोधों का भार पैदा कर सकती है। इसके अलावा, एक या कई सर्वरों की विफलता से सेवा से वंचित नहीं होना चाहिए।

इस मामले में, क्लासिक समाधान एक लोड बैलेंसर का उपयोग करना है जो क्लस्टर सर्वरों में से एक को एक अनुरोध भेजता है। इसके अलावा, प्रत्येक सर्वर एक आने वाले अनुरोध को संसाधित करने में सक्षम है। क्लस्टर में किसी भी सर्वर की विफलता की स्थिति में, बैलेंसर सिस्टम में शेष सर्वर पर लोड को स्वचालित रूप से स्विच करता है। HTTP को ट्रांसपोर्ट प्रोटोकॉल के रूप में चुनकर, हम Nginx को लोड बैलेंसर के रूप में उपयोग कर सकते हैं।

जैसे-जैसे संसाधन के दर्शक बढ़ते हैं, क्लस्टर में सर्वरों की संख्या बढ़ सकती है। इस मामले में, नए सर्वर को तैयार करने की लागत को कम करना महत्वपूर्ण है।

अनुशंसाकर्ता प्रणाली को कई घटकों की स्थापना की आवश्यकता होती है, जिस पर यह कार्यात्मक रूप से निर्भर करता है। डॉकर का उपयोग अपने सभी आश्रितों के साथ एक सिफारिश प्रणाली की तैनाती को स्वचालित करने के लिए किया जाता है।

डॉकर आपको सभी आवश्यक घटकों को इकट्ठा करने की अनुमति देता है, उन्हें एक छवि में "पैक" करें और ऐसी छवि को एक रिपॉजिटरी (रजिस्ट्री) में डालें, और फिर इसे मिनटों में एक नए सर्वर पर डाउनलोड और तैनात करें। डॉकर का एक महत्वपूर्ण लाभ यह है कि इसका उपयोग करते समय "ओवरहेड" कम से कम होता है: नियमित ऑपरेटिंग सिस्टम में चलने वाले एप्लिकेशन की तुलना में डॉक कंटेनर में एप्लिकेशन का कॉल समय कुछ नैनोसेकंड तक बढ़ जाता है।

एक और महत्वपूर्ण लाभ एक नई विफलता की स्थिति में आवेदन के पिछले स्थिर संस्करण में जल्दी से लौटने की क्षमता है (बस रजिस्ट्री से पुराने संस्करण को लें)।

दूसरे प्रकार के सिस्टम अनुरोध जिन्हें आपको ध्यान रखने की आवश्यकता है वे अनुरोध हैं जो उपयोगकर्ता गतिविधि को ट्रैक करते हैं। ताकि उपयोगकर्ता को तब तक इंतजार न करना पड़े जब तक कि सिस्टम पूरी तरह से उस क्रिया को संसाधित नहीं करता है जो उसने किया था, प्रसंस्करण प्रक्रिया को रिकॉर्डिंग कार्यों की प्रक्रिया की परवाह किए बिना किया जाता है।

अपाचे काफ्का को ई-कंटेंट में एक ऐसे प्लेटफॉर्म के रूप में चुना गया था जो प्रोसेसर को यूजर एक्शन का डेटा ट्रांसफर प्रदान करता है। कफ़का वास्तुशिल्प पैटर्न मैसेज-ओरिएंटेड मिडलवेयर को लागू करता है), जो प्रति सेकंड दसियों और सैकड़ों हज़ारों संदेशों की गारंटीकृत डिलीवरी प्रदान करने में सक्षम है और एक बफर के रूप में कार्य करता है जो प्रोसेसर को चरम समय पर अत्यधिक डेटा से बचाता है।

पूर्ण स्व-शिक्षा

नई सामग्री और नए उपयोगकर्ता नियमित रूप से दिखाई देते हैं - नियमित प्रशिक्षण के बिना, मॉडल की गुणवत्ता में गिरावट आती है। प्रशिक्षण अलग-अलग सर्वरों पर किया जाना चाहिए ताकि प्रशिक्षण प्रक्रिया, जिसमें महत्वपूर्ण कंप्यूटिंग संसाधनों की आवश्यकता होती है, मुकाबला सर्वर के प्रदर्शन को प्रभावित नहीं करता है।

नियमित रूप से वितरित कार्यों के लिए आर्केस्ट्रा का क्लासिक समाधान जेनकिंस है। अनुसूचित सेवा नए प्रशिक्षण नमूनों को प्राप्त करना और सामान्य करना शुरू करती है, एक सिफारिश मॉडल का प्रशिक्षण देती है, नए मॉडल प्रदान करती है और सभी क्लस्टर सर्वरों को अपडेट करती है, जो अतिरिक्त प्रयासों के बिना सिफारिशों की गुणवत्ता बनाए रखने की अनुमति देती है। किसी भी चरण पर विफलता की स्थिति में, जेनकिंस स्वतंत्र रूप से सिस्टम को अपनी पिछली स्थिर स्थिति में लौटाता है और विफलता के व्यवस्थापक को सूचित करता है।

हमने इसे WifireTV पर कैसे लागू किया

इसके अतिरिक्त, सिस्टम के सही ढंग से काम करने के लिए, हमने एक स्वतंत्र टेलीविज़न मीटर मंगवाया और उसे ग्राहकों के टेलीव्यू को मापने के लिए आमंत्रित किया। परिणामस्वरूप अद्वितीय डेटा डेटा विज्ञान एल्गोरिदम का उपयोग करके एनिमेटेड है। सिफारिशों के साथ बातचीत करने वाले ग्राहकों से लगातार काम कर रहे फीडबैक मशीन लर्निंग एल्गोरिदम के लिए मिसाल का आधार भरते हैं और ग्राहकों की बदलती प्राथमिकताओं, जैसे साल का समय, छुट्टियों के करीब आने, या परिवार की संरचना बदलने के संकेतों के आधार पर सिफारिशों को बदलने की अनुमति देते हैं।



परीक्षण प्रक्रिया में, हमें टेलीविजन सामग्री की सिफारिश से जुड़ी समस्या को हल करना था - हमारे ग्राहकों को प्रसारण धाराओं को समझने में मदद कैसे करें। यह कार्य स्थगित सेवाओं को देखने से भी जटिल है। हमने एक ऐसी प्रणाली बनाई है जिसमें अंतहीन चक्रीय चैनल स्विचिंग के बजाय सिर्फ 2-3 बटन प्रेस में एक दिलचस्प कार्यक्रम खोजने में मदद मिलती है। इसके लिए, सिफारिश प्रणाली कार्यक्रमों की नई श्रृंखला को जारी करने की निगरानी करती है और अनियमित कार्यक्रमों और फिल्मों के प्रसारण में दर्शकों की रुचि की भविष्यवाणी करती है। वास्तव में, मशीन एल्गोरिदम जिम्मेदार संपादक के काम को प्रतिस्थापित करता है।



स्ट्रीमिंग टेलीविजन के साथ काम करने की अपनी विशिष्टता है। उदाहरण के लिए, अक्सर एक ही लोकप्रिय टीवी शो विभिन्न चैनलों पर चलते हैं। इस मामले में, अनुशंसाकर्ता प्रणाली को सूचनाओं के दोहराव को समझना होगा और चैनल, ट्रांसमिशन प्रारंभ समय आदि के बारे में ग्राहकों की वरीयताओं के आधार पर एक सिफारिश का चयन करना होगा। जानकारी का ऐसा दोहराव तब भी होता है जब किसी ग्राहक के पास चैनलों के एसडी और एचडी संस्करणों की सदस्यता होती है।

इन सभी दो वर्षों में, हमने अनुशंसा प्रणालियों के विभिन्न संस्करणों के साथ प्रयोग किया और एक मध्यम आधार पाया, जो हमें दर्शकों की व्यस्तता में सुधार करने और मौजूदा सामग्री का अधिक प्रभावी रूप से मुद्रीकरण करने की अनुमति देता है। हम मैनुअल ट्यूनिंग - संपादकीय चयनों के साथ ऊपर वर्णित सिफारिशों के स्वचालित चयन का उपयोग करते हैं।

यह दृष्टिकोण महत्वपूर्ण (10 गुना) VOD और SVOD सेवाओं के मुद्रीकरण को बढ़ाने की अनुमति देता है।

संपादकीय सिफारिशें विषयगत फिल्मों और उच्च प्रोफ़ाइल प्रीमियर, छुट्टियों और यादगार तारीखों से जुड़ी श्रृंखला का संग्रह हैं। सब्सक्राइबर्स को सूचित करना और उन्हें नई फ़िल्में, पुरानी हिट या अलोकप्रिय फ़िल्में देखने का अवसर देना बहुत सुविधाजनक है, लेकिन हमारी राय में कंटेंट और प्लॉट के मामले में बहुत दिलचस्प फ़िल्में हैं। हम अपने आपूर्तिकर्ताओं (ऑनलाइन सिनेमा और अतिरिक्त वीडियो सेवाओं, जैसे आइवी, मेगोगो, एमेडिएटका) के साथ निकटता से संवाद करते हैं और व्यक्तिगत रूप से प्रत्येक फिल्म का चयन करते हैं जो हमारे ग्राहकों के लिए देखना दिलचस्प होगा।

छुट्टियों पर, हम एक विशिष्ट विषय पर विशेष चयन करते हैं। उदाहरण के लिए, विजय दिवस पर, ये सैन्य-थीम वाली फिल्में हैं। 1 सितंबर को - बच्चों के लिए सामग्री का चयन, जिसमें शैक्षिक कार्यक्रम, कार्टून और वृत्तचित्र शामिल हैं।

मैनुअल चयन पूरी तरह से हमारे ग्राहकों की वफादारी को बढ़ाता है। हमारे सबसे रूढ़िवादी अनुमानों के अनुसार, हमारे सब्सक्राइबर बेस मासिक वॉच फिल्मों के बारे में 10% जो हम सुझाते हैं और यह संकेतक लगातार बढ़ रहा है।

परिणाम क्या है?

Wifire TV वर्तमान में E-Contenta से एक बुद्धिमान सिफारिश प्रणाली चलाता है। यह ऑपरेटर के 90% डेटा विज्ञान और मेटाडेटा पर आधारित है। एल्गोरिथ्म सैकड़ों आंकड़ों को ध्यान में रखता है: ग्राहक क्या देख रहा है, क्या फिल्में और कार्यक्रम लोकप्रिय हैं, जब वह सेवा का उपयोग करता है और अब स्क्रीन के सामने कौन है। हम अपने ग्राहकों को प्रीमियम चैनल पैकेजों की सदस्यता के मूल्य से अवगत कराना चाहते हैं, उन्हें उन सिफारिशों में मिलाएं जो उपयोगकर्ता के लिए प्रासंगिक हैं। हम यह भी दिखाना चाहते हैं कि कानूनी वीडियो सामग्री प्राप्त करना और देखना सामान्य, सुविधाजनक और सरल है।

अनुशंसा प्रणाली ग्राहकों को दिलचस्प फ़िल्में बताएगी, भले ही वे लंबे समय से नए उत्पादों की श्रेणी से बाहर हों: इस प्रकार, व्यापक वीडियो निर्देशिका धूल भरी लाइब्रेरी बनना बंद कर देती है, और एक इंटरैक्टिव शोकेस बन जाती है जो लचीले रूप से ग्राहकों के स्वाद और मूड को समायोजित करती है।