2018 के लिए रूसी YouTube का रुझान विश्लेषण

पुराने समय के, शायद याद भी नहीं होंगे, लेकिन 2017 के अंत में इंटरनेट पर चर्चाओं में यह विचार प्रसारित किया गया था कि YouTube के रुझान में अक्सर "घाव-अप" वीडियो होते हैं।

इसलिए, 2018 के नए साल की पूर्व संध्या पर, मैंने रुझानों में आने वाले वीडियो के बारे में जानकारी एकत्र करने के लिए एक उपयोगिता लिखी। प्रत्येक वीडियो के लिए, एक नाम, टैग की एक सूची, निर्माण की तारीख का अनुरोध किया जाता है, और वार्निश / नापसंद / विचारों में परिवर्तन का इतिहास भी रखा जाता है। विकास को नोड्सज के लिए टाइपस्क्रिप्ट पर आयोजित किया गया था, कोड खुद गिटहब पर पोस्ट किया गया है ।

नतीजतन, अब सुंदर ग्राफिक्स बनाने का अवसर है:

कीवर्ड द्वारा प्रवृत्ति परिवर्तन के ग्राफ़ बनाने का अवसर भी है। कुल मिलाकर, 2018 के लिए, 29,271 वीडियो पर जानकारी एकत्र की गई थी। अब आंकड़े एकत्र किए जा रहे हैं।

काम का सामान्य सिद्धांत

1. हर 5 मिनट में एक बार रुझानों की वर्तमान सूची ली जाती है।
2. प्रत्येक नए वीडियो के लिए, मूल जानकारी सहेजी जाती है (शीर्षक, टैग की सूची, निर्माण तिथि)
3. शीर्षक और टैग के आधार पर, प्रत्येक वीडियो को कीवर्ड क्लाउड पर मैप किया जाता है।
4. शेड्यूल के अनुसार, प्रत्येक वीडियो के लिए पसंद / नापसंद / विचारों के बारे में जानकारी का अनुरोध किया जाता है। आंकड़े दो दिनों के भीतर एकत्र किए जाते हैं, पहली बार अनुरोध 2 मिनट के अंतराल पर भेजे जाते हैं, फिर अंतराल बढ़ता है। यदि धोखाधड़ी का संदेह है, तो अंतराल फिर से 2 मिनट के लिए निर्धारित है।

यदि किसी अनुभाग में पसंद / नापसंद की संख्या में परिवर्तन का ग्राफ एक सीधी रेखा है, तो इस खंड में केवल पहला और अंतिम मान सहेजा जाता है। यह डेटाबेस की मात्रा को कम करने के लिए किया जाता है। अब आंकड़ों के साथ तालिका में केवल 6908449 रिकॉर्ड हैं, डिस्क पर तालिका 458 एमबी है।

मार्कअप का स्वत: पता लगाने का सिद्धांत

अपने लिए, मैंने समस्या को इस प्रकार तैयार किया है: आपको उस वीडियो को चिह्नित करना होगा जिसमें पसंद / नापसंद परिवर्तन के ग्राफ पर "सीढ़ी" है। इस बहुत सीढ़ी के चरणों को आंकड़ों के तीन आसन्न माप के आधार पर निर्धारित किया जाता है। दो लाइनों के बीच के कोण को ध्यान में रखा जाता है: पहली और दूसरी माप के बीच एक रेखा खींची जाती है, दूसरी - दूसरी और तीसरी के बीच, साथ ही साथ खंडों की लंबाई। कई छोटी अनियमितताओं वाले चार्ट भी नोट किए गए हैं।

एक संदिग्ध चार्ट का एक उदाहरण:

एल्गोरिथ्म के सभी मापदंडों को मेरे द्वारा मैन्युअल रूप से निर्धारित किया गया था और उस समय पहले से एकत्र किए गए वीडियो पर जांच की गई थी और वर्ष के दौरान इस एल्गोरिथ्म में परिवर्तन किए गए थे। इसलिए, प्रत्येक व्यक्तिगत वीडियो के लिए ऐसे परिणामों का गंभीरता से इलाज करना संभवत: इसके लायक नहीं है। अपने बचाव में, मैं कह सकता हूं कि मापदंडों को बदलते समय, पहले से ही एकत्रित किए गए सभी वीडियो के लिए एक पुनरावृत्ति शुरू की गई थी, इसलिए सभी वीडियो के लिए एक ही एल्गोरिदम लागू किया गया था।

सामान्य तौर पर, यह कहना असंभव है कि क्या पसंद / नापसंद में परिवर्तन के एक (या कई) चार्ट पर एक मार्कअप था। किसी भी संदिग्ध अंतर को CQRS या सौर फ्लेयर्स के संचालन द्वारा समझाया जा सकता है। हां, एक ग्राफ सुचारू है, दूसरा स्टेप वाइज है, लेकिन क्या यह संभव है कि सभी वीडियो कभी-कभी इस तरह के व्यवहार का सामना करते हैं? इसीलिए, समग्र चित्र को संकलित करने के लिए, ट्रेंड्स को हिट करने वाले सभी वीडियो से जानकारी एकत्र की गई।

आंकड़ों को लपेटें

2018 के लिए, एल्गोरिथम ने निम्न परिणाम दिखाए:
धोखा देने का संदेह पसंद: 180 वीडियो (कुल वीडियो की 0.32%)
नापसंद पर संदिग्ध धोखा: 1303 वीडियो (कुल वीडियो की 4.45%)

संदिग्ध लाइकिंग चार्ट वाले कुछ वीडियो हैं, लेकिन यह हमेशा ऐसा नहीं था: 2018 के पहले महीने में, 96 ऐसे वीडियो रिकॉर्ड किए गए थे (प्रति वर्ष सभी संदिग्ध पसंद का 50% से अधिक)। हालांकि, फरवरी में ऐसे वीडियो बहुत कम थे, केवल 8।

यहां, आपको संभवतः पुराने समय को फिर से चालू करना चाहिए जो 10 जनवरी, 2018 को होने वाली घटना को याद कर सकते हैं (या याद नहीं कर सकते हैं), जब YouTube ने कई चैनलों को अवरुद्ध कर दिया था । अपने हिस्से के लिए, मैं कह सकता हूं कि अवरुद्ध लोगों में वे थे जिन पर मेरी उपयोगिता जानकारी एकत्र करने में कामयाब रही। हटाए गए वीडियो में से एक के लिए अनुसूची:

यह मानते हुए कि वास्तव में धोखेबाज थे, ऐसा लगता है कि YouTube ने बहुत काम किया और अब आप ट्रेंडिंग वीडियो पा सकते हैं जो हर दिन पसंद नहीं करने में संदिग्ध हैं (और जो अक्सर होते हैं वे दुर्घटना या गलती की तरह दिखते हैं)। दूसरी ओर, मार्कअप में इस तरह के अंतर को इस तथ्य से समझाया जा सकता है कि नापसंद के विपरीत, यह उन वीडियो की पसंद को हवा देने का कोई मतलब नहीं है जो पहले से ही रुझानों में हैं।

और कुछ और आंकड़े। ट्रेंडिंग वीडियो में औसतन 21,569 लाइक और 2,863 डिस्लैग हासिल करते हैं।
धोखाधड़ी का संदेह पसंद: 15502/4250
अव्यवस्थाओं पर संदिग्ध धोखा: 16868/22087
इस प्रकार, यदि आप परिणाम को देखते हैं, तो पसंद के निर्माण के लिए कोई फायदा नहीं है, जबकि नापसंद का प्रतिशत बढ़ाना काफी संभव है।

अव्यवस्थाओं के लिए संदिग्ध चार्ट असमान हैं। उदाहरण के लिए, येवगेनी रोइज़मैन के चैनल पर, 21 वीडियो में से जो ट्रेंडिंग बन गए हैं, आधे से अधिक एल्गोरिदम द्वारा नापसंद द्वारा घाव के रूप में चिह्नित हैं।

इस लेख के शीर्षक से ग्राफ के बारे में। यदि हम मानते हैं कि 5-10 हजार की राशि में खातों का एक सेट है, जिसे पहले नापसंद करने की आज्ञा दी गई थी, और फिर उसी सेट पर काम खत्म होने का इंतजार किए बिना, उन्होंने पसंद करने की आज्ञा दी, तो आप शायद एक समान शेड्यूल प्राप्त कर सकते हैं।

मैंने देखा है सबसे अजीब ग्राफ:


मैं आभारी रहूंगा यदि कोई व्यक्ति इस बात की व्याख्या करता है कि यहां क्या चल रहा है। वैसे, आप देख सकते हैं कि इस ग्राफ के अनुसार, आंकड़े लगभग एक सप्ताह के लिए एकत्र किए गए थे, दो दिन नहीं।

कीवर्ड की लोकप्रियता को मापने के लिए एल्गोरिथ्म का सिद्धांत

जैसा कि पहले ही कहा गया है, प्रत्येक वीडियो के लिए, टैग का नाम और सेट सहेजे जाते हैं। इसके बाद, नाम और टैग में से प्रत्येक को अलग-अलग शब्दों में विभाजित किया जाता है, उन्हें स्टेमर के माध्यम से चलाया जाता है और वीडियो के लिए कीवर्ड क्लाउड के रूप में सहेजा जाता है।

वीडियो कब ट्रेंड में आ गया और कब ट्रेंड से बाहर हो गया, इसकी जानकारी होने के साथ-साथ वीडियो के लिए शब्दों के सेट, आप प्रत्येक कीवर्ड के लिए लोकप्रियता में बदलाव का एक ग्राफ बना सकते हैं। फिलहाल, प्रतिदिन कीवर्ड थ्रेड बदलने का एक शेड्यूल बनाया जा रहा है। एक उपाय के रूप में, कुल समय (घंटों में) का उपयोग किया जाता है, जो इस कीवर्ड वाले सभी वीडियो ट्रेंड में थे।

उदाहरण: रुझानों में कीवर्ड से मेल खाते केवल दो वीडियो थे। एक वीडियो ट्रेंड में 5 घंटे चला, दूसरा 10 घंटे। तब कीवर्ड की लोकप्रियता 10 + 5 = 15 के बराबर सेट होती है।

कीवर्ड लोकप्रियता के उदाहरण

मेरे द्वारा लिखी गई एल्गोरिथ्म के अनुसार, 2018 की सबसे गुंजयमान और सबसे उल्लेखनीय घटना चुनाव या फुटबॉल नहीं थी, लेकिन केमेरोवो में त्रासदी थी:

अन्य सभी घटनाओं के विपरीत, केमेरोवो त्रासदी ने सभी को प्रभावित किया, और इस घटना के वीडियो ने बाकी सभी को रुझानों से बाहर निकाल दिया।

खैर, राजनीति का एक सा:

कैसा महसूस होगा

चार्ट देखें और यहां रुझानों के साथ खेलें ।

अब सिस्टम अमेजन क्लाउड पर चलता है, दो उदाहरणों का उपयोग किया जाता है:

• t2.micro - वेब सर्वर
• t3.small MySQL के साथ एक सर्वर है। आँकड़े एकत्रित करने की उपयोगिताएँ एक ही सर्वर पर चलाई जाती हैं।

शायद, लोड के मामले में, वेब सर्वर पहले गिर जाएगा, जबकि दूसरा सर्वर आंकड़े एकत्र करना जारी रखेगा। यह मुझे इस तथ्य से है कि अगर सब कुछ काम करना बंद कर दे तो आश्चर्यचकित होने की आवश्यकता नहीं है।

डेटाबेस को 01/23/2019 तक ही डाउनलोड किया जा सकता है ।

इसके अलावा, एक समय में उन्होंने क्रोम और फाइलरेफ़ॉक्स के लिए दो प्लगइन्स लिखे थे । अब एकमात्र लाभ: YouTube ट्रेंड सूची में सही आप प्रत्येक वीडियो के लिए पसंद / नापसंद की संख्या देख सकते हैं।