रनेट न्यूज़ विज़ुअलाइज़ेशन

कल्पना कीजिए कि आपने एक दोस्त के साथ तर्क दिया कि क्या हुआ - एक चिकन या एक अंडा, कुछ कर वृद्धि, उदाहरण के लिए, या इस विषय पर समाचार, या एक महत्वपूर्ण घटना पूरी तरह से एक नए गीत के बारे में खबरों के एक बादल से डूब गई, कहते हैं, किर्ककोव। यह गणना करना सुविधाजनक होगा कि प्रत्येक विषय पर समाचार किसी भी समय में कितना था, और तब कल्पना करें। दरअसल, यह प्रोजेक्ट "रनसेट न्यूज रडार" है। कटौती के तहत, हम आपको बताएंगे कि इसके साथ मशीन सीखने का क्या करना है और कोई भी स्वयंसेवक इसमें कैसे भाग ले सकता है।

त्वरित संदर्भ

मशीन लर्निंग फॉर सोशल गुड (ML4SG) परियोजनाओं के लिए स्थितियां बनाने के उद्देश्य से ओडीएस समुदाय के भीतर एक पहल है, जैसा कि नाम से पता चलता है, जो समाज के लिए कुछ लाभ लाने के लिए मशीन लर्निंग का उपयोग करते हैं। यहां की स्थितियों का निर्माण मुख्य रूप से संगठनात्मक संसाधनों को संदर्भित करता है। यह कुछ इस तरह दिखता है: कोई परियोजना के विचार को तैयार करता है और स्वयंसेवकों को प्रोत्साहित करता है, जबकि कोई व्यक्ति केवल विचार, अनुभव या कुछ अन्य हितों की खातिर परियोजना में शामिल होता है। सब कुछ उत्साह पर टिकी हुई है, मुख्य कार्य से खाली समय में सबसे अधिक बार। रनेट समाचार रडार, या जैसा कि हम इसे संक्षेप में समाचार टीम में कहते हैं, एमएल 4 एसजी के भीतर की परियोजनाओं में से एक है।

त्याग

इस लेख में कुछ उदाहरणों में, कुछ राजनीतिक घटनाओं या व्यक्तियों का उल्लेख किया जाएगा। आइए उनके बारे में अपने बारे में राय छोड़ें। हबर राजनीति के लिए नहीं हैं।

हम क्या करते हैं

संक्षेप में प्रेरणा के बारे में

अब इस परियोजना को समग्र रूप से मीडिया का विश्लेषण करने के लिए एक उपकरण के रूप में तैनात किया गया है। यदि इस बारे में कोई परिकल्पना है कि विभिन्न विषयों, घटनाओं, व्यक्तियों, और इसी तरह से समाचार में ध्यान कैसे विकसित हुआ, तो हम विशिष्ट संख्याओं के आधार पर बोल सकते हैं, अटकलें नहीं।

प्रारंभिक विचार यह था: हम सभी समाचार डेटा लेते हैं जो हम पाते हैं, विषयगत मॉडलिंग को लागू करते हैं, समय में परिणाम निकालते हैं और परिणाम आकर्षित करते हैं।


यह स्पष्ट है कि इसके लिए स्वयं समाचार की आवश्यकता है, और हम उन्हें डाउनलोड करते हैं। और जब से हमारे पास बड़ी खबरें होंगी, आप कई और दिलचस्प चीजें कर सकते हैं, जो केवल थीम तक सीमित नहीं हैं। लेकिन वास्तविक स्थितियों को ध्यान में रखते हुए, जिनके बारे में हम बात करेंगे, अर्थात्, स्वयंसेवकों की भीड़, और भुगतान विशेषज्ञों की एक अच्छी तरह से काम नहीं करने वाली टीम, परियोजना को लागू करेगी, पहले तो हम अभी भी लगभग अपरिवर्तित समस्या को हल करते हैं।



अब हम विज़ुअलाइज़ेशन के इस प्रारूप में आ गए हैं, इसे राइडलाइन प्लॉट कहा जाता है। स्लाइड पर, वैसे, ये विषय एक पुराने आंतरिक डेमो से एक स्क्रीन है। यही है, यहां हमारे पास एब्सिस्सा अक्ष पर समय है, स्ट्रिप की मोटाई आनुपातिक है कि उस समय का विषय अन्य समाचारों के बीच कितना प्रतिनिधित्व करता है। इस मामले में, महीने के अनुसार एकत्रीकरण।

बुनियादी योजना में, हमारे पास एक समाचार स्रोत का एक विकल्प और एक चार्ट दिखाने के तरीके का विकल्प है। आप समाचार से नहीं अतिरिक्त डेटा का भी चयन कर सकते हैं, उदाहरण के लिए, उसी समय अवधि में तेल की कीमत या किसी अन्य संकेतक ने कैसे व्यवहार किया। शीर्षासन का विकल्प और इसमें विषयों का एक सेट। इसके अतिरिक्त, और भी कई विचार हैं, लेकिन बाद में उस पर और अधिक।

इसी तरह की परियोजनाएं

समाचारों के दृश्य से संबंधित कई अन्य परियोजनाएं हैं। मुझे ये दोनों पसंद हैं। पहली तुलना करती है कि एक ही समाचार को विभिन्न स्रोतों में कैसे प्रस्तुत किया जाता है, और एक ही समय में प्रस्तुति और अंतःक्रिया का एक बहुत अच्छा रूप है। दूसरे में सरलता के लिए सूचनात्मकता का बहुत अच्छा दृष्टिकोण है। यह तुलना करता है कि समाचारों में मृत्यु के विभिन्न कारणों के बारे में कितना कुछ कहा गया है, कितनी बार मृत्यु के कारणों का उल्लेख खोज प्रश्नों में किया गया है, और यह कैसे सांख्यिकीय है। खैर, इस निष्कर्ष के बारे में कि आतंकवाद किस तरह से तबाही मचाता है और कैसे हृदय रोगों और कैंसर को कम करके आंका जाता है।

हम इसे कैसे करते हैं

परियोजना बहुत सीधे आगे है। पहले हम डेटा डाउनलोड करते हैं, फिर हम इसे प्रोसेस करते हैं, हम कोई भी मशीन-लर्निंग करते हैं, और हम ग्राफ बनाते हैं। फिर हम एक वेबसाइट बनाते हैं, और हर कोई देखता है। सब कुछ स्पष्ट है (ठीक है, हाँ, बिल्कुल)।

डेटा संग्रह

शुरू करने के लिए, हमारे पास 20 वर्षों के लिए एक आरयू टेप डेटासेट था। मूल रूप से, हमने इस पर सभी प्रयोग किए। अब हमने कई और स्रोत एकत्र कर लिए हैं और जो कुछ भी हम तक पहुँचते हैं उसे इकट्ठा करते रहते हैं। स्क्रैपिंग और मकड़ियों के बारे में बहुत सारी विस्तृत सामग्री हैं, इसलिए हम इस विषय पर यहां विस्तार से नहीं बताएंगे।

NLP

मैं एनएलपी भाग के बारे में सबसे अधिक चिंतित था, क्योंकि थीमिंग के परिणाम के लिए आवश्यकताओं को औपचारिक रूप देना मुश्किल है। इसके अलावा, बहुत सारे साइड सबटुक हैं। अब हमने विषयगत मॉडलिंग के लिए विभिन्न उपकरणों के साथ काफी प्रयोग किए हैं, इससे पहले कि हम प्रीप्रोसेसिंग से छुटकारा पाएं, बहुत सारे बेंचमार्क और तुलना की। फिलहाल, bigARTM संसाधनों और गुणवत्ता के मामले में निर्विवाद नेता बन गया है। अब यह हमारा काम करने का विकल्प है, जब तक कि कोई कुछ बेहतर नहीं दिखाता है।

सामान्य तौर पर, सभी मशीन-लर्निंग मुख्य रूप से इस खंड में केंद्रित होते हैं। मूल रूप से थीमिंग के मुख्य कार्य के अलावा, कई अन्य हैं जो दिलचस्प निष्कर्ष भी लाएंगे। उदाहरण के लिए, एनईआर। हमने उन सभी नामों को पहले ही बाहर कर दिया है, जो हमारे पास मौजूद डेटा से संकलित हैं, जिन्हें हमने कई बार उल्लेख किया है। यह पता चला है, उदाहरण के लिए, कि लेंटेन में पोरोशेंको के बारे में। हर समय उन्होंने पुतिन के बारे में चार बार लिखा था। यह मेरे लिए दिलचस्प हो गया कि असांजे मैग्निट्स्की के साथ समकालिक रूप से चला जाता है, और बुश के जाने के बाद यह सब ठीक है। लेकिन बैटमैन मेदवेदेव की तुलना में अधिक लोकप्रिय है।





यद्यपि यह चरण अभी भी प्रक्रिया में है, हमने बड़ी संख्या में प्रयोग किए हैं और कई उपकरणों और दृष्टिकोणों की तुलना की है। इस प्रक्रिया में, सबसे लोकप्रिय और कुछ असामान्य उपकरणों के कोड उदाहरण और बेंचमार्क के साथ विभिन्न एनएलपी कार्यों पर एक बड़ा ट्यूटोरियल।

दृश्य

यह चरण बहुत जटिल नहीं था, लेकिन किसी कारण से लगभग कोई भी इससे निपटने के लिए तैयार नहीं था। विज़ुअलाइज़ेशन की आवश्यकताएं डेटास्सेंस में सामान्य EDA दृष्टिकोण से थोड़ा आगे जाती हैं। आम जनता के लिए एक ग्राफ खींचने की तुलना में अपने लिए या किसी अन्य डेटासेंटर के लिए एक ग्राफ खींचना बहुत आसान है। हम बहुत लंबे समय तक प्रारूपों और उपकरणों के साथ व्यस्त थे और अब हम कुछ दृष्टिकोणों पर आए हैं जो सबसे उचित लगते हैं, लेकिन अभी भी बहुत काम करना है, क्योंकि हमारे कार्यों के लिए व्यावहारिक रूप से कोई तैयार उपकरण नहीं हैं। उदाहरण के लिए, ऊपर के चेहरों के साथ चार्ट दो चरणों में किया गया था - कोड में मुख्य तत्व उत्पन्न किए गए थे, और फिर मैनुअल रिड्रास्टिंग का एक लंबा चरण पीछा किया गया था ताकि कम से कम कुछ पढ़ा जाए। एक अलग लेख में इस दृश्य के विस्तृत विश्लेषण के संदर्भ में, यह पिछले 20 वर्षों में कुछ हद तक रूस के इतिहास को दर्शाता है।

टीम

सशर्त रूप से प्रतिभागियों को दो समूहों में विभाजित करना संभव है: शुरुआती और पेशेवरों। शुरुआती लोगों के लिए, प्रेरणा सरल है - एक सूअर का बच्चा बैंक में नियोक्ताओं को दिखाने के लिए किसी तरह की परियोजना, या बस अनुभव प्राप्त करें, कुछ सीखें। और मुझे पहले ही सूचित किया गया था कि परियोजना के ढांचे में हमने जो अलग-अलग चीजें कीं, वे प्रतिभागियों के काम में उपयोगी थीं, अधिकारियों ने सराहना की। प्रॉजेक्ट के बहुत लक्ष्य होने के कारण या तो प्रोसिज आते हैं, क्योंकि वे इस विचार में शामिल होने में रुचि रखते हैं, या क्योंकि वे अपने कुछ विचारों को समाचार पर आजमाना चाहते हैं।

वास्तव में, प्रतिभागियों का एक और समूह है - ये मायावी निन्जा हैं जो फिट होते हैं और कुछ भी नहीं करते हैं या बस शुरू करते हैं, और फिर गायब हो जाते हैं। लेकिन जैसा कि मैंने पहले ही समझाया, कोई भी परियोजना में पैसे के लिए काम नहीं करता है, इसलिए मानव संसाधनों का अव्यवस्था अपरिहार्य है। जिज्ञासा के पक्ष से अवलोकन भी संभव है।



अब औपचारिक रूप से लगभग 80 लोग हैं, जिनमें से लगभग 10-20 सक्रिय हैं और 2-4 लोग लगभग लगातार सक्रिय हैं। इस प्रारूप में, आप समय के साथ अनुभव की कमी की भरपाई कर सकते हैं। बहुत से लोग लिखते हैं कि यह कैसे करना है, इसका कोई ज्ञान नहीं है, अयोग्यता के कारण असफल होने का डर है, लेकिन वास्तव में यह महत्वपूर्ण है कि इसे करें और एक पल प्रतीक्षा न करें। क्योंकि ml4sg एक बहुत ही शांत गतिविधि है। आप लाभ ला सकते हैं और उसी समय अनुभव और पोर्टफोलियो के रूप में लाभ प्राप्त कर सकते हैं, जबकि जोखिम केवल समय है, प्रबंधक की भी प्रतिष्ठा है, बेशक, लेकिन यहां मुख्य संसाधन समय है, जो अंततः भुगतान करता है।

आगे की योजना

अब मैं इसे एक शोध उपकरण के रूप में स्थापित करने की कोशिश कर रहा हूं। हम एक "खोजपूर्ण" खोज जोड़ने की योजना बनाते हैं जो अनुरोध के विषय का मूल्यांकन कर सकती है और इस विषय के समाचार, विभिन्न गैर-समाचार डेटा के ग्राफ़ पर आंकड़े प्रदान कर सकती है, लेकिन परियोजना के विषय के लिए प्रासंगिक है। फिर मीडिया कैसे व्यवहार करता है, कैसे घटनाओं और अन्य मनमाना संकेतक, सामाजिक या आर्थिक, के बारे में सभी प्रकार की परिकल्पनाओं का परीक्षण करना संभव है। मीडिया को समग्र रूप से शोधित करने का ऐसा साधन।

किसे प्रोजेक्ट चाहिए

• हमारे पास विज़ुअलाइज़ेशन में बहुत कम लोग शामिल हैं। हम मैटप्लेटलिब या प्लॉटली जैसे डेटासेंटर के सामान्य साधनों से परे हैं, इसलिए हमें ऐसे लोगों की जरूरत है जो वास्तव में डेटा के दृश्य से प्यार करते हैं और इसमें गहराई से पंप करना चाहते हैं।
• हमें ऐसे लोगों की जरूरत है जो वेब डेवलपमेंट में कुछ समझें।
• हमें ऐसे लोगों की आवश्यकता है जो हमें बताएंगे कि क्या देखना है। वास्तव में, यह हमारे ग्राहकों को होना चाहिए जो एक अध्ययन आयोजित करने में रुचि रखते हैं और रूसी भाषा के मीडिया कैसे बदल गए हैं, इस बारे में कुछ चीजों की तह तक जाना है।
• हमें एनएलपी में हमेशा विशेषज्ञों की आवश्यकता होती है, मुझे लगता है कि यहां समझाने की आवश्यकता नहीं है। और उन लोगों के लिए कुछ करना है जो सीखना चाहते हैं, और अनुभवी लोगों के लिए, क्योंकि इस क्षेत्र में ऐसी कई दिलचस्प समस्याएं हैं।
• और निश्चित रूप से हमें एक अच्छी परियोजना का निर्माण करने की आवश्यकता है ताकि सब कुछ बिजली के टेप पर काम न करे, इसलिए यदि आप परियोजनाओं की वास्तुकला में लड़खड़ा रहे हैं, तो आप एक पाइपलाइन में प्रयोगों का एक गुच्छा पुनः प्राप्त कर सकते हैं और अपने अनुभव को साझा करने के लिए तैयार हैं, तो बेझिझक काम करें। यदि आप चलते-फिरते सीखना चाहते हैं, तो आपका भी स्वागत है।