वयस्क पत्रकारिता: रूस से क्रेमलिन तक

18 साल (सितंबर 1999 से दिसंबर 2017 तक) में लिंटाका प्रकाशनों का विश्लेषण अजगर, स्केलेर, स्किपी, एक्सजीबोस्ट, पाइमॉर्फी 2, एनएलटीके, जेनसिम, मोंगोबीडी, केरस और टेन्सरफ्लो का उपयोग कर।

अध्ययन ने ildarchegg द्वारा पोस्ट " एनालाइज दिस - लेंटा . ru " के डेटा का उपयोग किया। लेखक ने कृपया एक सुविधाजनक प्रारूप में 3 गीगाबाइट लेख प्रदान किए, और मैंने फैसला किया कि यह कुछ पाठ प्रसंस्करण विधियों का परीक्षण करने का एक शानदार अवसर था। इसी समय, यदि आप भाग्यशाली हैं, तो रूसी पत्रकारिता, समाज और सामान्य रूप से कुछ नया सीखें।

सामग्री:

• अजगर में जोंस आयात करने के लिए MongoDB
• पाठ को साफ और सामान्य करना
• टैग मेघ
• एलडीए थीम्ड मॉडलिंग
• लोकप्रियता की भविष्यवाणी: XGBClassifier, LogisticRegression, एम्बेडिंग और LSTM
• Word2Vec का उपयोग करते हुए वस्तुओं की खोज

अजगर में जोंस आयात करने के लिए MongoDB

दुर्भाग्य से, ग्रंथों के साथ जसन थोड़ा टूट गया, यह मेरे लिए महत्वपूर्ण नहीं है, लेकिन अजगर ने फाइल के साथ काम करने से इनकार कर दिया। इसलिए, मैंने पहली बार इसे MongoDB में आयात किया, और उसके बाद ही, pongongo लाइब्रेरी से MongoClient के माध्यम से, मैंने सरणी को लोड किया और इसे csv में टुकड़ों में संग्रहीत किया।

टिप्पणियों से: 1. मुझे सूडो सर्विस मेंड स्टार्ट कमांड के साथ डेटाबेस शुरू करना था - अन्य विकल्प भी हैं, लेकिन उन्होंने काम नहीं किया; 2. mongoimport - एक अलग अनुप्रयोग, यह केवल टर्मिनल से mongo कंसोल से शुरू नहीं होता है।

डेटा अंतराल साल भर में समान रूप से वितरित किए जाते हैं। मेरी योजना एक वर्ष से कम की अवधि का उपयोग करने की नहीं है, मुझे उम्मीद है कि यह निष्कर्ष की शुद्धता को प्रभावित नहीं करेगा।

पाठ को साफ और सामान्य करना

सरणी का सीधे विश्लेषण करने से पहले, आपको इसे एक मानक रूप में लाने की आवश्यकता है: विशेष वर्णों को हटा दें, पाठ को निचले मामले में परिवर्तित करें (पांडा स्ट्रिंग के तरीकों ने बहुत अच्छा काम किया), स्टॉप शब्द हटा दें (stopwords.words ('रूसी') nltk.orpus से), शब्दों को उनके सामान्य रूप में लौटाएं। नींबू पानी का उपयोग करना (pymorphy2.MorphAnalyzer)।

कुछ दोष थे, उदाहरण के लिए, दिमित्री पेसकोव "दिमित्री" और "रेत" में बदल गया, लेकिन कुल मिलाकर मैं परिणाम से प्रसन्न था।

टैग मेघ

एक बीज के रूप में, आइए देखें कि सबसे सामान्य रूप में क्या प्रकाशन हैं। हम उन 50 सबसे लगातार शब्दों को प्रदर्शित करेंगे जिनका उपयोग लेंटा के पत्रकारों ने 1999 से 2017 तक टैग क्लाउड के रूप में किया था।

रिया नोवोस्ती (सबसे लोकप्रिय स्रोत), बिलियन डॉलर और मिलियन डॉलर (वित्तीय विषय), वर्तमान (सभी समाचार साइटों के लिए आम संचलन), कानून प्रवर्तन एजेंसी और आपराधिक मामला (आपराधिक समाचार) ), "प्रधान मंत्री" और "व्लादिमीर पुतिन" (राजनीति) - समाचार पोर्टल के लिए अपेक्षित शैली और विषय।

एलडीए थीम्ड मॉडलिंग

हम gensim से LDA का उपयोग करके प्रत्येक वर्ष के लिए सबसे लोकप्रिय विषयों की गणना करते हैं। LDA (विषयवस्तु अव्यवस्थित प्लेसमेंट विधि का उपयोग करके विषयगत मॉडलिंग) स्वचालित रूप से लेखों में देखे गए शब्द आवृत्तियों द्वारा छिपे हुए विषयों (शब्दों का एक सेट जो एक साथ और सबसे अधिक बार होता है) को प्रकट करता है।

घरेलू पत्रकारिता की आधारशिला रूस, पुतिन, संयुक्त राज्य अमेरिका थी।

कुछ वर्षों में, यह विषय चेचन युद्ध (1999 से 2000 तक), 11 सितंबर - 2001 में और इराक (2002 से 2004 तक) के साथ पतला था। 2008 से 2009 तक, अर्थव्यवस्था पहले स्थान पर रही: ब्याज, कंपनी, डॉलर, रूबल, अरब, मिलियन। 2011 में, वे अक्सर गद्दाफी के बारे में लिखते थे।

2014 से 2017 तक यूक्रेन के वर्ष शुरू हुए और रूस में जारी रहे। शिखर 2015 में हुआ था, फिर प्रवृत्ति में गिरावट शुरू हुई, लेकिन अभी भी उच्च स्तर पर बनी हुई है।

यह दिलचस्प है, ज़ाहिर है, लेकिन ऐसा कुछ भी नहीं है जिसके बारे में मुझे पता नहीं होगा या अनुमान नहीं होगा।

आइए दृष्टिकोण को थोड़ा बदलें - पूरे समय के लिए शीर्ष विषयों का चयन करें और देखें कि उनका अनुपात वर्ष-दर-वर्ष कैसे बदल गया है, अर्थात हम विषयों के विकास का अध्ययन करेंगे।

सबसे अधिक व्याख्या किया गया विकल्प शीर्ष 5 था:

1. अपराध (पुरुष, पुलिस, होता है, हिरासत में, पुलिसकर्मी);
2. राजनीति (रूस, यूक्रेन, राष्ट्रपति, यूएसए, प्रमुख);
3. संस्कृति (स्पिनर, purulent, instagram, rambling - हाँ, यह हमारी संस्कृति है, हालांकि विशेष रूप से यह विषय मिश्रित रूप से बदल गया है);
4. खेल (मैच, टीम, खेल, क्लब, एथलीट, चैम्पियनशिप);
5. विज्ञान (वैज्ञानिक, अंतरिक्ष, उपग्रह, ग्रह, सेल)।

अगला, हम प्रत्येक लेख लेते हैं और देखते हैं कि यह किसी विशेष विषय से कैसे संबंधित है, परिणामस्वरूप, सभी सामग्रियों को पांच समूहों में विभाजित किया जाएगा।

सभी प्रकाशनों में से 80% के तहत यह नीति सर्वाधिक लोकप्रिय हुई। हालांकि, 2014 में राजनीतिक सामग्रियों की लोकप्रियता का चरम पारित किया गया था, अब उनकी हिस्सेदारी कम हो रही है, और अपराध और खेल के सूचना एजेंडे में योगदान बढ़ रहा है।

हम संपादकों द्वारा दर्शाई गई सबहेडिंग का उपयोग करके विषयगत मॉडल की पर्याप्तता की जांच करेंगे। 2013 के बाद से शीर्ष उपश्रेणियों की कमोबेश सही पहचान की गई है।

किसी विशेष विरोधाभास पर ध्यान नहीं दिया गया: 2017 में राजनीति स्थिर है, फुटबॉल और घटनाएं बढ़ रही हैं, यूक्रेन अभी भी चलन में है, 2015 में एक शिखर के साथ।

लोकप्रियता की भविष्यवाणी: XGBClassifier, LogisticRegression, एम्बेडिंग और LSTM

आइए यह समझने की कोशिश करें कि क्या पाठ से टेप पर किसी लेख की लोकप्रियता की भविष्यवाणी करना संभव है, और यह लोकप्रियता आम तौर पर क्या निर्भर करती है। लक्ष्य चर के रूप में, मैंने 2017 के लिए फेसबुक रिपॉस्ट की संख्या ली।

2017 के लिए 3 हजार लेखों में Fb पर रिपॉजिट नहीं थे - उन्हें "अलोकप्रिय" वर्ग सौंपा गया था, सबसे बड़ी संख्या में रिपॉस्ट के साथ 3 हजार लेखों को "सबसे लोकप्रिय" लेबल प्राप्त हुआ।

पाठ (2017 के लिए 6 हजार प्रकाशन) को unograms और bigrams (टोकन शब्दों, एकल और दो-शब्द वाक्यांशों) में विभाजित किया गया था और एक मैट्रिक्स का निर्माण किया गया था जहां कॉलम टोकन हैं, पंक्तियां लेख हैं, और चौराहे पर सापेक्ष है लेखों में शब्दों की घटना की आवृत्ति। स्केलेर से उपयोग किए गए कार्य - काउंटवेक्टराइज़र और टीएफडीएफट्रांसफॉर्मर।

तैयार किए गए डेटा को इनपुट XGBClassifier (एक्सग्बॉस्ट लाइब्रेरी से ग्रेडिएंट बूस्टिंग के आधार पर क्लासिफायरफ़ायर) को खिलाया गया था, जिसके 13 मिनट बाद हाइपरपरमेटर्स (ग्रिड = 3 के साथ ग्रिडसर्च सीवी) ने टेस्ट पर 76% सटीकता दी।

तब मैंने सामान्य लॉजिस्टिक रिग्रेशन (sklearn.linear_model.LogisticRegression) का उपयोग किया और 17 सेकंड के बाद मुझे 81% की सटीकता प्राप्त हुई।

एक बार फिर मुझे विश्वास है कि ग्रंथों के वर्गीकरण के लिए रैखिक तरीके सबसे उपयुक्त हैं, बशर्ते कि डेटा सावधानी से तैयार किया गया हो।

फैशन के लिए एक श्रद्धांजलि के रूप में, मैंने तंत्रिका नेटवर्क का थोड़ा परीक्षण किया। उन्होंने शब्द का अनुवाद keras से one_hot का उपयोग करते हुए किया, सभी लेखों को एक ही लंबाई (keras से pad_fterences फ़ंक्शन) तक लाया और एम्बेडिंग लेयर (आयाम को कम करने और प्रसंस्करण समय को गति देने के लिए) के माध्यम से LSTM (कन्वेन्शनल न्यूरल नेटवर्क, TensorFlow बैकेंड का उपयोग करते हुए) को लागू किया।

नेटवर्क ने 2 मिनट में काम किया और 70% के परीक्षण पर सटीकता दिखाई। यह बिल्कुल भी सीमित नहीं है, लेकिन इस मामले में यह बहुत परेशान करने का कोई मतलब नहीं है।

सामान्य तौर पर, सभी विधियां अपेक्षाकृत कम सटीकता का उत्पादन करती हैं। अनुभव से पता चलता है, वर्गीकरण एल्गोरिदम विभिन्न प्रकार की शैलियों के साथ अच्छी तरह से काम करते हैं - कॉपीराइट सामग्री पर, दूसरे शब्दों में। Lenta.ru पर ऐसी सामग्रियां हैं, लेकिन उनमें से बहुत कम हैं - 2% से कम।

मुख्य सरणी तटस्थ समाचार शब्दावली का उपयोग करके लिखी गई है। और समाचारों की लोकप्रियता का निर्धारण पाठ द्वारा ही नहीं किया जाता है और इस तरह के विषय के रूप में भी नहीं किया जाता है, लेकिन एक ऊर्ध्व सूचना प्रवृत्ति से संबंधित है।

उदाहरण के लिए, यूक्रेन में कुछ लोकप्रिय लेख घटनाओं को कवर करते हैं, कम से कम लोकप्रिय लोग लगभग इस विषय की चिंता नहीं करते हैं।

Word2Vec का उपयोग करते हुए वस्तुओं की खोज

अंत में, मैं एक भावुक विश्लेषण करना चाहता था - यह समझने के लिए कि पत्रकार अपने लेखों में उन सबसे लोकप्रिय वस्तुओं से कैसे संबंधित हैं, जो समय के साथ बदलते हैं।

लेकिन मेरे पास चिह्नित डेटा नहीं है, और सिमेंटिक थिसौरी पर एक खोज सही ढंग से काम करने की संभावना नहीं है, क्योंकि समाचार शब्दावली बहुत तटस्थ है, भावनाओं के साथ कंजूस है। इसलिए, मैंने उस संदर्भ पर ध्यान केंद्रित करने का फैसला किया जिसमें वस्तुओं का उल्लेख किया गया है।

मैंने परीक्षण के रूप में यूक्रेन (2015 बनाम 2017) और पुतिन (2000 बनाम 2017) लिया। मैंने उन लेखों का चयन किया जिनमें उनका उल्लेख किया गया है, पाठ को एक बहुआयामी वेक्टर अंतरिक्ष (gensim.models से वर्ड 2 वीईसी) में अनुवाद किया और मुख्य घटक विधि का उपयोग करके इसे दो-आयामी पर अनुमानित किया।

चित्रों को प्रस्तुत करने के बाद, वे महाकाव्य के रूप में निकले, जो कि बेयूबेक के टेपेस्ट्री के आकार से कम नहीं था। मैंने धारणा को आसान बनाने के लिए आवश्यक समूहों को काट दिया, जैसा कि मैं कर सकता था, "गीदड़ों" के लिए खेद है।

मैंने क्या देखा।

2000 मॉडल के पुतिन हमेशा रूस के संदर्भ में प्रकट हुए हैं और व्यक्तिगत रूप से संबोधित किया है। 2017 में, रूसी संघ का अध्यक्ष एक नेता में बदल गया (जिसका अर्थ है कि) और देश से खुद को दूर कर दिया, अब, संदर्भ से देखते हुए, वह क्रेमलिन का प्रतिनिधि है जो अपने प्रेस सचिव के माध्यम से दुनिया के साथ संवाद करता है।

रूसी मीडिया में यूक्रेन -2015 - युद्ध, लड़ाई, विस्फोट; यह अविकसित (कीव कहा गया है, कीव शुरू हुआ) का उल्लेख किया गया है। यूक्रेन -2017 मुख्य रूप से अधिकारियों के बीच बातचीत के संदर्भ में प्रकट होता है, और इन व्यक्तियों के विशिष्ट नाम हैं।

...

आप कुछ समय के लिए प्राप्त जानकारी की व्याख्या कर सकते हैं, लेकिन, जैसा कि मुझे लगता है, यह इस संसाधन पर एक अपमानजनक संसाधन है। जिन्हें इच्छा हो वे अपने लिए देख सकते हैं। मैं कोड और डेटा संलग्न करता हूं।

स्क्रिप्ट लिंक

डेटा लिंक