कारक विश्लेषण का उपयोग करके समाचार का विषयगत मॉडलिंग

हाय साथियों! 30 सेकंड में 20,000 समाचारों से मुख्य विषयों को कैसे उजागर करें? विषयगत मॉडलिंग का अवलोकन जो हम TASS में करते हैं, साथियों और कोड के साथ करते हैं।

इसके साथ शुरू करने के लिए, इस नोट में दी गई जानकारी एक प्रोटोटाइप का हिस्सा है जिसे ITAR-TASS डिजिटल प्रयोगशाला में विकसित किया जा रहा है ताकि व्यवसाय के "डिजिटलाइजेशन" का समर्थन किया जा सके। समाधान में लगातार सुधार हो रहा है, मैं वर्तमान खंड का वर्णन करूंगा, यह, जाहिर है, सृजन का ताज नहीं होगा, बल्कि आगे के विकास के लिए एक समर्थन होगा।

बड़ा विचार है

समाचार एजेंडे के अलावा, जिस पर TASS संपादकीय कार्यालय रोज़ाना काम करते हैं, यह समझना अच्छा है कि रूसी मीडिया में कौन से विषय सबसे अधिक समाचार पृष्ठभूमि बनाते हैं। यह अंत करने के लिए, हम हर मिनट, 24/7 में 300 सबसे लोकप्रिय साइटों से नवीनतम समाचार एकत्र करते हैं; तब सबसे दिलचस्प बात आती है - मॉडलिंग के तरीकों और प्रयोगों की पसंद।

जब जादू सत्र समाप्त होता है, तो मेरे सहयोगी, संपादक और प्रबंधक समाचार विषयों के साथ रिपोर्ट का उपयोग करना शुरू कर देंगे। मेरा मानना ​​है कि सॉफ्टवेयर विकास और डेटा साइंस के क्षेत्र से बाहर के लोगों के लिए, टेक्स्ट डेटा का स्वचालित प्रसंस्करण, विश्लेषण और दृश्य थोड़ा जादुई दिखता है। उच्च तकनीक से किसी व्यक्ति को अलग-थलग करने के कारण, उनके काम में विभिन्न खामियों के कारण अंदर और निराशा की समझ की कमी हो सकती है। नकारात्मक प्रतिक्रिया को कम करने के लिए, मैं उत्पाद को सरल और अधिक विश्वसनीय बनाने की कोशिश करता हूं। और विषयगत मॉडलिंग के सार को समझकर इस तथ्य को कम किया जा सकता है कि एक विषय से संबंधित समाचार और किसी अन्य विषय में समाचार से भिन्न एक विषय से संबंधित है।

मैं अब लगभग एक साल से विषयगत मॉडलिंग के साथ प्रयोग कर रहा हूं। दुर्भाग्य से, मैंने जिन तरीकों की कोशिश की उनमें से अधिकांश ने मुझे समाचार विषयों को भरने का एक बहुत ही संदिग्ध गुण दिया। उसी समय, मैंने लोकप्रिय क्लस्टरिंग लाइब्रेरी से विधियों में मापदंडों का चयन करने के तर्क के अनुसार क्रियाएं कीं। लेकिन मेरे पास लेबल वाला डेटासेट नहीं है। इसलिए, हर बार मैं उन ग्रंथों के चयन को देखता हूं जो किसी विशेष विषय में आते हैं। यह मामला बल्कि तल्ख है और आभारी नहीं है।

इस कार्य की एक विशेष बात यह है कि कई विशेषज्ञ, चुने हुए विषय में शामिल समाचारों को देखते हुए, उन्हें एक डिग्री या किसी अन्य अनुचित के लिए पाएंगे। उदाहरण के लिए, सीरिया में ऑपरेशन की शुरुआत के बारे में एर्दोगन के बयान के साथ खबर और सीरिया में ऑपरेशन शुरू होने के बाद पहली रिपोर्टों वाली खबर को एक या कई विषयों के रूप में समझा जा सकता है। तदनुसार, मीडिया, TASS या किसी अन्य समाचार एजेंसी के हवाले से, इस और इस बारे में और इसके बारे में ग्रंथों की एक श्रृंखला लिखेगा। और मेरे एल्गोरिथ्म के परिणाम के आधार पर उन्हें संयोजित या अलग करना होगा ... शब्द आवृत्ति वैक्टर के बीच कोण का कोसाइन, स्वीकार किए गए एक प्राथमिकता की संख्या या निकटतम पड़ोसियों को खोजने की विधि में त्रिज्या।

सामान्य तौर पर, यह पूरा बड़ा विचार उतना ही नाजुक है जितना कि यह सुंदर है।

कारक विश्लेषण क्यों?

क्लस्टरिंग ग्रंथों के तरीकों पर एक करीबी नज़र से पता चलता है कि उनमें से प्रत्येक कई मान्यताओं पर आधारित है। यदि मान्यताओं का अध्ययन की जा रही समस्या के अनुरूप नहीं है, तो परिणाम दृढ़ता से पक्ष में हो सकता है। कारक विश्लेषण की धारणा मुझे लगती है - और कई अन्य शोधकर्ताओं के लिए - मॉडलिंग विषयों के कार्य के करीब।

20 वीं शताब्दी की शुरुआत में बनाया गया, यह दृष्टिकोण इस विचार पर आधारित था कि, नमूने के अवलोकनों को चिह्नित करने वाले चर के अलावा, छिपे हुए कारक हैं, जो थोड़ा अनौपचारिक रूप से बोलते हैं, कुछ मनाया चर के साथ सहसंबंधी हैं। उदाहरण के लिए, प्रश्न का उत्तर "क्या आप ईश्वर में विश्वास करते हैं" और "क्या आप चर्च में जाते हैं" बल्कि अलग से संयोग करेंगे। यह माना जा सकता है कि "धार्मिकता का कारक" है, जो परस्पर संबंधित चर के एक सेट में प्रकट होता है। उसी समय, यह मापने का अवसर भी है कि चर उनके छिपे हुए कारक से कितनी दृढ़ता से संबंधित हैं।

ग्रंथों के लिए, समस्या का विवरण निम्नलिखित है। एक ही विषय का वर्णन करने वाले समाचारों में, समान शब्द होंगे। उदाहरण के लिए, शब्द "सीरिया", "एर्दोगन", "ऑपरेशन", "यूएसए", "निंदा" एक साथ अधिक बार उन समाचारों में मिलेगा जो तुर्की के सीरिया में सैन्य हस्तक्षेप की तैनाती के लिए समर्पित है, और संयुक्त राज्य अमेरिका से इस मामले पर प्रतिक्रिया के साथ ( एक ही क्षेत्र में एक भू-राजनीतिक खिलाड़ी के रूप में)।

यह एक अवधि के लिए समाचार एजेंडा के सभी महत्वपूर्ण कारकों को पूरा करने के लिए रहता है। ये समाचार विषय होंगे। लेकिन यह सब नहीं है ...

थोड़ा सा गणित

विषय मॉडलिंग तकनीकों में अनुभवी लोगों के लिए, मैं ऐसा बयान दे सकता हूं। कारक विश्लेषण का संस्करण जो मैंने कोशिश की वह एआरटीएम पद्धति का एक बहुत ही सरल संस्करण है।

लेकिन मैंने उन तरीकों के साथ प्रयोग करने का फैसला किया जहां स्वतंत्रता की कम डिग्री होती है, ताकि अंदर जो होता है वह बेहतर तरीके से समझा जा सके।

(बड़ा) ARTM pLSA से बाहर निकला, संभाव्य अव्यक्त अर्थ विश्लेषण, जो बदले में, एक विलक्षण मैट्रिक्स अपघटन - SVD पर आधारित LSA का विकल्प था।

इंटेलिजेंस फैक्टर विश्लेषण एसवीडी से आगे बढ़ता है कि यह चर और कारकों के बीच संबंधों की एक "सरल संरचना" प्रदान करता है, जो एसवीडी के लिए एक साधारण मामला नहीं हो सकता है, लेकिन इसमें सीमित है कि यह कारक मानों (स्कोर) की सही गणना करने के लिए डिज़ाइन नहीं किया गया है, फिर कारक मानों के वैक्टर हैं जो 2 या अधिक अवलोकन चर को बदल सकते हैं।

औपचारिक रूप से, बुद्धि कारक विश्लेषण का कार्य निम्नानुसार है:

$$

$$X = \ beta * F + \ epsilon$$

देखे गए चर कहां हैं

$$

$$X$$

छिपे हुए कारकों से रैखिक रूप से संबंधित है

$$

$$एफ$$

खोजने की जरूरत है

$$

$$\ बीटा$$

वह सब है! इन बीटा गुणांक को कारक विश्लेषण की दुनिया में लोडिंग कहा जाता है। थोड़ी देर बाद उनके महत्व पर विचार करें।

विश्लेषण के परिणाम पर पहुंचने के लिए, व्यक्ति विभिन्न तरीकों से आगे बढ़ सकता है। उनमें से एक जो मैंने उपयोग किया है वह शास्त्रीय अर्थों में मुख्य घटकों को खोजने के लिए है, जो तब "सरल संरचना" को उजागर करने के लिए घूमते हैं। मुख्य घटक सिर्फ मैट्रिक्स के एकवचन अपघटन से, या eigenvectors और मूल्यों में परिवर्तनशील-कोवरियन मैट्रिक्स के अपघटन के माध्यम से खिंचाव करते हैं। संभावना फ़ंक्शन को अधिकतम करके समस्या का समाधान भी किया जाता है। सामान्य तौर पर, कारक विश्लेषण विधियों का एक बड़ा "चिड़ियाघर" है, कम से कम 10 जो अलग-अलग परिणाम देते हैं, और यह उस विधि को चुनने की सिफारिश की जाती है जो सबसे अच्छा काम करती है।

लोड मैट्रिक्स का रोटेशन अलग-अलग तरीकों से भी किया जा सकता है, मैंने वेरिमैक्स - ऑर्थोगोनल रोटेशन की कोशिश की।

सब कुछ इतना जटिल क्यों है?

तथ्य यह है कि सांख्यिकीविदों और आवेदकों के बीच चर्चा मुख्य घटक, कारक विश्लेषण और उनके संयोजन की विधि के अंतर और समानता के बारे में नहीं रोकती है। खोज के क्षण से 100 से अधिक वर्षों के बाद भी नए ज्ञान के साथ कार्यप्रणाली की भरपाई की जाती है। एक सम्मानित सांख्यिकीविद् ने मुझे शब्दों के साथ समझ की सुविधा के लिए निम्नलिखित चित्र लाया: "यह बात है, इसे सुलझाओ।"



स्रोत

सभी इसे सुलझाते हैं!

बस मजाक कर रहा है)। अगले चरणों को समझने के लिए, यह पर्याप्त है कि मुख्य घटकों को अलग करने के बाद, हम उन्हें घुमाते हैं, चर के भीतर विचरण को समझाने से चर और कारकों के सहसंयोजक को समझाने के लिए।

इसके अलावा, मैं परमाणु कार्यों का उपयोग करके यह सब करता हूं, न कि केवल एक "बड़ा लाल बटन" दबाकर। यह दृष्टिकोण हमें मध्यवर्ती चरणों में डेटा में परिवर्तन को समझने की अनुमति देता है।

एलडीए कहां गया?

अद्यतन

मैंने अव्यक्त डिरिचलेट व्यवस्था पर अपने विचार जोड़ने का फैसला किया। मैंने यह लोकप्रिय तरीका आजमाया, लेकिन कुछ ही समय में एक साफ परिणाम नहीं मिल सका। इसका उपयोग करने के सरल उदाहरण, और "आइए खबर को राजनीति, अर्थव्यवस्था और संस्कृति में विभाजित करते हैं" वास्तव में काम करते हैं, लेकिन ... मेरे मामले में, मुझे राजनीति को 50 दिन के विषयों में विभाजित करना होगा, कहना होगा, जहां रूस, पुतिन और ईरान होंगे , और इस तरह के संकीर्ण विषयों के रूप में "कोकोरिन और मामेव की मुक्ति।" यह सब, वास्तव में, 1-2 समाचार एजेंसी समाचार, ने मीडिया में कई दर्जन बार उद्धृत किया।

इसके अलावा, डेटा की प्रकृति के बारे में धारणा, परिकल्पना की विशेषता है कि प्रत्येक पाठ विषय द्वारा एक संभावना वितरण है, मेरे काम के संदर्भ में मुझे थोड़ा कृत्रिम लगता है। कोई भी संपादक इस बात से सहमत नहीं है कि "गोलुनोव के खिलाफ मामले की बर्खास्तगी" विषयों का मिश्रण है। हमारे लिए, यह 1 विषय है। शायद, हाइपरपरमेटर्स को चुनना, एलडीए से इस तरह के विखंडन को प्राप्त करना संभव है, मैं इस सवाल को भविष्य के लिए छोड़ दूंगा।

कोड

मैं फिर से आर भाषा में डब करता हूं, इसलिए यह छोटा सा प्रयोग आर्यन होगा।

हम सहसंबद्ध यादृच्छिक मूल्यों के 3 जोड़े के साथ काम करते हैं। इस सेट में 3 छिपे हुए कारक हैं - सिर्फ स्पष्टता के लिए।

set.seed(1) x1 = rnorm(1000) x2 = x1 + rnorm(1000, 0, 0.2) x3 = rnorm(1000) x4 = x3 + rnorm(1000, 0, 0.2) x5 = rnorm(1000) x6 = x5 + rnorm(1000, 0, 0.2) dt <- data.frame(cbind(x1,x2,x3,x4,x5,x6)) M <- as.matrix(dt) sing <- svd(M, nv = 3) loadings <- sing$v rot <- varimax(loadings, normalize = TRUE, eps = 1e-5) r <- rot$loadings loading_1 <- r[,1] loading_2 <- r[,2] loading_3 <- r[,3] plot(loading_1, type = 'l', ylim = c(-1,1), ylab = 'loadings', xlab = 'variables'); lines(loading_2, col = 'red'); lines(loading_3, col = 'blue'); axis(1, at = 1:6, labels = rep('', 6)); axis(1, at = 1:6, labels = paste0('x', 1:6)) 

हम निम्नलिखित लोड मैट्रिक्स प्राप्त करते हैं:





"सरल संरचना" नग्न आंखों को दिखाई देती है।

और यहां बताया गया है कि एमजीके के पूरा होने के बाद लोड कितना सही लगता है:



लोगों के लिए यह समझना बहुत आसान नहीं है कि कौन से कारक किस चर से जुड़े हैं। इसके अलावा, इस तरह के वजन, मोडुलो को लिया गया, और मशीन की व्याख्या में विषयों पर शब्दों का एक बहुत ही अजीब वितरण होगा।

लेकिन, बो!, पहले तीन मुख्य घटकों (रोटेशन से पहले) में समझाया फैलाव का हिस्सा 99% तक पहुंच गया।

खबरों का क्या?

समाचार के लिए, हमारे चर X1, x2 ... xm पाठ में टोकन घटना की आवृत्ति (या tf-idf) बन जाते हैं। कई शब्द हैं! उदाहरण के लिए, प्रति सप्ताह 50,000 अद्वितीय शब्द सामान्य हैं। द्वि-चना और भी बड़ा होगा, समझदारी से। एकवचन अपघटन की जटिलता औसत है:

$$

$$m ^ 2 n + n ^ 3$$

यानी यह बहुत बड़ा है। एक धारा में 20,000 * 50,000 मान के मैट्रिक्स के अपघटन में कई घंटे लगते हैं ...

वास्तविक समय में विषयों को पढ़ने और एक डैशबोर्ड पर चमकदार प्रदर्शित करने में सक्षम होने के लिए, मुझे निम्नलिखित दर्दनाक कटऑफ आए:

• सबसे आम शब्दों के शीर्ष -10%
• स्व-पूर्ति सूत्र के अनुसार ग्रंथों का यादृच्छिक चयन:

$$

$$\ sqrt {n} * 500$$

जहाँ n सभी ग्रंथ हैं।

परिणामस्वरूप, मैं 30 सेकंड में एक दिन, 5 सेकंड में एक दिन साप्ताहिक डेटा संसाधित करता हूं। बुरा नहीं है! लेकिन, आपको यह समझना चाहिए कि समाचार रुझान केवल सबसे अच्छी तरह से खिलाया जाता है।

प्राप्त लोड होने के बाद, जो, मैं ध्यान देता हूं, कारकों के साथ देखे गए चर के सहसंयोजक के अनुमान हैं, मैं उन्हें संकेत (मॉड्यूल के माध्यम से, डिग्री के माध्यम से नहीं) से जारी करता हूं, जो कि इस्तेमाल की गई रोटेशन पद्धति के आधार पर बदल जाता है।

स्मरण करें कि एमएचसी के संचालन के बाद और वरीमैक्स के साथ रोटेशन के बाद लोड मैट्रिक्स कैसे अलग था। भार की विरलता, साथ ही तथ्य यह है कि प्रत्येक कारक के लिए उनका फैलाव अधिकतम हो गया था: बहुत बड़े और बहुत छोटे हैं, इस तथ्य को जन्म देंगे कि शब्दों को कारकों के बीच काफी सफाई से वितरित किया जाएगा, जो बदले में, आगे की ओर ले जाएगा और समाचार पाठ पर कारकों के वितरण में एक उच्च शिखर होगा।

विभिन्न विषयों में सबसे अधिक लोड किए गए शब्दों के उदाहरण (यादृच्छिक रूप से चयनित):







और अंत में, मैं ग्रंथों में प्रत्येक कारक के संबंध में भार का योग मानता हूं। सबसे मजबूत जीत: प्रत्येक पाठ के लिए, एक कारक का चयन किया जाता है जिसका भार अधिकतम होता है - दस्तावेज़ में शामिल शब्दों की संख्या को ध्यान में रखते हुए, जो - जैसा कि हमने रोटेशन के दौरान प्रदान किया है - लोड कारकों के बीच बहुत असमान वितरण है। इस पुनरावृत्ति में, सभी ग्रंथ (n) पहले से ही शामिल हैं, अर्थात पूर्ण नमूना।

उन विषयों के उदाहरण जो विशिष्ट समाचार ग्रंथों में भार के योग के संदर्भ में शीर्ष पर हैं (यादृच्छिक रूप से चयनित):







आज के लिए परिणाम।



अतिरिक्त जानकारी।

क्या करें?

यहां, पहली बात मैं तब करूंगा जब ... सामान्य रूप से, जब प्रेरणा आती है, तो मैं एक संकीर्ण गर्दन के साथ तंत्रिका नेटवर्क के प्रति घंटा प्रशिक्षण के लिए नौकरी को कॉन्फ़िगर करने का प्रयास करूंगा, जो मुझे छिपे हुए परत न्यूरॉन्स के रूप में कारकों का केवल एक गैर-रैखिक सन्निकटन देगा - विकृत मुख्य घटक -। सिद्धांत रूप में, सीखने की बढ़ी हुई गति का उपयोग करके सीखना जल्दी से किया जा सकता है। इसके बाद, छिपी हुई परत का वजन (किसी तरह सामान्यीकृत) टोकन भार की भूमिका निभाएगा। उन्हें पहले से ही स्वीकार्य गति से अंतिम प्रसंस्करण वातावरण में जल्दी से लोड किया जा सकता है। शायद यह चाल इस तथ्य को जन्म दे सकती है कि सप्ताह को 10 सेकंड में सभी ग्रंथों में संसाधित किया जाएगा: इस तरह के एक कठिन मामले के लिए सामान्य समय।

सब के सब, वह सब मैं कवर करना चाहता था। मुझे आशा है कि विषय मॉडलिंग विधि में यह छोटा सा भ्रमण आपको "बड़े लाल बटन" के तहत क्या किया जा सकता है, यह समझने की अनुमति देता है कि प्रौद्योगिकी से अलगाव को कम करें और संतुष्टि लाएं। यदि आप पहले से ही यह जानते हैं, तो मुझे तकनीकी या उत्पाद अर्थों की राय सुनने में खुशी होगी। हमारा प्रयोग हर समय विकसित और बदलता रहता है!