कार्य: रूसी में पाठ से मुख्य भाव निकालने के लिए। पायथन एनएलपी

शुरुआत में क्या चाहिए था:

• एक कार्यक्रम "मछली पकड़ने" रूसी में कच्चे पाठ से एक विशिष्ट उद्योग में उत्पादों के अद्वितीय नाम। कच्चा पाठ - एक पाठ जो एक व्यक्ति ने लिखा, बस अपने विचारों को व्यक्त किया और शब्दों की सूची के गठन या चयन के बारे में परवाह नहीं की;
• स्वचालित रूप से प्राप्त शब्दों की सूची;
• पाठ के लिए सूची को हैशटैग या कीवर्ड के सेट में बदलने के लिए न्यूनतम मैनुअल या स्वचालित प्रसंस्करण।

मेरा मानना ​​है कि किसी लेख, पोस्ट, टिप्पणी, नोट, रिपोर्ट आदि को लिखने या विश्लेषण करने के बाद बहुत से लोग हर दिन समस्या का सामना करते हैं। इसलिए मेरे व्यवसाय से मुझे दिन में कई बार इस समस्या से जूझना पड़ता था। इसलिए, यह कहा जा सकता है कि शब्द के अच्छे अर्थ में "आलस्य", मुझे स्वचालन के विचार तक ले गया।

अब, जब मैं इस लेख को लिख रहा हूं, तो विचार संरक्षित किया गया है, लेकिन अंतिम परिणाम के डेटा सेट में बहुत बदलाव आया है:

• शब्दों का चयन नहीं किया जाता है, लेकिन शब्दों सहित प्रमुख वाक्यांश;
• प्रमुख अभिव्यक्तियों की सूची 16 विभिन्न मार्करों के साथ चिह्नित है;
• पाठ के सभी शब्द (गैर-कुंजी वाले सहित) लेमेटेट किए गए हैं - प्रारंभिक रूप में दिए गए हैं या प्रदर्शित प्रारूप के तहत एकीकृत हैं;
• पाठ के प्रत्येक शब्द में पाठ में स्थिति और पुनरावृत्ति की संख्या से संबंधित अतिरिक्त विश्लेषण हैं।

Nrlpk (कुंजी द्वारा प्राकृतिक रूसी भाषा प्रसंस्करण) सॉफ्टवेयर परिणाम के लिए डेटा तैयार करते हैं:

• विषयों और उद्योगों की एक असीमित श्रेणी के ग्रंथों का विश्लेषण (विकास और परीक्षण उद्योग और सैन्य-औद्योगिक जटिल सामग्रियों के आधार पर किया गया था - सैन्य औद्योगिक परिसर);
• स्वचालित रूब्रिकेशन, वर्गीकरण, कैटलॉगिंग, सामग्रियों का भौतिककरण (ऑनलाइन साइट्स);
• सिस्टम रिस्पांस सेटिंग्स (बंद लूप या ऑनलाइन में सुरक्षा सेवाओं और सिस्टम) के साथ सामग्री की निगरानी और फ़िल्टरिंग;
• ग्रंथों के बहुपरत मार्कअप (एआई)।

गुणवत्ता

पूरे लेख के माध्यम से उन लोगों को खींचने के लिए नहीं जो केवल संख्याओं में विश्वास करते हैं, और शब्दों में नहीं और जो लोग पूर्ण गुणवत्ता की अपेक्षा करते हैं और उन्हें स्वीकार नहीं करते हैं ...

नमूने की गुणवत्ता 95-100% की सीमा में है जब आकार में 3,500 शब्दों से अधिक नहीं लेख पर परीक्षण। बिखराव प्रस्तुति की गुणवत्ता और जटिलता से संबंधित है। यहां उन लेखों में से एक का उदाहरण दिया गया है जो परीक्षण में भाग लेते हैं, और यहां इसके स्वचालित विश्लेषण का परिणाम है ।

प्राप्त गुणवत्ता अंतराल से लगभग 7-10% निकालना आवश्यक है, अर्थात। गुणवत्ता का वास्तविक स्तर संभवतः 85-93% होगा। यह इस तथ्य के कारण है कि:

• परीक्षण प्रक्रिया के दौरान, चयनित डेटा परिवर्तन की आवश्यकताएं, जिन्हें मैंने पहले नहीं देखा था और मुझे विश्वास है कि मैं अब सब कुछ नहीं देखता हूं;
• मैन्युअल रूप से सामंजस्य बनाते समय, मेरी व्यक्तिपरक राय है कि वास्तव में एक लेख में एक कुंजी के रूप में क्या पहचाना जा सकता है और क्या नहीं - और यह सबसे अधिक संभावना है कि लेख के लेखकों की राय के साथ कुंजी से मेल नहीं खाती है।

परीक्षण किए गए लेखों की एक पूरी सूची, और परिणामों के विस्तृत आंकड़े गिटहब पर पाए जा सकते हैं ।

प्रत्येक लेख में परिणाम की गुणवत्ता को विशेष रूप से प्रभावित करने के लिए GitHub पर कारण फ़ाइल में पाया जा सकता है ।

परिणाम कैसे पढ़ें

एक विशिष्ट लेख के विश्लेषण के लिए प्रत्येक फ़ोल्डर में, यूनिकोड में डेटा सेट के साथ 5 फाइलें हैं:

1. words.csv - अज्ञात शब्दों की सूची सहित प्रासंगिक शब्दों की एक सूची;
2. Keys.csv - कीवर्ड की एक सूची है, जिसमें अब चिह्नित अभिव्यक्तियों के अलावा, ऐसे शब्द भी हैं जो पाठ में कम से कम निर्दिष्ट संख्या में दोहराए जाते हैं - इस मामले में, कम से कम 4 बार;
3. gar कचरा.csv - अज्ञात शब्दों की सूची;
4. descr_words.csv - पाठ के सभी शब्दों की सूची के लिए विवरण (आँकड़े);
5. descr_keys.csv - कीवर्ड की सूची का विवरण (आंकड़े);

और reason_quality.txt लेख से मैन्युअल रूप से चयनित और कुंजियों को याद करने या गलत तरीके से प्राप्त किए गए लेख से अभिव्यक्ति की एक (वैकल्पिक) सूची है (लेखक nrlpk के अनुसार)।

GitHub पर लीजेंड फ़ाइल से इन फ़ाइलों को पढ़ना सीख सकते हैं ।

nrlpk आपको निम्न में से किसी एक प्रारूप में डेटा सेट करने की अनुमति देता है:

• पंडों डेटाफ़्रेम (डिफ़ॉल्ट);
• अजगर शब्दकोश;
• JSON;
• CSV फ़ाइल।

परीक्षण पद्धति

1. सॉफ्टवेयर (स्वचालित) पाठ विश्लेषण।
2. स्वचालित रूप से सूची के साथ मुख्य भावों की मैनुअल (आंखों के द्वारा) पहचान, मैनुअल (अंकन) और मुख्य अभिव्यक्तियों की सूची का सामंजस्य ।
3. गुणवत्ता के प्रतिशत की गणना: पाठ में शब्दों की कुल संख्या के लिए गलत अभिव्यक्तियों की संख्या या गलत तरीके से गलत + शब्दों की संख्या।

उपकरण

nrlpk को Python 3.7.0 में लिखा गया है। पहले से ही भविष्य के nrlpk सॉफ्टवेयर को विकसित करने की प्रक्रिया में, दो अनिवार्य आवश्यकताएं दिखाई दीं:

• अभिव्यक्ति का चयन करें, शब्दों का नहीं - शब्दों सहित;
• विशेष उद्योग शब्दों के शब्दकोश की उपस्थिति।

इन आवश्यकताओं ने एनएलटीके और pymorphy2 के उपयोग पर सवाल उठाया है, जो कुछ चुनौतियों को हल कर सकता है।

संदेह को दूर करने के लिए, मैनुअल चयन सैन्य-औद्योगिक परिसर के सबसे बड़े रूसी भाषा के समाचार एग्रीगेटर से लिए गए मीडिया के ग्रंथों के चयन से बना था - VPK.Name । लेबलिंग विश्लेषण से पता चला:

• डेटा की एक पूरी परत जो शब्द-दर-शब्द टोकन और लेमेटाइजेशन के अधीन नहीं होनी चाहिए;
• 80% से अधिक लेखों में लेखकों को अनुमति देने वाले व्याकरणिक अशुद्धियों को सही करने के लिए पाठ के एक गंभीर परिवर्तन के वाक्यों के अनुसार टोकन के कई मामलों में असंभवता। ये गलतियाँ किसी भी तरह से किसी व्यक्ति द्वारा पाठ की धारणा को प्रभावित नहीं करती हैं, लेकिन मशीन द्वारा ऐसे पाठ की धारणा और व्याख्या को काफी प्रभावित करती हैं।

इसके अलावा, पहले से ही इस स्तर पर, संसाधित होने वाली वस्तुओं के बारे में कई सांख्यिकीय जानकारी एकत्र करने और संग्रहीत करने की आवश्यकता स्पष्ट हो गई।

इन कारकों को देखते हुए, पंडों को डेटा के साथ काम करने के लिए मूल पैकेज के रूप में चुना गया था, जो कि ऊपर वर्णित कार्यों के अलावा, बैच लेमेटरीकरण को पूरा करना संभव बनाता है।

रूसी भाषा के उपलब्ध शब्दकोशों का विश्लेषण करने के बाद, OpenCorpora को आधार के रूप में लिया गया था, जो , वैसे, pymorphy2 में भी उपयोग किया जाता है।
इसने पंडों के साथ काम करने के लिए सुविधाजनक रूप में परिवर्तन किया, जिसके बाद निम्नलिखित शब्दकोशों को इसमें से चुना गया:

• बड़े - शब्दों का पूरा आधार;
• बुरे शब्द - वे शब्द जिन्हें महत्व के अभाव में पाठ के विश्लेषण से बाहर रखा गया है;
• विशेष - विशेष (उद्योग) शब्दों का एक शब्दकोश। शब्दकोश में उचित नाम शामिल नहीं हैं: नाम, नाम, उपनाम, पते, उत्पाद, उत्पाद, कंपनियां, व्यक्ति, आदि। यह एक मौलिक और सूचित निर्णय है, क्योंकि किसी भी जीवित उद्योग / दिशा में, इस तरह के दृष्टिकोण के लिए शब्दकोशों की निरंतर निगरानी और मैनुअल जोड़ की आवश्यकता होती है, जो स्वचालन के माध्यम से श्रम को सुविधाजनक बनाने के विचार को बर्बाद कर देता है;

किसी भी बाहरी कार्यक्रम से प्रबंधन के लिए सरल पाठ प्रारूप में डिस्क्स को यूनिकोड से बचाया जाता है।

चूँकि nrlpk और pymorphy2 में शब्दकोशों का आधार समान है, भाषण (ग्रामे) के भागों का पदनाम समान है। वर्तमान में मार्करों (अमानक व्याकरण) की संख्या 16 है और उनमें से अधिकांश, यदि चिह्नित अभिव्यक्तियों में मार्कर के अलावा कई शब्द शामिल नहीं हैं, तो मूल ग्राम के भाषण भाग का एक पदनाम भी है। Pymorphy2 के साथ मिलान मार्कर (गैर-मानक ग्राम) का पदनाम समान है, विशेष रूप से:

• NUMB एक संख्या है;
• रोम एक रोमन संख्या है;
• UNKN - टोकन को पार्स नहीं किया जा सकता है।

वैसे, संख्यात्मक डेटा वाले भावों के लिए, nrlpk में, NUMB और ROMN के अलावा, निम्नलिखित मार्करों का अतिरिक्त उपयोग किया जाता है:

• NUSR - अभिव्यक्ति में एक या अधिक संख्यात्मक डेटा शामिल हैं;
• MATH - अभिव्यक्ति में एक गणितीय सूत्र है।

एक बहु-शब्द खोजशब्द अभिव्यक्ति क्या है? उदाहरण के लिए, NUSR:

• यदि पाठ 25 फरवरी, 2020 है, तो 25 फरवरी, 2020 को मुख्य अभिव्यक्ति "02.25.2020", ग्राम "NUSR" और मार्कर NUSR के साथ होगी;
• हालाँकि, यदि पाठ "25 फरवरी, 2020" कहता है, तो मुख्य अभिव्यक्ति "25 फरवरी, 2020" होगी, जिसमें लेम्मा "2f2g", ग्राम "WIQM" और मार्कर WIQM होगा;
• यदि पाठ में 25 टन हैं, तो कुंजी में हम "25 टन" देखेंगे, लेम्मा "2t" के साथ, जहां "NUSR" का उपयोग ग्राम और मार्कर के रूप में भी किया जाएगा।

आपको शब्दों और कुंजियों का वर्णन करने की आवश्यकता क्यों थी

सबसे पहले, nrlpk एल्गोरिदम के संचालन की जांच करना आवश्यक था - क्या शब्द खो गए थे, अगर एक अनावश्यक संघ था, तो पाठ में कुंजियों का अनुपात क्या है, आदि।

लेकिन जैसा कि सॉफ्टवेयर डिबग किया जा रहा था, कुछ "नियमितताएं" दिखाई देने लगीं, जिनमें से, एक कार्य के रूप में, की पहचान nrlpk को नहीं दी गई थी:

• वर्तनी त्रुटियों के साथ लिखे गए शब्दों की पहचान;
• खराब शैली के साथ ग्रंथों की पहचान, खराब -%> 35% (परीक्षण के परिणामस्वरूप व्यावहारिक अवलोकन);
• लक्ष्य की पहचान (संकीर्ण रूप से केंद्रित, स्पष्ट रूप से स्थिति) ग्रंथों - स्के-% <संख्यात्मक अंकों के बिना 5 (परीक्षण के परिणामस्वरूप व्यावहारिक अवलोकन);
• उन ग्रंथों की पहचान जो उद्योग के विषयों के अधीन नहीं हैं - skeys-% <1।

उदाहरण के लिए, सांख्यिकी संकेतकों के पारस्परिक संयोजन का विश्लेषण कम दिलचस्प नहीं हो सकता है:

• "व्यापक दायरे" के ग्रंथों की पहचान - कुंजी -%> 45% ukeys-% के साथ कुंजी-% के लिए रुझान।

यह सब क्यों लिखा गया है

nrlpk रूसी ग्रंथों के प्रसंस्करण के लिए वर्तमान गुणवत्ता संकेतकों के साथ काम करने की तत्परता की स्थिति में है, लेकिन एक सेवा के रूप में प्रदान नहीं किया गया है। लेखक के पास गुणवत्ता का प्रतिशत बढ़ाने और इस प्रतिशत को स्थिर करने की दिशा में विकास की स्पष्ट और समझने योग्य दिशाएँ हैं। इस कार्य को विकसित करने के लिए, एक रणनीतिक निवेशक और / या एक नए कॉपीराइट धारक को परियोजना के आगे के विकास के लिए तैयार लक्ष्यों के लिए आवश्यक है।

पुनश्च

इसके लिए लेबल (प्रारंभिक - हैबे पर थोड़ा बदला हुआ) पाठ (नीचे सूचीबद्ध) स्वचालित रूप से निम्न मानकों के साथ nrlpk द्वारा उत्पन्न होता है:

• संख्यात्मक डेटा के साथ अभिव्यक्तियों को कुंजियों के रूप में न पहचानें;
• पाठ में दोहराए गए शब्दों को कम से कम 8 बार कुंजी के रूप में पहचानें।

इस लेख के प्रसंस्करण nrlpk के परिणाम पर विस्तृत डेटा GitHub पर पाया जा सकता है ।

पोस्ट करनेवाले: avl33