विकिपीडिया को जोड़कर पाठ वर्गीकरण की गुणवत्ता में सुधार

हम बहुभाषी ग्रंथों के एक बड़े संरचित स्रोत का उपयोग करते हैं - ग्रंथों के वर्गीकरण को बेहतर बनाने के लिए विकिपीडिया। आटोमैटिसवाद और स्वतंत्रता के उच्च स्तर के साथ दृष्टिकोण अच्छा है, जहां से विशेष वर्गीकरण समस्या हल हो रही है। हालांकि, सबसे बड़ा प्रभाव विषय के निर्धारण के कार्यों पर अपेक्षित है।

मुख्य विचार विकिपीडिया से केवल उन ग्रंथों को निकालना है जो दूसरों की अनदेखी करते हुए हमारी वर्गीकरण समस्या को हल करने में हमारी मदद करते हैं। यदि हम बिल्लियों के बारे में ग्रंथों को वर्गीकृत करते हैं, तो यह संभावना नहीं है कि हमें क्वांटम भौतिकी पर ग्रंथों की आवश्यकता होगी, हालांकि अन्य प्रकार के जानवरों पर पाठ उपयोगी हो सकते हैं। इस तरह के ग्रंथों का एक दूसरे से अलग होना वर्णित दृष्टिकोण का सार है।

विकिपीडिया, जैसा कि आप जानते हैं, ज्ञान और रुचियों के कई क्षेत्रों पर लेखों का एक संग्रह है। उसी समय, लेखों के एक महत्वपूर्ण हिस्से में एक समान विषय के लेखों के लिंक होते हैं, लेकिन अन्य भाषाओं में। ये अनुवाद नहीं हैं, अर्थात् एक सामान्य विषय के लेख। इसके अलावा, अधिकांश लेख एक या अधिक श्रेणियों में आते हैं। श्रेणियां, बदले में, एक पदानुक्रमित पेड़ के रूप में आयोजित अधिकांश भाग के लिए हैं। अर्थात्, हमारे लिए रुचि के विषयों पर विकिपीडिया लेखों को समूहीकृत करने का कार्य हल किया जा सकता है।

हम संसाधन डीबीपीडिया का उपयोग करते हैं - विकिपीडिया का एक पूर्व-वायर्ड और संरचित संस्करण। डीबीपीडिया हमें सभी आवश्यक जानकारी देता है - लेखों के नाम, उनके एनोटेशन, लेखों की श्रेणियां और श्रेणियों के लिए बेहतर श्रेणियां। हम विकिपीडिया - अंग्रेजी पर सबसे अधिक प्रतिनिधित्व वाली भाषा से शुरुआत करते हैं। यदि आपका कार्य नहीं है, या कुछ, अंग्रेजी भाषा के ग्रंथ हैं, तो उस भाषा का उपयोग करें जिसके लिए कई दस्तावेज हैं।

चरण 1. विकिपीडिया पर क्लस्टरिंग

लेख श्रेणियों पर ध्यान दें। अभी के लिए, उनकी सामग्री को अनदेखा करें। श्रेणियाँ एक ग्राफ बनाती हैं, जिसमें अधिकतर पेड़-पौधे होते हैं, लेकिन चक्र भी होते हैं। लेख ग्राफ के एक या अधिक नोड्स से जुड़े ग्राफ (पत्तियों) के अंतिम बिंदु हैं। हम प्रत्येक श्रेणी और प्रत्येक लेख का वेक्टर प्रतिनिधित्व प्राप्त करने के लिए Node2Vec टूल का उपयोग करते हैं। समान विषयों के लेख वेक्टर अंतरिक्ष में एक साथ समूहीकृत किए जाते हैं।

हम लेख की किसी भी सुविधाजनक विधि द्वारा क्लस्टर की एक बड़ी (सैकड़ों) संख्या में क्लस्टर करते हैं।

चरण 2. विकिपीडिया पर क्लासिफायर ट्रेनिंग

हम लेखों के नामों को उनके एनोटेशन (लंबे सार और लघु सार - लगभग लेख प्रति पाठ का एक पैराग्राफ) के साथ प्रतिस्थापित करते हैं। अब हमारे पास सैकड़ों क्लस्टर हैं जो ग्रंथों के सेट के रूप में परिभाषित हैं। हम एक सुविधाजनक मॉडल का उपयोग करते हैं और एक क्लासिफायरियर का निर्माण करते हैं जो मल्टीस्केलर्स वर्गीकरण की समस्या को हल करता है: एक क्लस्टर - एक वर्ग। हमने FastText का उपयोग किया।
आउटपुट में, हमें एक मॉडल मिलता है जो टेक्स्ट को इनपुट के रूप में लेता है, और आउटपुट में यह उस डिग्री के अनुमानों का एक वेक्टर देता है, जिसमें टेक्स्ट हमारे सैकड़ों क्लास क्लस्टर्स से संबंधित होता है।

यदि पहला कदम विकिपीडिया के लेखों को उनकी श्रेणियों से नहीं, बल्कि उनकी सामग्री के द्वारा क्लस्टर करना है, तो, सबसे पहले, हम श्रेणियों के आधार पर जानकारी खो देंगे, लेकिन यह महत्वपूर्ण है, और दूसरी बात, हमें एक अध: पतन प्रणाली मिलेगी - जो पाठ और क्लस्टर बनाता है क्लासिफायर मॉडल। अंतिम गुणवत्ता संभवतः एक अलग दृष्टिकोण के साथ खराब होगी। हालांकि मैंने जांच नहीं की।

चरण 3. अपने दम पर एक मॉडल का निर्माण, मुकाबला, डेटा

हम अपने लड़ाकू डेटा के चयन का उपयोग करते हैं और चरण 2 से प्रत्येक दस्तावेज़ को मॉडल के इनपुट में जमा करते हैं। मॉडल अनुमानों का एक वेक्टर देता है। हम इस वेक्टर का उपयोग प्रश्न में दस्तावेज़ के लिए एक वेक्टर के रूप में करते हैं। नतीजतन, लड़ाकू दस्तावेजों के हमारे सभी प्रशिक्षण नमूने को संसाधित करने के बाद, हमें मशीन सीखने के लिए मानक रूप में एक तालिका मिलती है - एक वर्ग लेबल, संख्यात्मक संकेतों का एक सेट। हम इस तालिका को एक प्रशिक्षण सेट कहते हैं।

हम प्रशिक्षण नमूने पर एक क्लासिफायरियर का निर्माण करते हैं जो व्यक्तिगत विशेषताओं की सूचना सामग्री का मूल्यांकन कर सकता है। निर्णय के पेड़ और उनमें से किसी भी यादृच्छिक वन विविधताएं अच्छी तरह से अनुकूल हैं। सबसे अधिक जानकारीपूर्ण संकेत विकिपीडिया लेखों के समूह हैं जो न केवल हमारे लड़ाकू दस्तावेजों के विषयों के साथ समान विषय हैं, बल्कि, सबसे महत्वपूर्ण बात यह है कि इन लेखों के विषय हमें अपनी लड़ाई की कक्षाओं को अच्छी तरह से अलग करने की अनुमति देते हैं। पहले पुनरावृत्तियों में, संकेतों की सूचनात्मकता का हिस्टोग्राम आमतौर पर काफी सपाट होता है - कई सूचनात्मक समूहों और लंबी पूंछ शेष सैकड़ों संकेतों के लिए सूचनात्मकता के मामले में लगभग बराबर होती है।

वर्णों की सूचना सामग्री के हिस्टोग्राम का अध्ययन करने के बाद, प्रत्येक बार एक विभक्ति बिंदु को आनुभविक रूप से निर्धारित किया गया था, और लगभग 10 से 30% क्लस्टर अगले पुनरावृत्ति में चले गए। पुनरावृत्ति का सार यह है कि चयनित सूचनात्मक समूहों के लेखों को जोड़ दिया गया था, 1-3 चरणों में प्रस्तुत किया गया था, जहां उन्हें फिर से क्लस्टर किया गया था, दो क्लासिफायर फिर से बनाए गए थे, और सूचना सामग्री हिस्टोग्राम के विश्लेषण के साथ सब कुछ समाप्त हो गया। यह 3-4 पुनरावृत्तियों को ले जाएगा।

यह पता चला है कि हमारे डेटा पर डिजिटल संकेत, विशेष रूप से वर्षों की संख्या, एक बहुत मजबूत वजन है और पूरे क्लस्टर की सूचनात्मकता को खुद पर खींचते हैं। एक तार्किक परिणाम के रूप में, वार्षिक खेल आयोजनों के लिए समर्पित क्लस्टर सबसे अधिक जानकारीपूर्ण बन गए - संख्याओं और तिथियों का एक समूह, संकीर्ण शब्दावली। मुझे लेख एनोटेशन (दूसरे चरण में) के ग्रंथों में सभी संख्याओं को निकालना था। यह बिल्कुल बेहतर हो गया, लेखों के समूह वास्तव में एक लक्षित विषय होने लगे (जैसा कि हमने इसकी कल्पना की थी)। उसी समय, अप्रत्याशित क्लस्टर दिखाई दिए जो तार्किक रूप से हमारे लड़ाकू मिशन पर गिर गए, सही शब्दावली थी, लेकिन इस तरह के समूहों की प्राथमिकता का अनुमान लगाना बहुत मुश्किल था।

चरण 4. मॉडल को अंतिम रूप दें

1-3 चरणों के कई पुनरावृत्तियों के बाद, हमारे पास विकिपीडिया से चुने गए उचित लेख हैं, जिनके विषय हमारे लड़ाकू दस्तावेजों को साझा करने में मदद करते हैं। हम अपनी रुचि के अन्य भाषाओं में इसी तरह के लेखों के साथ चयन का विस्तार कर रहे हैं और अंतिम समूहों का निर्माण कर रहे हैं, इस बार दसियों। इन समूहों का उपयोग दो तरीकों से किया जा सकता है - या तो चरण 2 के समान एक क्लासिफायर का निर्माण करें, और इसका उपयोग अपने लड़ाकू मिशन में डिजिटल फीचर वेक्टर का विस्तार करने के लिए करें, या अतिरिक्त शब्दावली के स्रोत के रूप में ग्रंथों के इन सेटों का उपयोग करें और उन्हें अपने लड़ाकू क्लासिफायर में एकीकृत करें। हमने दूसरा तरीका इस्तेमाल किया।

हमारा मुकाबला क्लासिफायर दो मॉडलों का एक संयोजन है - काटे हुए भोले बे और xgboost। Naive Bayes लंबे ग्राम पर काम करता है, ये लंबाई में 1 से 16 तत्वों तक के ग्राम होते हैं, और प्रत्येक पाया गया चना कुल वर्गों में से एक को उकसाता है, लेकिन बेयस अंतिम निर्णय नहीं लेता है - यह केवल प्रत्येक से संबंधित ग्राम भार का योग देता है कक्षाओं से। Xgboost बेज़, अन्य क्लासिफायर और कुछ डिजिटल विशेषताओं के आउटपुट को स्वीकार करता है जो पाठ के अनुसार स्वतंत्र रूप से बनाए जाते हैं, और xgboost पहले से ही अंतिम मॉडल और अंतिम मूल्यांकन देता है। यह दृष्टिकोण विकिपीडिया लेखों के परिणामी सेटों सहित ग्रंथों के किसी भी सेट को ग्राम बेस मॉडल से जोड़ना आसान बनाता है, और xgboost पहले से ही युद्ध ग्रंथों के लिए विकिपीडिया समूहों की विशिष्ट प्रतिक्रियाओं के रूप में पैटर्न की तलाश कर रहा है।

परिणाम और निष्कर्ष

पहले परिणाम ने सशर्त 60% सटीकता से 62% की वृद्धि दी। विकिपीडिया लेखों के एनोटेशन की जगह चरण 4 में ख़राब लेखों के साथ स्वयं को बदलने पर सटीकता 66% तक बढ़ गई। परिणाम स्वाभाविक है, क्योंकि एनोटेशन का आकार दो या तीन वाक्यांश हैं, और लेख का आकार परिमाण का बड़ा है। अधिक भाषाई सामग्री - उच्च प्रभाव।

हमें उम्मीद करनी चाहिए कि एनोटेशन के बजाय लेखों के ग्रंथों पर पूरी प्रक्रिया को पूरा करने के बाद, गुणवत्ता में वृद्धि और भी अधिक हो जाएगी, लेकिन पहले से ही एक तकनीकी संख्या समस्या है - पूरे विकिपीडिया को डाउनलोड करना और प्रसंस्करण करना, या इसके ध्यान देने योग्य भाग (यदि आप पहली पुनरावृत्ति से शुरू नहीं करते हैं) मुश्किल है। इसके अलावा, यदि आप शुरू में न केवल अंग्रेजी, बल्कि सभी भाषाओं में रुचि रखते हैं, तो भी आप कुछ और जीत सकते हैं। इस मामले में, संसाधित मात्रा में वृद्धि कई है, और परिमाण के आदेशों द्वारा नहीं, जैसा कि पहले मामले में है।

शब्दार्थ दस्तावेज़ वेक्टर

प्रत्येक दस्तावेज़ के लिए, एक वेक्टर का निर्माण विकिपीडिया श्रेणियों के आधार पर दिए गए विषयों के दस्तावेज़ के संबंध से किया जाता है। वेक्टर की लागत या तो चरण 3 में वर्णित विधि द्वारा या हमारे ग्राम बे द्वारा की जाती है। तदनुसार, मुकाबला दस्तावेजों को इन वैक्टरों के अनुसार क्लस्टर किया जा सकता है और विषय द्वारा मुकाबला दस्तावेजों का एक समूह प्राप्त कर सकता है। यह केवल हैशटैग लगाने के लिए बना हुआ है और प्रत्येक नया दस्तावेज़ पहले ही टैग के साथ डेटाबेस में आ सकता है। जिसे तब उपयोगकर्ता खोज सकते हैं। यदि आप उपयोगकर्ता को स्पष्ट और दृश्यमान तरीके से टैग करते हैं तो यह मामला है। यह फैशनेबल दिखता है, हालांकि मैं समर्थक नहीं हूं।

अनुकूली खोज

सिमेंटिक दस्तावेज़ वैक्टर का उपयोग करने का एक और दिलचस्प तरीका अनुकूली खोज है। उपयोगकर्ता की गतिविधि का अवलोकन करना, जिस दस्तावेज़ पर वह टिका हुआ है और जिसे वह पढ़ता भी नहीं है, आप उपयोगकर्ता के हित के क्षेत्र को दीर्घकालिक अर्थों में रेखांकित कर सकते हैं (आखिरकार, उपयोगकर्ताओं की ज़िम्मेदारियों का एक विभाजन भी होता है और हर कोई मुख्य रूप से अपने आप को देख रहा है) और वर्तमान खोज सत्र के ढांचे के भीतर।

समान विषयों वाले दस्तावेज़ों में एक उच्च कोसाइन माप वाले समान वैक्टर होते हैं, और यह आपको उपयोगकर्ता के हितों के साथ उनकी अपेक्षित अनुपालन की डिग्री के अनुसार मक्खी पर खोज परिणामों में दस्तावेजों का मूल्यांकन करने की अनुमति देता है, जिसके परिणामस्वरूप आप खोज परिणामों में आवश्यक दस्तावेज़ बढ़ा सकते हैं।

परिणामस्वरूप, प्रत्येक उपयोगकर्ता के लिए समान खोज क्वेरी के साथ, खोज परिणाम उसके लिए वैयक्तिकृत हो सकते हैं और इस पर निर्भर करता है कि उपयोगकर्ता ने पिछले चरण में कौन से दस्तावेज़ों में दिलचस्पी ली थी, अगला खोज चरण उपयोगकर्ता की ज़रूरतों के अनुसार समायोजित किया जाएगा, भले ही खोज क्वेरी खुद ही नहीं बदल गई हो।

हम अब अनुकूली खोज की समस्या पर काम कर रहे हैं।

व्यावसायिक परिकल्पना परीक्षण

व्यापार समय-समय पर उज्ज्वल विचारों के साथ आता है जिन्हें लागू करना बहुत मुश्किल है। हमें प्रशिक्षण के लिए या तो चिह्नित नमूने के बिना, या मूल्यांकन के लिए दस्तावेजों के कुछ सेटों को निर्धारित करने की क्षमता के बिना, उनके विवरण द्वारा दस्तावेज खोजने के लिए सीखना चाहिए। यह आमतौर पर तब होता है जब लक्ष्य दस्तावेजों को दस्तावेजों के सामान्य प्रवाह के संबंध में शायद ही कभी पाया जाता है, और परिणामस्वरूप, प्रारंभिक छानने के बिना मूल्यांकनकर्ताओं को 10 हजार दस्तावेजों का एक पूल जमा करके, आप 1-2 आवश्यक या कम आउटपुट प्राप्त कर सकते हैं।

हमारा दृष्टिकोण सिमेंटिक वैक्टर पर आधारित पुनरावृत्त सीखने की प्रक्रिया बनाना है। पहले चरण में, हमें कई पाठ मिलते हैं जो हमारे लक्ष्य विषय को निर्धारित करते हैं - ये विकिपीडिया लेख या अन्य स्रोतों के पाठ हो सकते हैं। प्रत्येक पाठ के लिए, इसका सिमेंटिक वेक्टर निर्मित होता है। यदि लक्ष्य विषय जटिल है, तो सेट्स का बीजगणित काम करता है - एकीकरण, चौराहा, दूसरों से कुछ विषयों का बहिष्करण। उदाहरण के लिए - "रिसर्च एंड डेवलपमेंट" और "कॉस्मेटिक्स" के बारे में विकिपीडिया के लेख हैं, सेटों का प्रतिच्छेदन "कॉस्मेटिक्स के लिए आर एंड डी" देगा।

डेटाबेस में सभी दस्तावेजों को दिए गए विषयों के साथ उनके अनुपालन की डिग्री द्वारा हल किया जा सकता है, फिर सेट का बीजगणित स्वयं दस्तावेजों पर निम्नानुसार काम करता है - एक दस्तावेज विषय के लिए प्रासंगिक माना जाता है अगर डेटाबेस के लिए औसत से अधिक किसी विषय के विकिपीडिया लेख के वेक्टर के करीब है। प्रतिच्छेदन - यदि एक ही समय में दस्तावेज़ का सिमेंटिक वेक्टर डेटाबेस के लिए औसत से दोनों विषयों के करीब है। अन्य ऑपरेशन समान हैं।

हम सैकड़ों या दो दस्तावेजों का एक सेट पाते हैं, जो सभी सकारात्मक विषयों के सबसे निकटता रखते हैं और साथ ही, सभी नकारात्मक विषयों के निकटतम निकटता (यदि हम जिस शोध में वित्तीय मुद्दों में रुचि नहीं रखते हैं, हम उस लेख को "वित्त" श्रेणी से एक नकारात्मक उदाहरण के रूप में सेट करेंगे) )। हम इन दस्तावेजों को मूल्यांकनकर्ताओं को दे देंगे, उनमें कई सकारात्मक उदाहरण मिलेंगे, इन उदाहरणों के आधार पर हम अन्य दस्तावेजों की तलाश करेंगे, जिनमें निकटस्थ वैक्टर हों, उन्हें चिन्हित किया जाए, और आउटपुट पर हम किसी भी सुविधाजनक शोधक का निर्माण करने के लिए सकारात्मक वर्ग के लिए पर्याप्त दस्तावेज प्राप्त करेंगे। इसमें कई पुनरावृत्तियां हो सकती हैं।

परिणाम

वर्णित दृष्टिकोण, मैन्युअल विश्लेषण के बिना, स्वचालित रूप से अनुमति देता है, विकिपीडिया से या उन ग्रंथों के किसी अन्य स्रोत सेट का चयन करने के लिए जो वर्गीकरण समस्या को हल करने में मदद करते हैं। विकिपीडिया से क्लस्टर्स को एक वर्कर क्लासिफायर से जोड़ने से, क्लासिफायर के अनुकूलन की आवश्यकता के बिना, गुणवत्ता में उल्लेखनीय वृद्धि की उम्मीद की जा सकती है।

खैर, अनुकूली खोज दिलचस्प है।