बिग लैंडफिल का सिद्धांत: हम इंटरनेट पर वैज्ञानिक दस्तावेजों की तलाश कर रहे हैं

एंटी-प्लाजियरिज़्म सिस्टम एक विशेष खोज इंजन है। जैसा कि एक खोज इंजन, अपने स्वयं के इंजन और खोज अनुक्रमित के साथ। स्रोतों की संख्या के संदर्भ में हमारा सबसे बड़ा सूचकांक, निश्चित रूप से, रूसी-भाषा इंटरनेट में है। काफी समय पहले, हमने तय किया कि हम इस इंडेक्स में वह सब कुछ डालेंगे जो टेक्स्ट (और चित्र, संगीत या वीडियो नहीं) है, रूसी में लिखा गया है, इसका आकार 1 केबी से अधिक है और यह किसी चीज़ का "लगभग डुप्लिकेट" नहीं है। पहले से ही सूचकांक में।

यह दृष्टिकोण इस मायने में अच्छा है कि इसमें जटिल दिखावा की आवश्यकता नहीं होती है और "पानी से बच्चे को बाहर निकालने" के जोखिम को कम करता है - एक दस्तावेज को छोड़ देता है जिसमें से पाठ को संभवतः उधार लिया जा सकता है। दूसरी ओर, परिणामस्वरूप, हम कम ही जानते हैं कि कौन से दस्तावेज़ अंततः सूचकांक में हैं।

जैसा कि इंटरनेट इंडेक्स बढ़ता है - और अब, एक सेकंड के लिए, यह पहले से ही रूसी में केवल 300 मिलियन से अधिक दस्तावेज है - एक पूरी तरह से प्राकृतिक सवाल उठता है: क्या इस डंप में कई वास्तव में उपयोगी दस्तावेज हैं?

और जब से हमने ( yury_chekhovich और Andrey_Khazov ) इस प्रतिबिंब को उठाया है, तब हम एक ही समय में कुछ और सवालों के जवाब क्यों नहीं देते हैं। कितने वैज्ञानिक दस्तावेज अनुक्रमित हैं, और कितने अवैज्ञानिक हैं? डिप्लोमा, लेख, सार के बीच वैज्ञानिक लेखों का हिस्सा क्या है? विषय द्वारा दस्तावेजों का वितरण क्या है?



चूंकि हम सैकड़ों लाखों दस्तावेजों के बारे में बात कर रहे हैं, इसलिए विशेष रूप से मशीन लर्निंग तकनीक के माध्यम से स्वचालित डेटा विश्लेषण के साधनों का उपयोग करना आवश्यक है। बेशक, ज्यादातर मामलों में, विशेषज्ञ मूल्यांकन की गुणवत्ता मशीन विधियों से बेहतर है, लेकिन इस तरह के व्यापक कार्य को हल करने के लिए मानव संसाधनों को आकर्षित करना बहुत महंगा होगा।

इसलिए, हमें दो समस्याओं को हल करने की आवश्यकता है:

1. एक "वैज्ञानिक" फ़िल्टर बनाएं, जो एक तरफ, आपको स्वचालित रूप से उन दस्तावेज़ों को त्यागने की अनुमति देता है जो संरचना और सामग्री में नहीं हैं, और दूसरी ओर वैज्ञानिक दस्तावेज़ के प्रकार को निर्धारित करता है। तुरंत एक आरक्षण करें जो "वैज्ञानिक" के तहत किसी भी तरह से परिणामों के वैज्ञानिक महत्व या विश्वसनीयता को संदर्भित नहीं करता है। फिल्टर का कार्य एक वैज्ञानिक लेख, शोध प्रबंध, डिप्लोमा, आदि के रूप में होने वाले दस्तावेजों को अलग करना है। अन्य प्रकार के ग्रंथों से, अर्थात् गल्प, पत्रकारीय लेख, समाचार लेख आदि;
2. वैज्ञानिक दस्तावेजों को रगड़ने के लिए एक उपकरण को लागू करें जो दस्तावेज़ को वैज्ञानिक विशेषताओं में से एक से संबंधित करता है (उदाहरण के लिए, भौतिकी और गणित , अर्थशास्त्र , वास्तुकला , सांस्कृतिक अध्ययन , आदि)।

उसी समय, हमें इन समस्याओं को हल करने की आवश्यकता है, विशेष रूप से दस्तावेजों के पाठ के साथ काम करके, उनके मेटाडेटा का उपयोग न करके, दस्तावेज़ों के अंदर पाठ ब्लॉक और छवियों के स्थान के बारे में जानकारी।

आइए एक उदाहरण से स्पष्ट करें। यहां तक ​​कि एक सरसरी नज़र भी एक वैज्ञानिक लेख को अलग करने के लिए पर्याप्त है



उदाहरण के लिए, बच्चों की परियों की कहानी ।



लेकिन अगर केवल एक पाठ परत है (उसी उदाहरण के लिए), तो आपको सामग्री को पढ़ना होगा।

वैज्ञानिक फ़िल्टर और प्रकार के अनुसार छँटाई

हम कार्यों को क्रमिक रूप से हल करते हैं:

1. पहले चरण में, हम गैर-वैज्ञानिक दस्तावेजों को फ़िल्टर करते हैं;
2. दूसरे चरण में, सभी दस्तावेजों को वैज्ञानिक के रूप में पहचाना गया है, उन्हें इस प्रकार वर्गीकृत किया गया है: लेख, उम्मीदवार शोध प्रबंध, डॉक्टरेट सार, डिप्लोमा, आदि।
   

यह कुछ इस तरह दिखता है:



एक विशेष प्रकार (अपरिभाषित) उन दस्तावेजों को सौंपा गया है, जिन्हें किसी एक प्रकार से मज़बूती से नहीं जोड़ा जा सकता है (ये मुख्य रूप से छोटे दस्तावेज़ हैं - वैज्ञानिक साइटों के पृष्ठ, सार के सार)। उदाहरण के लिए, इस प्रकाशन को इस प्रकार के लिए जिम्मेदार ठहराया जाएगा, जिसमें वैज्ञानिकता के कुछ संकेत हैं, लेकिन उपरोक्त में से किसी के समान नहीं है।

एक और परिस्थिति है जिसे ध्यान में रखा जाना चाहिए। यह एल्गोरिथ्म की एक उच्च गति और कम संसाधन आवश्यकताएं हैं - फिर भी, हमारा कार्य सहायक है। इसलिए, हम दस्तावेजों का बहुत छोटा सांकेतिक वर्णन करते हैं:

• एक पाठ में एक वाक्य की औसत लंबाई;
• पाठ के सभी शब्दों के संबंध में स्टॉप शब्दों का हिस्सा;
• पठनीयता सूचकांक ;
• पाठ के सभी पात्रों के संबंध में विराम चिह्न का प्रतिशत;
• पाठ के प्रारंभिक भाग में सूची ("अमूर्त", "शोध प्रबंध", "डिप्लोमा", "प्रमाणन", "विशेषता", "मोनोग्राफ", आदि) से शब्दों की संख्या (शीर्षक पृष्ठ के लिए विशेषता जिम्मेदार है);
• पाठ के अंतिम भाग में सूची ("सूची", "साहित्य", "ग्रंथ सूची", आदि) से शब्दों की संख्या (विशेषता साहित्य की सूची के लिए जिम्मेदार है);
• पाठ में अक्षरों का अनुपात;
• औसत शब्द लंबाई;
• पाठ में अनूठे शब्दों की संख्या।

ये सभी संकेत अच्छे हैं कि वे जल्दी से गणना कर रहे हैं। एक क्लासिफायरियर के रूप में, हम मशीन लर्निंग में एक लोकप्रिय वर्गीकरण विधि यादृच्छिक वन एल्गोरिथ्म ( रैंडम वन ) का उपयोग करते हैं।

विशेषज्ञों द्वारा चिह्नित नमूने की अनुपस्थिति में गुणवत्ता के आकलन के साथ, यह कठिन है, इसलिए हम वैज्ञानिक इलेक्ट्रॉनिक लाइब्रेरी Elibrary.ru द्वारा लेखों के संग्रह में क्लासिफायरियर करते हैं। हम मानते हैं कि सभी लेखों को वैज्ञानिक के रूप में पहचाना जाएगा।

100% परिणाम? कुछ भी नहीं - सिर्फ 70%। शायद हमने एक खराब एल्गोरिदम बनाया? हम फ़िल्टर किए गए लेखों के माध्यम से देखते हैं। यह पता चलता है कि कई अवैज्ञानिक ग्रंथ वैज्ञानिक पत्रिकाओं में प्रकाशित होते हैं: संपादकीय, वर्षगाँठ, बधाई, व्यंजनों और यहां तक ​​कि कुंडली पर बधाई। उन लेखों का चयन जिन्हें कि वैज्ञानिक माना जाता है, त्रुटियों को प्रकट नहीं करते हैं, इसलिए, हम वर्गीकरण को उपयुक्त मानते हैं।

अब हम दूसरा कार्य करते हैं। यहां आप प्रशिक्षण के लिए गुणवत्ता की सामग्री के बिना नहीं कर सकते। हम मूल्यांकनकर्ताओं को एक नमूना तैयार करने के लिए कहते हैं। हमें निम्न वितरण के साथ 3.5 हजार से अधिक दस्तावेज मिलते हैं:

दस्तावेज़ प्रकार	नमूने में दस्तावेजों की संख्या
सामग्री	679
पीएचडी थीसिस	250
पीएचडी शोध का सार	714
वैज्ञानिक सम्मेलनों के संग्रह	75
डॉक्टरेट शोध प्रबंध	159
डॉक्टरेट शोध प्रबंध के सार	189
मोनोग्राफ	107
गाइड का अध्ययन करें	403
डिप्लोमा थीसिस	664
अपरिभाषित प्रकार	514

मल्टीक्लास वर्गीकरण समस्या को हल करने के लिए, हम उसी रैंडम वन और समान सुविधाओं का उपयोग करते हैं ताकि कुछ विशेष गणना न की जा सके।

हम निम्नलिखित वर्गीकरण गुणवत्ता प्राप्त करते हैं:

शुद्धता	परिपूर्णता	एफ उपाय
81%	76%	79%

अनुक्रमित डेटा के लिए प्रशिक्षित एल्गोरिथ्म को लागू करने के परिणाम नीचे दिए गए चित्र में दिखाई दे रहे हैं। चित्रा 1 दर्शाता है कि संग्रह के आधे से अधिक वैज्ञानिक दस्तावेजों में शामिल हैं, और उनमें से, बदले में, आधे से अधिक दस्तावेज लेख हैं।

अंजीर। 1. "वैज्ञानिक" द्वारा दस्तावेजों का वितरण

चित्र 2 "लेख" प्रकार के अपवाद के साथ, प्रकार से वैज्ञानिक दस्तावेजों के वितरण को दर्शाता है। यह देखा जा सकता है कि दूसरा सबसे लोकप्रिय प्रकार का वैज्ञानिक दस्तावेज एक पाठ्यपुस्तक है, और सबसे दुर्लभ प्रकार एक डॉक्टरेट शोध प्रबंध है।

अंजीर। 2. प्रकार द्वारा अन्य वैज्ञानिक दस्तावेजों का वितरण

सामान्य तौर पर, परिणाम उम्मीदों के अनुरूप होते हैं। त्वरित "रफ" क्लासिफायर से हमें अब कोई ज़रूरत नहीं है।

एक दस्तावेज़ के विषय को परिभाषित करना

ऐसा हुआ कि वैज्ञानिक कार्यों के एक एकीकृत सार्वभौमिक रूप से मान्यता प्राप्त वर्गीकरण अभी तक नहीं बनाया गया है। सबसे लोकप्रिय आज VAK , GRNTI , UDC के शीर्षक हैं। बस मामले में, हमने इनमें से प्रत्येक श्रेणी के तहत दस्तावेजों को श्रेणीबद्ध रूप से वर्गीकृत करने का निर्णय लिया।

विषयगत क्लासिफायरियर बनाने के लिए, हम विषय मॉडलिंग के आधार पर एक दृष्टिकोण का उपयोग करते हैं , पाठ दस्तावेजों के संग्रह के लिए एक मॉडल बनाने का एक सांख्यिकीय तरीका, जिसमें प्रत्येक दस्तावेज़ के लिए कुछ विषयों से संबंधित होने की संभावना निर्धारित की जाती है। एक विषयगत मॉडल बनाने के लिए एक उपकरण के रूप में, हम BigARTM ओपन लाइब्रेरी का उपयोग करते हैं। हमने पहले भी इस पुस्तकालय का उपयोग किया है और हम जानते हैं कि यह पाठ दस्तावेजों के बड़े संग्रह के विषयगत मॉडलिंग के लिए बहुत अच्छा है।

हालांकि, एक कठिनाई है। विषयगत मॉडलिंग में, विषयों की संरचना और संरचना का निर्धारण दस्तावेजों के एक विशिष्ट संग्रह के संबंध में एक अनुकूलन समस्या को हल करने का परिणाम है। हम उन्हें सीधे प्रभावित नहीं कर सकते। स्वाभाविक रूप से, हमारे संग्रह में ट्यूनिंग से उत्पन्न होने वाले विषय किसी भी लक्ष्य क्लासिफायर के अनुरूप नहीं होंगे।

इसलिए, किसी विशिष्ट अनुरोध दस्तावेज़ के रूब्रिकेटर के अंतिम अज्ञात मूल्य को प्राप्त करने के लिए, हमें एक और रूपांतरण करने की आवश्यकता है। ऐसा करने के लिए, BigARTM विषय स्थान में, निकटतम-पड़ोसी एल्गोरिथ्म ( k-NN ) का उपयोग करके, हम कई दस्तावेज़ों की तलाश करते हैं, जो ज्ञात रूब्रिकेटर के साथ क्वेरी के समान हैं, और, इस पर आधारित, हम क्वेरी दस्तावेज़ के लिए सबसे अधिक प्रासंगिक वर्ग प्रदान करते हैं।

सरलीकृत रूप में, एल्गोरिथ्म को चित्र में दिखाया गया है:



मॉडल को प्रशिक्षित करने के लिए, हम खुले स्रोतों से दस्तावेज़ों का उपयोग करते हैं, साथ ही साथ उच्च विनियमन आयोग, एसआरएसटीआई, यूडीसी की प्रसिद्ध विशेषताओं के साथ एलायंस.ru द्वारा प्रदान किए गए डेटा। हम संग्रह दस्तावेजों से हटाते हैं जो रूब्रिकेटर के बहुत सामान्य पदों से जुड़े होते हैं, उदाहरण के लिए, प्राकृतिक और सटीक विज्ञान की सामान्य और जटिल समस्याएं , क्योंकि ऐसे दस्तावेज़ अंतिम वर्गीकरण को बहुत शोर करेंगे।

अंतिम संग्रह में प्रशिक्षण के लिए लगभग 280 हजार दस्तावेज और प्रत्येक रुब्रिक के परीक्षण के लिए 6 हजार दस्तावेज थे।

हमारे उद्देश्यों के लिए, यह हमारे लिए पहले स्तर के शीर्षकों के मूल्यों की भविष्यवाणी करने के लिए पर्याप्त है। उदाहरण के लिए, 27.27.24 के GRNTI मान के साथ एक पाठ के लिए : हार्मोनिक फ़ंक्शन और उनके सामान्यीकरण, धारा 27 की भविष्यवाणी : गणित सही है।

विकसित एल्गोरिथ्म की गुणवत्ता में सुधार करने के लिए, हम इसे अच्छे पुराने नैवे बेस क्लासिफायर के आधार पर दृष्टिकोण के एक जोड़े को जोड़ते हैं। संकेतों के रूप में, यह उन शब्दों की आवृत्ति का उपयोग करता है जो एचएसी हेडिंग के एक विशिष्ट मूल्य के साथ प्रत्येक दस्तावेज़ के लिए सबसे अधिक विशेषता हैं।

इतनी मेहनत क्यों? नतीजतन, हम दोनों एल्गोरिदम की भविष्यवाणियां करते हैं, उनका वजन करते हैं और प्रत्येक अनुरोध के लिए एक औसत भविष्यवाणी का उत्पादन करते हैं। मशीन लर्निंग में इस तकनीक को एनसेंबलिंग कहा जाता है। ऐसा दृष्टिकोण हमें गुणवत्ता में एक उल्लेखनीय वृद्धि देता है। उदाहरण के लिए, एसआरएसटीआई विनिर्देश के लिए, मूल एल्गोरिथ्म की सटीकता 73% थी, भोले बेयस क्लासिफायर की सटीकता 65% थी, और उनके संघ 77% थे।

परिणामस्वरूप, हमें अपने वर्गीकरण की ऐसी योजना मिलती है:



हम दो कारकों पर ध्यान देते हैं जो क्लासिफायरियर के परिणामों को प्रभावित करते हैं। सबसे पहले, किसी भी दस्तावेज़ को एक बार में एक से अधिक रूब्रिकेटर मान सौंपे जा सकते हैं। उदाहरण के लिए, उच्च सत्यापन आयोग के शीर्ष के मान 25.00.24 और 08.00.14 ( आर्थिक , सामाजिक और राजनीतिक भूगोल और विश्व अर्थव्यवस्था )। और वह गलती नहीं होगी।

दूसरे, व्यवहार में, रुब्रिकों के मूल्यों को विशेषज्ञ रूप से रखा जाता है, अर्थात, विषयवस्तु के अनुसार। एक उल्लेखनीय उदाहरण मैकेनिकल इंजीनियरिंग और कृषि और वानिकी के रूप में ऐसे प्रतीत होता है कि असंगत विषय हैं। हमारे एल्गोरिथ्म ने लेखों को "जंगल को पतला करने के लिए मशीनें" और "उत्तर-पश्चिमी क्षेत्र की स्थितियों के लिए ट्रैक्टरों के एक मानक आकार की श्रृंखला के विकास के लिए प्राथमिकताएं" मैकेनिकल इंजीनियरिंग के साथ वर्गीकृत किया, और मूल लेआउट के अनुसार, उन्होंने कृषि को सटीक रूप से संदर्भित किया।

इसलिए, हमने प्रत्येक श्रेणी के शीर्ष 3 सबसे संभावित मूल्यों को प्रदर्शित करने का निर्णय लिया। उदाहरण के लिए, लेख के लिए "पेशेवर शिक्षक सहिष्णुता (एक बहुभाषी स्कूल के रूसी शिक्षक की गतिविधि के उदाहरण पर)", उच्च सत्यापन आयोग के शीर्ष के मूल्यों की संभावनाएं इस प्रकार थीं:

माणिक्य का मान	संभावना
शैक्षणिक विज्ञान	47%
मनोवैज्ञानिक विज्ञान	33%
सांस्कृतिक विज्ञान	20%

परिणामी एल्गोरिदम की सटीकता थी:

श्रेणियाँ	शीर्ष 3 सटीकता
GRNTI	93%
VAK	92%
यूडीसी	94%

आरेख सभी (चित्रा 3) के लिए रूसी-भाषा इंटरनेट सूचकांक में दस्तावेज़ विषयों के वितरण पर एक अध्ययन के परिणाम दिखाते हैं और केवल वैज्ञानिक (चित्रा 4) दस्तावेजों के लिए। यह देखा जा सकता है कि अधिकांश दस्तावेज मानविकी से संबंधित हैं: सबसे लगातार विनिर्देश अर्थशास्त्र, कानून और शिक्षाशास्त्र हैं। इसके अलावा, केवल वैज्ञानिक दस्तावेजों के बीच, उनकी हिस्सेदारी और भी अधिक है।

अंजीर। 3. खोज मॉड्यूल भर में विषयों का वितरण

अंजीर। 4. वैज्ञानिक दस्तावेजों के विषयों का वितरण।

परिणामस्वरूप, हमने शाब्दिक रूप से अनुक्रमित इंटरनेट की विषयगत संरचना को न केवल सीखा, बल्कि अतिरिक्त कार्यक्षमता भी बनाई, जिसके साथ आप एक लेख या अन्य वैज्ञानिक दस्तावेज़ को एक साथ तीन विषयगत श्रेणियों में "वर्गीकृत" कर सकते हैं।



ऊपर वर्णित कार्यक्षमता अब सक्रिय रूप से एंटी-प्लाजियरिज़्म सिस्टम में लागू की जा रही है और जल्द ही उपयोगकर्ताओं के लिए उपलब्ध होगी।