हमारे जीवन के नियम: "टी" अक्षर के साथ लेखों का शीर्षक शुरू करें और पाठ उधार को जल्दी, सटीक और सबसे महत्वपूर्ण रूप से, खूबसूरती से देखें । एक वर्ष से अधिक समय से हमने तंत्रिका नेटवर्क की मदद से हस्तांतरणीय उधार और पुनर्लेखन को सफलतापूर्वक पाया है। लेकिन कभी-कभी आपको जानबूझकर "अपने आप को पैर में गोली मारना" और लंगड़ा कर चलने की ज़रूरत होती है, एक और रास्ता, अर्थात्। पैराफेरेस या साहित्यिक चोरी के लिए जाँच न करें , लेकिन केवल पाठ का एक टुकड़ा छोड़ दें। विडंबना यह है कि दर्द होता है, लेकिन यह आवश्यक है। आइए हम तुरंत कहते हैं: हम ग्रंथ सूची को नहीं छूएंगे। पाठ में इसे कैसे खोजें? यह कहना आसान क्यों है, लेकिन जितना लगता है उससे कहीं अधिक कठिन है? यह सब Antiplagiarism के कॉर्पोरेट ब्लॉग का एक निरंतरता है, एकमात्र ऐसा ब्लॉग जहाँ उन्हें स्ट्राइकथ्रू पाठ पसंद नहीं है ।

_{छवि स्रोत: Fandom.com}

उस एक को खोजने में इतना समय क्यों लगा?

पहला, थोड़ा सिद्धांत। एक दस्तावेज क्या है, और हमें इससे कैसे निपटना चाहिए? "ज्ञान के पुरातत्व" में एम। फौकॉल्ट नोट: "इतिहास अब दस्तावेज़ को व्यवस्थित करता है, इसे विभाजित करता है, व्यवस्थित करता है, स्तरों को पुनर्वितरित करता है, रैंक निर्धारित करता है, महत्व की डिग्री के अनुसार उन्हें योग्य करता है, तत्वों को अलग करता है, इकाइयों को परिभाषित करता है, रिश्ते का वर्णन करता है।" हम, निश्चित रूप से, विचारों के इतिहासकार नहीं हैं, लेकिन हम अपने स्वयं के अनुभव से जानते हैं कि एक दस्तावेज एक साथ सिलने वाले विभिन्न तत्वों की एक चिथड़े रजाई है। ये तत्व क्या हैं और कैसे परस्पर जुड़े हुए हैं यह एक विशिष्ट दस्तावेज पर निर्भर करता है। यदि यह है, उदाहरण के लिए, छात्र का काम, तो सबसे अधिक संभावना इसमें शामिल होगी: एक शीर्षक पृष्ठ, मुख्य पाठ के अध्याय, आंकड़े, टेबल, सूत्र, संदर्भ और अनुप्रयोग। एक वैज्ञानिक लेख में, सबसे अधिक संभावना एक एनोटेशन होगी, लेकिन शीर्षक पृष्ठ पूरी तरह से गायब हो सकता है। और लेख या सम्मेलन सामग्री के संग्रह में लेखों की एक पूरी मेजबानी शामिल है, जिनमें से प्रत्येक की अपनी संरचना है। एक शब्द में, दस्तावेज़ का प्रत्येक तत्व दिलचस्प और आत्मनिर्भर है और बहुत कुछ बता सकता है कि दस्तावेज़ किस प्रकार का है।

आदर्श रूप से, हर कोई - हम दोनों और शिक्षक - एक आदर्श दस्तावेज़ संरचना चाहते हैं और प्रत्येक तत्व को इस तरह से संसाधित करते हैं जो एक विशिष्ट कार्य को पूरा करता है। सफलता का पहला चरण यह निर्धारित करना है कि आइटम को क्या कहा जाता है। Stack_more_layers और मैंने अंतिम रूप से शुरू करने का फैसला किया, लेकिन कम से कम , जैसे कि "ग्रंथ सूची" जैसे पाठ तत्व के साथ नहीं। यह वह खंड है जिसमें पाठ उधार लेना उपयोगकर्ता के लिए कम से कम दिलचस्प है। इसलिए, रिपोर्ट में यह दिखाना आवश्यक है कि हमने ग्रंथ सूची को "पकड़ा" और उस पर कुछ भी देखना शुरू नहीं किया।

जीवन एक तमाशा है। चाहे वह कितनी भी देर तक चले। मुख्य बात यह है कि अंत में एक ग्रंथ सूची होनी चाहिए।

एक आदर्श दुनिया में, सब कुछ सुंदर है, और दस्तावेज़ की उपस्थिति भी। एक आदर्श दस्तावेज़ का पाठ संरचित है, यह पढ़ने के लिए सुखद है, और स्लाइडर को बहुत अंत तक खींचकर एक ग्रंथ सूची ढूंढना बिल्कुल भी मुश्किल नहीं होगा। जैसा कि अभ्यास ने दिखाया है, वास्तविकता में एक पूरी तरह से अलग संरचना है।

"ग्रंथ सूची" के साथ शुरू करने के लिए, कई लोग समान रूप से निम्नलिखित अवधारणाओं का अर्थ करते हैं: "संदर्भों की सूची", "प्रयुक्त साहित्य", "संदर्भों की सूची" और यहां तक ​​कि एक सौ से अधिक (sic!) शीर्षक। सामान्य तौर पर, ऐसी चीजों के लिए, ग्रंथ सूची के संदर्भ और रिकॉर्ड के डिजाइन के नियम हैं, जिसके अनुसार आप पाठ परत से संदर्भों की एक सूची निकाल सकते हैं। आइए अधिक बताते हैं - इन अभिलेखों के डिजाइन के लिए एक GOST भी है। उदाहरण के लिए, एक प्रसिद्ध पुस्तक के लिए ग्रंथ सूची के सही डिजाइन:

सच है, यह इस तथ्य पर विचार करने के लायक है कि "GOST के अनुसार" रिकॉर्ड के डिजाइन पर मैनुअल लगभग 150 पृष्ठ लेता है। गैर-प्रिंट प्रकाशनों में ग्रंथ सूची संदर्भों के पंजीकरण के लिए, 20 से अधिक पृष्ठों के लिए एक अलग GOST है । हालाँकि, एक वाजिब सवाल यह उठता है: कितने लोग इस तरह के मनोरंजक पढ़ने के लिए समय को सही ढंग से कुछ साहित्यिक संदर्भों को आकर्षित करने के लिए समर्पित करेंगे? जैसा कि अभ्यास से पता चलता है, कुछ ही हैं। बेशक, स्वचालित पाठ लेआउट (उदाहरण के लिए, LaTeX ) के सिस्टम हैं, लेकिन छात्र वातावरण में (और यह हमारे "ग्राहकों" का बहुमत है) वे बहुत आम नहीं हैं। परिणामस्वरूप, इनपुट पर हमारे पास एक पाठ होता है जिसमें (या शायद नहीं होता है) साहित्यिक स्रोतों की कम से कम कुछ संरचित सूची होती है।

हम एक और बिंदु स्पष्ट करेंगे। तथ्य यह है कि हम सीधे डाउनलोड किए गए काम (पीडीएफ, डॉक्स, डॉक्टर, आदि) के साथ काम नहीं करते हैं, लेकिन पहले हम उन्हें एकीकृत रूप में लाते हैं, अर्थात्, हम पाठ परत को निकालते हैं। इसका मतलब यह है कि किसी भी प्रकार का स्वरूपण, उदाहरण के लिए, फ़ॉन्ट का प्रकार या आकार, पाठ से हटा दिया जाता है। नतीजतन, हमारे पास हमारे निपटान में केवल "कच्चा" पाठ है, जो अक्सर विभिन्न निष्कर्षण कलाकृतियों के कारण बहुत खराब दिखता है।

बस ध्यान दें कि हमारा एल्गोरिथ्म तेज़ और सटीक होना चाहिए। किसी दस्तावेज की जाँच की पूरी प्रक्रिया में एक ग्रंथ सूची ब्लॉक का चयन केवल एक अतिरिक्त "सुविधा" है, इसलिए इसे बहुत सारे संसाधनों को खर्च नहीं करना चाहिए। इसका मतलब यह है कि एल्गोरिथ्म को ओवरक्लॉम्प नहीं किया जाना चाहिए।

ऐसा करने के लिए, हम पहले गुणवत्ता मीट्रिक निर्धारित करते हैं जिसके द्वारा हम अपने एल्गोरिथ्म के संचालन का मूल्यांकन करेंगे। हम अपने कार्य को एक वर्गीकरण समस्या के रूप में मानेंगे। पाठ की प्रत्येक पंक्ति हम दो वर्गों में से एक से संबंधित होगी - ग्रंथ सूची या गैर-ग्रंथ सूची। खराब व्याख्या किए गए गुणवत्ता संकेतकों के साथ जीवन को जटिल नहीं करने के लिए (और इनमें से काफी हैं!), हम सही और गलत तरीके से वर्गीकृत लाइनों के अनुपात पर विचार करेंगे। हम इस धारणा पर कार्य करते हैं कि आने वाली पाठ परत लाइनों में टूट गई है। और इससे भी अधिक यह है कि इस तरह के वर्गीकरण से समझ में आता है, हमें ग्रंथसूची के साथ-साथ बाहरी पाठ को संयोजित नहीं करने के लिए एक पंक्ति की आवश्यकता है। यह एक बहुत मजबूत धारणा है, लेकिन लगभग सभी ग्रंथ जो हमारे डॉकपारर से गुजरते हैं, उन्हें संतुष्ट करते हैं। वस्तुओं के दो-वर्ग वर्गीकरण में, जो हमारा कार्य है, सबसे लोकप्रिय गुणवत्ता मैट्रिक्स सटीक और याद करते हैं । यह कैसा दिखता है - नीचे दी गई तस्वीर देखें:

_{ऊपर छवि स्रोत: विकिपीडिया
नीचे छवि स्रोत: श्रृंखला: डमियों के लिए}

चित्र दिखाता है कि एल्गोरिथ्म को कितनी बार सही ढंग से (या नहीं) स्ट्रिंग वर्गीकृत किया गया है, अर्थात्:

• टीपी एक ग्रंथ सूची स्ट्रिंग है जिसे एल्गोरिथ्म सही ढंग से निर्धारित करता है;
• TN सादे पाठ की एक पंक्ति है जिसे एल्गोरिथ्म सही ढंग से निर्धारित करता है;
• एफपी - सादे पाठ की एक पंक्ति, जिसे एल्गोरिथ्म ग्रंथ सूची के रूप में परिभाषित करता है;
• FN एक ग्रंथ सूची स्ट्रिंग है जिसे एल्गोरिथ्म एक सादे पाठ स्ट्रिंग के रूप में परिभाषित किया गया है।

एक और आवश्यकता यह है कि हमारा एल्गोरिथ्म पर्याप्त रूप से सटीक होना चाहिए (यानी, पर्याप्त रूप से उच्च परिशुद्धता स्कोर)। इसे "बल्कि, हम कुछ अनावश्यक का चयन करने की तुलना में आवश्यक का चयन नहीं करते हैं" के रूप में व्याख्या की जा सकती है।

ऑल मे ड्रीम्स कैम ट्रू

क्या, आपकी राय में, एक शोध समस्या को हल करने में सबसे अधिक समय लगता है? एल्गोरिथम विकास? एक मौजूदा सिस्टम या परीक्षण में एक समाधान एम्बेड? कोई फर्क नहीं पड़ता कि कैसे!

अजीब तरह से पर्याप्त है, ज्यादातर समय डेटा एकत्र करने और इसे तैयार करने में खर्च किया जाता है। इस मामले में भी: एक एल्गोरिथ्म के साथ आने और इसके मापदंडों को कॉन्फ़िगर करने के लिए, इसके निपटान में पर्याप्त संख्या में चिह्नित दस्तावेजों का होना आवश्यक है। यही है, दस्तावेजों जिसके लिए यह ठीक से ज्ञात है जहां वे ग्रंथ सूची रिकॉर्ड होते हैं। तीसरे पक्ष के मूल्यांकनकर्ताओं को आकर्षित करना संभव होगा, हालांकि, इस तरह के छोटे कार्यों के लिए, आप आमतौर पर थोड़ा खून से प्राप्त कर सकते हैं और अपने आप ही डेटा को चिह्नित कर सकते हैं। परिणामस्वरूप, संयुक्त प्रयासों के माध्यम से, हमने लगभग 1000 दस्तावेजों को संसाधित किया। बेशक, प्रशिक्षण के लिए, उदाहरण के लिए, एक तंत्रिका नेटवर्क, यह पर्याप्त नहीं है। हालांकि, याद रखें कि एल्गोरिथ्म सरल होना चाहिए, जिसका अर्थ है कि आपको इसके मापदंडों को कॉन्फ़िगर करने के लिए बहुत अधिक डेटा की आवश्यकता नहीं है।

हालांकि, एक एल्गोरिथ्म विकसित करने से पहले, आपको डेटा की बारीकियों को समझने की आवश्यकता है। लगभग 1000 यादृच्छिक दस्तावेज, या बल्कि, उनके पाठ परतों को देखने के बाद, हम इस बारे में कुछ निष्कर्ष निकाल सकते हैं कि ग्रंथ सूची पाठ सामान्य से अलग कैसे होता है। सबसे महत्वपूर्ण पैटर्न में से एक यह है कि लगभग हमेशा एक ग्रंथ सूची एक कीवर्ड के साथ शुरू होती है। लोकप्रिय "संदर्भों की सूची" या "उपयोग किए गए स्रोत" के अलावा, काफी विशिष्ट भी हैं, उदाहरण के लिए, "पाठ्यपुस्तक, मैनुअल, मोनोग्राफ"।

एक और समान रूप से महत्वपूर्ण विशेषता ग्रंथ सूची के रिकॉर्ड की संख्या है। फिर, यह ध्यान देने योग्य है कि संदर्भों की सूची के ये सभी "संकेत" बहुत गलत हैं और पाठ में सभी ग्रंथ सूची रिकॉर्ड को खोजने के लिए हमेशा संभव है।

हालांकि, इस तरह की गलत विशेषताएं भी पाठ परत में ग्रंथ सूची खोजने के लिए सबसे सरल एल्गोरिथ्म विकसित करने के लिए पर्याप्त हैं। आइए हम इसका औपचारिक रूप से वर्णन करें:

1. हम पाठ में "ट्रेबल क्लीफ़्स" की तलाश कर रहे हैं - ग्रंथ सूची के कीवर्ड;
2. हम ग्रंथ सूची के अंकन के नीचे पाठ में खोजने की कोशिश करते हैं;
3. यदि कोई नंबरिंग है, तो हम पाठ के माध्यम से समाप्त होने तक चलते हैं।

यह सरल एल्गोरिथ्म लगभग 100% सटीकता दिखाता है, लेकिन बहुत कम पूर्णता। इससे पता चलता है कि हमारा एल्गोरिथ्म केवल ग्रंथ सूची का चयन करता है, लेकिन क्या यह इतनी चुनिंदा है कि यह ग्रंथ सूची का केवल एक छोटा सा हिस्सा पाता है। कठिनाई यह है कि ग्रंथ सूची को आसानी से गिना नहीं जा सकता है, इसलिए हम इस एल्गोरिथम का उपयोग सहायक के रूप में करेंगे।

आइए अब एक और एल्गोरिथ्म का निर्माण करने की कोशिश करते हैं जो पाठ में शेष प्रकार के ग्रंथ सूची रिकॉर्ड को ढूंढता है। ऐसा करने के लिए, उन विशेषताओं को उजागर करें जो ग्रंथ सूची के पंक्तियों से सादे पाठ की रेखाओं को अलग करती हैं। यह ध्यान दिया जाना चाहिए कि ग्रंथ सूची पाठ काफी संरचित है, हालांकि प्रत्येक लेखक इस संरचना को अपने तरीके से बनाता है। हमने वांछित पंक्तियों की निम्नलिखित विशिष्ट विशेषताओं की पहचान की है:

1. लाइन की शुरुआत में नंबरिंग की उपस्थिति - पहले एल्गोरिथ्म का वर्णन करते समय यह पहले से ही ऊपर उल्लेख किया गया था;
2. वर्षों की संख्या की स्ट्रिंग में उपस्थिति। इसके अलावा, ये सिर्फ चार अंकों की संख्या नहीं होनी चाहिए, (अन्यथा इसमें कई संयोग होंगे), लेकिन विशिष्ट वर्ष जो अक्सर उद्धृत करते समय उपयोग किए जाते हैं: 1900 से वर्तमान तक;
3. लेखकों, संपादकों और अन्य लोगों के पूर्ण नामों की सूची, जो प्रकाशन के प्रकाशन में भाग लेते थे, विभिन्न स्वरूपों में;
4. पृष्ठ संख्या, वॉल्यूम और समान प्रकार की अन्य जानकारी का संकेत;
5. अंक संख्या का संकेत वाक्यांशों की पंक्ति में उपस्थिति;
6. स्ट्रिंग में एक url की उपस्थिति;
7. पेशेवर शब्दावली की एक पंक्ति में लत। अधिकांश भाग के लिए, ये विशेष संक्षिप्तियाँ हैं, जैसे कि 'कॉन्फिडेंट', 'साइंटिफिक-प्रैक्टिकल।' और इसी तरह के संक्षिप्त

हम इन संकेतों को बाइनरी के रूप में परिभाषित करते हैं और उन्हें सबसे सरल में से एक पर प्रशिक्षित करते हैं, लेकिन एक ही समय में काफी प्रभावी क्लासिफायरियर - रैंडम फॉरेस्ट । रैंडम फॉरेस्ट एल्गोरिथ्म एक पहनावा वर्गीकरण विधि है। इसमें कई (आमतौर पर लगभग 100) सरल निर्णय पेड़ होते हैं, जिनमें से प्रत्येक अपना निर्णय स्वयं करता है, कि प्रश्न में वस्तु किस वर्ग से संबंधित है। संपूर्ण एल्गोरिथ्म का उत्तर बहुत ही सरलता से बनाया गया है: एक ऐसा वर्ग चुना गया है जो अधिकांश निर्णय पेड़ों द्वारा गठित किया गया था:

_{छवि स्रोत: www.researchgate.net}

जैसा कि ऊपर उल्लेख किया गया है, हम एल्गोरिदम के मापदंडों का चयन करेंगे ताकि इसकी सटीकता को अधिकतम किया जा सके। आइए इस एल्गोरिदम को कुछ दस्तावेज़ में लागू करने की कोशिश करें और काम के परिणाम को देखें:

ऊपर की तस्वीर में, एल्गोरिथ्म को ग्रंथसूची मानने वाली लाइनों को लाल रंग में हाइलाइट किया गया है। जैसा कि आप देख सकते हैं, एल्गोरिथ्म अपने कार्य के साथ काफी अच्छी तरह से सामना करता है - पूरे पाठ में लगभग कोई अनावश्यक हाइलाइट नहीं है, हालांकि, ग्रंथ सूची स्वयं "टुकड़ों" से निर्धारित होती है। यह आसानी से समझाया गया है: चूंकि एल्गोरिथ्म को उच्च सटीकता के लिए तेज किया गया है, यह केवल उन पंक्तियों का चयन करता है जो ग्रंथ सूची के होने की अत्यधिक संभावना है। एल्गोरिथम के अनुसार, अचयनित रेखाएं, सादे पाठ के टुकड़ों की तरह दिखती हैं।

आइए परिणाम को "कंघी" करने की कोशिश करें। हमें दो समस्याओं को खत्म करने की आवश्यकता है: मुख्य पाठ के भीतर यादृच्छिक एकल चयन और ग्रंथ सूची का स्वयं का चयन करना। इन समस्याओं का एक त्वरित और प्रभावी समाधान "ग्लूइंग" और "थिनिंग" ऑपरेशन है। नाम खुद के लिए बोलते हैं: हम एकल-खड़ी ग्रंथ सूची और समीपवर्ती लाइनों को हटा देंगे जिनके बीच कई अचयनित रेखाएँ हैं। इसके अलावा, सबसे अधिक संभावना है, ग्लूइंग-थिनिंग के कई पुनरावृत्तियों को करना आवश्यक होगा, क्योंकि एक पास के साथ, एकल लाइनें जो ग्रंथसूची नहीं हैं वे एक साथ चिपक सकती हैं और हटा नहीं सकती हैं। हमने एक अलग सदस्यता पर ग्लूइंग और थिनिंग ऑपरेशन (पास की संख्या, ग्लूइंग चौड़ाई, विलोपन पैरामीटर) के मापदंडों को कॉन्फ़िगर किया है (जो नहीं जानता कि "पीछे हटने" क्या है, हम यहां देखने की सलाह देते हैं )।

हमारे सुधार के बाद क्या हुआ? कई दस्तावेज़ों को देखते समय, हमने देखा कि निम्नलिखित "सुविधाओं" के साथ ग्रंथ सूची हैं:

सौभाग्य से, हमारे पास एक सरल लेकिन प्रभावी एल्गोरिदम है जो बस ऐसे मामलों को ध्यान में रखता है। और चूंकि यह सरल एल्गोरिथ्म ग्रंथ सूची की आवश्यक लाइनों के अलावा और कुछ का चयन नहीं करता है, हम गुणवत्ता के नुकसान के बिना दो एल्गोरिदम के परिणामों को जोड़ सकते हैं।

यह बहुत अच्छा लग रहा है। बेशक, चूंकि एल्गोरिथ्म संभावित है, इसलिए संभावना है कि ग्रंथ सूची को बिल्कुल भी पाठ में नहीं पाया जा सकता है। हमने विशेष रूप से ग्रंथ सूची की सूची को बदल दिया ताकि एल्गोरिथ्म "इसे ध्यान न दें":

लेकिन इस तरह की ग्रंथ सूची, विशुद्ध रूप से व्यक्तिपरक दृष्टि में, आम पाठ से बहुत अलग नहीं है।

आखिर में हमें क्या मिला? हमने डाउनलोड करने योग्य दस्तावेजों में ग्रंथ सूची के रिकॉर्ड को उजागर करने के लिए एक मॉड्यूल लागू किया है। मॉड्यूल में दो एल्गोरिदम होते हैं, जिनमें से प्रत्येक को एक विशिष्ट ऑपरेशन विशिष्टता के लिए सिलवाया जाता है। एक एल्गोरिथ्म कीवर्ड के बाद एक क्रमांकित ग्रंथ सूची ब्लॉक आवंटित करता है। दूसरा एल्गोरिथ्म उन पंक्तियों का चयन करता है, जो ग्रन्थसूची में होने की बहुत अधिक संभावना है, और फिर कई "ग्लूइंग" और "थिनिंग" ऑपरेशन करते हैं। मॉड्यूल का परिणाम वर्णित एल्गोरिदम का संघ है।

यह भी ध्यान देने योग्य है कि एल्गोरिथ्म की गति, यहां तक ​​कि बड़े दस्तावेजों पर भी, बल्कि उच्च है। इसका मतलब है कि सत्यापन प्रक्रिया के दौरान हमारा एल्गोरिथ्म "सहायक सुविधा" की आवश्यकताओं के लिए पूरी तरह उपयुक्त है।

निष्कर्ष

तो मैच और acorns से ...

नतीजतन, हम उपयोगकर्ता ग्रंथों में ग्रंथ सूची के अभिलेखों को निकालने की एक सरल लेकिन प्रभावी प्रक्रिया को लागू करने में सक्षम थे। और यद्यपि यह दस्तावेजों की संरचना को उजागर करने के कार्य में एक छोटा सा हिस्सा है, फिर भी यह एंटी-प्लाजियरिज्म प्रणाली की सेवा की गुणवत्ता में सुधार करने के लिए एक बड़ा कदम है । वैसे, हमारे काम के परिणाम पहले से ही सिस्टम की उपयोगकर्ता रिपोर्टों में देखे जा सकते हैं। अपने मन से बनाएं!