इस तरह से एंटी-प्लाजिरिज़्म में ऋण की खोज काम करती है

हमने आपको पहले ही ग्रंथों के दिलचस्प आंकड़ों के बारे में बताया था, पाठ विश्लेषण में ऑटोकॉडर्स के उपयोग पर लेखों की समीक्षा की , हमें हस्तांतरणीय उधार और पैराफेरेस के लिए हमारे नए खोज एल्गोरिदम के साथ आश्चर्यचकित किया। मैंने अपनी कॉर्पोरेट परंपरा को जारी रखने का फैसला किया और सबसे पहले, "टी" के साथ लेख शुरू किया, और दूसरी बात, यह बताया:

• सैकड़ों लाखों लेखों के बीच पाठ का एक पैराग्राफ जल्दी से कैसे पाएं;
• एंटी-प्लाजियरिज़्म सिस्टम में लोड होने के बाद दस्तावेज़ क्या बदल जाता है, और आगे क्या करना है;
• एक रिपोर्ट कैसे बनाई जाती है जो लगभग कोई नहीं देखता है, लेकिन इसके लायक होगा;
• सभी को कैसे अनुक्रमणित करें, लेकिन पर्याप्त नहीं।

यह सब कैसे शुरू हुआ

2005 में, मॉस्को के सबसे बड़े विश्वविद्यालयों में से एक का रेक्टर एक बहुत गंभीर समस्या को हल करने के लिए फॉरेसिक्स में हमारे पास आया - शैक्षिक संस्थानों में, छात्रों ने पूरी तरह से लिखित डिप्लोमा और टर्म पेपर पास किए। हमने उत्कृष्ट छात्रों के कई सौ काम किए और सरल प्रश्नों के साथ नेटवर्क में उनके लिए खोज की। आधे से अधिक "उत्कृष्ट छात्र" ठग निकले, जिन्होंने इंटरनेट से डिप्लोमा डाउनलोड किया और केवल शीर्षक पृष्ठ को प्रतिस्थापित किया। आधे से अधिक उत्कृष्ट छात्र, कार्ल! आम छात्रों के साथ जो हुआ वह कल्पना करना मुश्किल है। नौकरी की खोज करने का सबसे आसान तरीका एक क्वेरी के लिए है जिसमें "ब्लैक होल" वाले शब्द हैं। हम आपदा के पैमाने से अवगत हो गए हैं। कुछ हल करना जरूरी था। उस समय तक, विदेशी अंग्रेजी बोलने वाले विश्वविद्यालय पहले से ही उधार समाधानों का उपयोग कर रहे थे, लेकिन किसी कारण से किसी ने रूसी में काम नहीं किया।

विदेशी खिलाड़ी तब रूसी भाषा में अपने समाधान नहीं चाहते थे। परिणामस्वरूप, 17 मार्च 2005 को, पहली घरेलू उधारी खोज प्रणाली का विकास शुरू हुआ। शब्द "एंटी-प्लेजरिज़्म" को थोड़ा बाद में गढ़ा गया था, और डोमेन antiplagiat.ru को 28 अप्रैल, 2005 को पंजीकृत किया गया था। हमने 1 सितंबर 2005 तक साइट को जारी करने की योजना बनाई, लेकिन, जैसा कि अक्सर प्रोग्रामर के साथ होता है, उनके पास समय नहीं था। हमारी कंपनी का आधिकारिक जन्मदिन है, जिस दिन antiplagiat.ru को 4 सितंबर यानी पहले उपयोगकर्ता प्राप्त हुए। आप जानते हैं, मुझे इस बात की खुशी भी है, क्योंकि कंपनी के जन्मदिन के अवसर पर कॉर्पोरेट पार्टी के दौरान, हर कोई शांति से मना सकता है, और अपने बच्चों के पहले स्कूल के दिन के बारे में चिंता नहीं करता है।

लेकिन कुछ मैं विचलित था। 2005 में, हमने एक प्रकार का खोज इंजन बनाया, जिसमें यांडेक्स और Google के विपरीत, क्वेरी दो या तीन शब्द नहीं है, बल्कि एक पूरा पाठ है जिसमें कई वाक्य हैं। इसलिए, यदि आपके पास 1000 वर्णों का पाठ है (तो यह लगभग आधा पृष्ठ है) "एंटी-प्लाजियरिज़्म" का उपयोग करना उचित है।

सेवा के विकास के दौरान, php (वेब ​​पार्ट) और Microsoft SQL सर्वर (खोज इंजन) पर एक प्रोटोटाइप बनाया गया था। यह तुरंत स्पष्ट हो गया कि यह दूर नहीं होगा और धीरे-धीरे कई मिलियन दस्तावेजों पर काम करेगा। इसलिए, मुझे अपना सर्च इंजन काटना पड़ा। अब सिस्टम C # और अजगर में लिखा गया है, PostgreSQL और MongoDB का उपयोग करता है (वास्तव में, बहुत अधिक, लेकिन अगले लेख में उस पर अधिक)। खोज इंजन अभी भी पूरी तरह से हमारे द्वारा विकसित किया गया है। पुट लाइक कमेंट में लिखें अगर आप सिस्टम के विकास के इतिहास, कंपनी की प्रक्रियाओं में बदलाव और उस हार्डवेयर के बारे में जानना चाहते हैं, जिस पर Antiplagiarism ने अपने जीवन में अलग-अलग समय पर काम किया, और अब काम कर रहा है।

जिस शब्द ने कंपनी का नाम दिया था वह अब एक घरेलू शब्द बन गया है। अक्सर एक खोज इंजन में "एंटी-प्लाजिरिज़्म के लिए जाँच", "एंटी-प्लैगैरिज़्म को बढ़ाएं" जैसे भाव मिल सकते हैं। हर कोई जो किसी न किसी तरह से रूस और पड़ोसी देशों में उधार लेने के क्षेत्र से जुड़ा हुआ है, वह खोज परिणामों में इसे बढ़ाने के लिए "विरोधी साहित्यिक चोरी" शब्द का उपयोग करने की कोशिश कर रहा है। हमें अक्सर अन्य "विरोधी साहित्यवाद" के बारे में पूछा जाता है। इसलिए, "एंटी-प्लेगिज्म" एक है, यह एक ट्रेडमार्क और हमारी कंपनी का नाम है।

ऋण खोज सेवा के कार्यान्वयन की शुरुआत में, हमने तय किया कि हम पाठ के साथ पात्रों के अनुक्रम के रूप में काम करेंगे। ग्रंथों से विभिन्न अर्थ निर्माण, अर्थों की खोज, वाक्यों का विश्लेषण आदि को तुरंत खारिज कर दिया गया। हमारे द्वारा चुना गया समाधान दो बड़े फायदे प्रदान करता है - उच्च खोज गति और खोज अनुक्रमित की अपेक्षाकृत कम मात्रा।

वर्तमान में हमारे लाइनअप में तीन उत्पाद हैं। वे कार्यक्षमता से प्रतिष्ठित हैं, लेकिन मूल रूप से उधार लेने की खोज का एक ही सिद्धांत है। इस लेख में, मैं इस बारे में बात करूंगा कि उधार लेने के कार्यों के लिए हमारी क्लासिक खोज कैसे है - यह कार्यक्षमता जो शुरुआत से ही सेवा का आधार बन गई है और अभी भी वैचारिक रूप से नहीं बदली है। उधार की खोज योजना, जैसा कि आप छवि में देखते हैं, एक उल्लू को खींचने की तरह सरल और सीधा है। सबसे पहले, हम उपयोगकर्ता से दस्तावेज़ प्राप्त करते हैं, फिर हम उसमें से पाठ निकालते हैं। तब हम इस पाठ में उधार की तलाश करते हैं, हमें "संशोधन" मिलते हैं (जैसा कि हम एक खोज मॉड्यूल के लिए रिपोर्ट कहते हैं) और, अंत में, हम एक बड़ी रिपोर्ट में संशोधन एकत्र करते हैं, जिसे हम उपयोगकर्ता के परिणामस्वरूप दिखाते हैं।



आइए देखें कि यह सब कैसे होता है।

पाठ निष्कर्षण

सबसे पहले, "एंटी-प्लेजरिज़्म" केवल पाठ उधार लेने की खोज के लिए एक सेवा है, जिसका अर्थ है कि हमें इसके साथ काम करना जारी रखने के लिए सभी दस्तावेजों से पाठ निकालने की आवश्यकता है। सिस्टम डॉक, डॉक, टीएक्सटी, पीडीएफ, आरटीएफ, ओडीटी, एचटीएमएल, पीपीटीएक्स और कई अन्य (कभी भी उपयोग नहीं किए गए) प्रारूपों में दस्तावेजों को डाउनलोड करने की क्षमता का समर्थन करता है। आप इन सभी दस्तावेजों को अभिलेखागार (7z, ज़िप, आरएआर) में भी डाउनलोड कर सकते हैं। यह तरीका तब लोकप्रिय था जब हम वेब इंटरफेस के माध्यम से एक साथ कई दस्तावेज अपलोड नहीं कर पा रहे थे। नीचे हमारे सिस्टम के कॉर्पोरेट भाग में डाउनलोड करने योग्य दस्तावेज़ प्रारूपों की लोकप्रियता का एक ग्राफ है। यह दिखाता है कि कई वर्षों में डॉक्टर द्वारा डॉक्स को कैसे दबाया गया है, और पीडीएफ का अनुपात धीरे-धीरे बढ़ रहा है। यदि आप txt पर विचार नहीं करते हैं (इसके लिए पाठ निकालना तुच्छ है), तो हमारे लिए सबसे सुखद पीडीएफ है। विदेश पीडीएफ डी वास्तविक मानक है, यह लेख प्रकाशित करता है, छात्र काम तैयार करता है। हमारे आंकड़ों के अनुसार, पीडीएफ धीरे-धीरे रूस और सीआईएस देशों में लोकप्रियता हासिल कर रहा है। हम स्वयं इस प्रारूप को आम जनता तक पहुंचा रहे हैं, इसमें दस्तावेज़ डाउनलोड करने की सिफारिश कर रहे हैं।

हमने निजी ग्राहकों के लिए दस्तावेज़ डाउनलोड प्रारूप को पीडीएफ और txt तक सीमित कर दिया है, और यही कारण है कि हमने संसाधनों की खपत कम कर दी है और एक मुफ्त सेवा का समर्थन करने की लागत कम कर दी है। आखिरकार, आपको पाठ की जांच करने की आवश्यकता है, और सिस्टम का परीक्षण नहीं करना चाहिए? तो इसे अपलोड करने के प्रारूप में क्या अंतर है?

पाठ को निकालने का अगला सबसे आसान तरीका है डॉक्स, क्योंकि, वास्तव में, यह एक ज़िप आर्काइव है जिसके अंदर xml है, यह प्रक्रिया करने के लिए काफी सरल है, और बहुत कम स्तर पर किया जा सकता है।

हमारे लिए सबसे मुश्किल काम है डॉक। यह प्रारूप लंबे समय से बंद है, और अब इसके कार्यान्वयन का एक गुच्छा है। अंतिम Microsoft Word, जिसने समर्थन नहीं किया है। (Microsoft कार्यालय संगतता पैक के माध्यम से), 20 साल पहले जारी किया गया था और इसे Microsoft Office 97 में शामिल किया गया था। प्रारूप OLE का उपयोग करता है, जो बाद में COM और ActiveX में विकसित हुआ, सब कुछ द्विआधारी है, कभी-कभी असंगत है। संस्करणों के बीच। सामान्य तौर पर, एक आधुनिक प्रोग्रामर का भयानक सपना। यह अच्छा है कि .doc प्रारूप धीरे-धीरे दृश्य छोड़ रहा है। मुझे लगता है कि समय आ गया है कि हम उसे रिटायर करने में मदद करें। जल्द ही हम जानबूझकर उपयोगकर्ताओं को चेतावनी देंगे कि यह प्रारूप पुराना है।



इसलिए, रिपोर्ट पर वापस जाएं। हमने फ़ाइल प्राप्त की और पाठ को निकालना शुरू किया। पाठ के साथ-साथ, सिस्टम पृष्ठों पर शब्दों के पदों को भी निकालता है ताकि भविष्य में हमारे उपयोगकर्ताओं को दस्तावेज़ पर उधार रिपोर्ट का मार्कअप दिखाना संभव हो सके। इसके अलावा, एक ही चरण में, हम एंटी-प्लाजरिज़्म के लिए तकनीकी वर्कअराउंड की तलाश में हैं।

जैसे ही "एंटी-साहित्यिकवाद" दिखाई दिया, मौलिकता का प्रतिशत दिखाते हुए, ऐसे लोग थे जो कम से कम प्रयास के साथ उधार लेने के लिए एक चेक पास करना चाहते थे, साथ ही साथ लोग पैसे के लिए ऐसी सेवा की पेशकश करते थे। समस्या यह है कि संख्यात्मक पैरामीटर एक अनुमान बनने के लिए कहता है। आखिरकार, यह बहुत सरल है - एक उपकरण के रूप में सिस्टम का उपयोग करके काम को पढ़ने के बजाय, इसे न पढ़ें, बल्कि मौलिकता के प्रतिशत से इसका मूल्यांकन करें! यह दुर्भाग्य था जिसने काम की ट्यूनिंग के रूप में इस तरह की दिशा को जन्म दिया (काम की मौलिकता का प्रतिशत बढ़ाने के लिए पाठ में बदलाव)। "रूसी विश्वविद्यालयों में उधार का पता लगाने के अभ्यास पर" लेख में विश्वविद्यालय प्रक्रियाओं में समस्याओं के बारे में और पढ़ें।

विदेशी खोज प्रणालियों में, तकनीकी वर्कअराउंड का पता लगाने और उनका मुकाबला करने की समस्याएं व्यावहारिक रूप से इसके लायक नहीं हैं। तथ्य यह है कि खोज की गई "कान के साथ feint" एक बहुत कठोर सजा के बाद होगा - निष्कासन, और आगे की कैरियर के साथ असंगत, वैज्ञानिक प्रतिष्ठा पर अमिट दाग। हमारे मामले में, स्थिति हास्यास्पद रूप से सरल है: "ओह, इस प्रणाली ने कुछ गड़बड़ कर दी!", "ओह, यह मैं नहीं, यह खुद है!" छात्र को फिर से भेजे जाने की संभावना है। तथ्य यह है कि लिखना, अफसोस, कुछ शर्मनाक नहीं है।

लेकिन फिर से विचलित हो गया। पाठ निकालने का दूसरा तरीका OCR है। हम दस्तावेज़ को एक आभासी प्रिंटर पर प्रिंट करते हैं, और फिर इसे पहचानते हैं। इस बारे में और अधिक पढ़ें "एंटी-प्लेजरिज्म की सेवा में छवि मान्यता" ।

अब ग्रंथों को निकालने के बारे में हमारी कहानी थोड़ा सा। सबसे पहले, हमने IFilters का उपयोग करके ग्रंथों को निकाला। वे केवल विंडोज के नीचे धीमे हैं, और स्वरूपण जानकारी वापस नहीं करते हैं (यह स्पष्ट नहीं है कि सफेद पृष्ठभूमि पर सफेद पाठ कहां है, फिर आप उपयोगकर्ता दस्तावेज़ में सीधे उधार ब्लॉकों को चिह्नित नहीं कर सकते हैं)। हमने सोचा था कि अगर हम भुगतान किए गए पुस्तकालयों का उपयोग करना शुरू कर देते हैं, तो ये समस्याएं हल हो जाएंगी, लेकिन हमने सीमाएं भी पाईं: जैसे कि विंडोज के तहत, वे सूत्र नहीं देखते हैं, कभी-कभी वे विशेष रूप से तैयार किए गए दस्तावेजों (विभिन्न पुस्तकालयों पर अलग-अलग!) पर गिर जाते हैं। अगला विचार आने वाले सभी दस्तावेजों को OCR करने का था, लेकिन यह दृष्टिकोण बहुत ही संसाधन-गहन है (एक कोर पर केवल 10 पृष्ठ प्रति मिनट प्रसंस्करण), और कुछ स्थानों पर पाठ सही ढंग से नहीं निकाला गया है।

हमें एक चांदी की गोली नहीं मिली, हालांकि कई बार हमने सोचा कि यह खुशी थी। हालांकि, तब, इस के साथ एक छोटे से रहने, उन्हें एहसास हुआ कि यह फिर से एक अनुभव था। प्रदर्शन के बीच एक महीन रेखा पर पाठ निष्कर्षण शेष है (आपको प्रति मिनट सैकड़ों दस्तावेज़ों से पाठ निकालने की आवश्यकता है), विश्वसनीयता (आपको सब कुछ से पाठ निकालने की आवश्यकता है), कार्यक्षमता (स्वरूपण, वर्कअराउंड, बस इतना ही)। अब उपरोक्त सभी और हमारे लिए थोड़ा और काम। हम लगातार इस क्षेत्र के साथ प्रयोग कर रहे हैं और अपनी खुशियों की खोज में लगे हुए हैं।

पाठ निकाला जाता है, गोल पाए जाते हैं और आंशिक रूप से समाप्त हो जाते हैं, हम उधार लेने के लिए देखते हैं!

उधार खोज

खोज प्रक्रिया में लागू किए गए विचार को इल्या सेगालोविच और यूरी ज़ेलेंकोव द्वारा प्रस्तावित किया गया था (आप उदाहरण के लिए, लेख में पढ़ सकते हैं: वेब दस्तावेजों के लिए फ़ज़ी डुप्लिकेट का निर्धारण करने के लिए तरीकों का तुलनात्मक विश्लेषण )। मैं आपको बताता हूं कि यह हमारे लिए कैसे काम करता है। उदाहरण के लिए, वाक्य को लें: "7 मई, 2012 एन 596 के रूसी संघ के राष्ट्रपति का फरमान" दीर्घकालिक राज्य आर्थिक नीति "।"

1. हम वाक्यों को शब्दों में तोड़ते हैं, हम संख्याओं, विराम चिह्नों, शब्दों को रोकते हैं। Lemmatize (सामान्य रूप में लाएं) सभी शब्द।
2. हम हैशिंग द्वारा शब्दों को पूर्णांक में बदलते हैं, हमें संख्याओं की एक सरणी मिलती है।
3. हम पहले तीन हैश लेते हैं, फिर 2nd, 3rd, 4th हैश, फिर 3rd, 4th, 5th और इसी तरह हैश एरे के अंत में। यह दाद - खपरैल है। इस तरह के टाइलों के अतिव्यापी सेट के कारण इस पद्धति को इसका नाम मिला। हम प्रत्येक टाइल को एक वस्तु में मिलाते हैं और फिर से हैश करते हैं।
4. हम परिणामी संख्याओं को क्रमबद्ध करते हैं, हमें पूर्णांकों की क्रमबद्ध सारणी मिलती है। यही खोज का आधार है।

अब खोज के लिए, हमें एक मैजिक फ़ंक्शन की आवश्यकता है, जो हैश की ऐसी सूची के अनुसार, दस्तावेज़ों को बदल देता है, मेल खाते हैश की संख्या के अवरोही क्रम में, एक स्रोत दस्तावेज़ में क्रमबद्ध करता है। इस फ़ंक्शन को जल्दी से काम करना चाहिए क्योंकि हम अरबों दस्तावेजों में खोज करना चाहते हैं। इस तरह के सेट को जल्दी से खोजने के लिए, हमें एक रिवर्स इंडेक्स की आवश्यकता होती है, जो हैश द्वारा उन दस्तावेजों की एक सूची देता है जिसमें यह हैश है। हमने इतनी विशालकाय हैश टेबल लागू की है। अपने पुराने खोज भाइयों के विपरीत, हम इस तालिका को ssd पर संग्रहीत करते हैं, स्मृति में नहीं। हम इस तरह के प्रदर्शन से काफी कम हैं। सूचकांक खोज पूरे दस्तावेज़ प्रसंस्करण चक्र का एक छोटा सा हिस्सा लेता है। देखें कि खोज कैसे होती है:

स्टेज 1. इंडेक्स सर्च

अनुरोध पाठ के प्रत्येक हैश के लिए, हमें स्रोत दस्तावेजों के पहचानकर्ताओं की एक सूची मिलती है जिसमें यह होता है। अगला, हम अनुरोध पाठ से प्राप्त हैश की संख्या से स्रोत दस्तावेजों के पहचानकर्ताओं की सूची को रैंक करते हैं। हमें उधार लेने के स्रोत के लिए उम्मीदवार दस्तावेजों की एक रैंक प्राप्त होती है।

चरण 2. लेखा परीक्षा का निर्माण

उम्मीदवारों के एक बड़े पाठ अनुरोध के लिए लगभग 10 हजार हो सकते हैं। अनुरोध के पाठ के साथ प्रत्येक दस्तावेज़ की तुलना करना अभी भी बहुत कुछ है। हम लालच से काम करते हैं, लेकिन निर्णायक रूप से। हम पहले स्रोत दस्तावेज़ लेते हैं, अनुरोध पाठ के साथ तुलना करते हैं और उन सभी अन्य उम्मीदवारों से बाहर कर देते हैं जो इस पहले दस्तावेज़ में पहले से ही थे। हम उन उम्मीदवारों की सूची से हटा देते हैं जिनके पास शून्य हैश है, हैश की नई संख्या के अनुसार उम्मीदवारों को फिर से क्रमबद्ध करते हैं। हम नई सूची से पहला दस्तावेज़ लेते हैं, स्रोत पाठ के साथ तुलना करते हैं, हैश को हटाते हैं, शून्य उम्मीदवारों को हटाते हैं, उम्मीदवारों को फिर से सॉर्ट करते हैं। हम इसे 10-20 बार करते हैं, आमतौर पर यह सूची को रन आउट करने के लिए पर्याप्त होता है या केवल ऐसे दस्तावेज़ होते हैं जिनमें कई हैश के लिए एक मैच होता है।

शब्दों के हैश का उपयोग करने से हम तुलनात्मक कार्यों को तेजी से अंजाम दे सकते हैं, मेमोरी को बचा सकते हैं और स्रोत दस्तावेजों के ग्रंथों को संग्रहीत नहीं कर सकते हैं, लेकिन उनकी डिजिटल कास्ट (टेक्स्टस्पिरिट, जैसा कि हम उन्हें प्यार से कहते हैं) अनुक्रमण के दौरान प्राप्त करते हैं, जिससे कॉपीराइट का उल्लंघन होता है। प्रत्यय वृक्ष का उपयोग करके विशिष्ट उधार टुकड़ों का चयन किया जाता है।

एक खोज मॉड्यूल के साथ जाँच के परिणामस्वरूप, हमें एक संशोधन मिलता है, जिसमें स्रोतों की सूची, उनका मेटाडेटा और अनुरोध पाठ के सापेक्ष उधार इकाइयों के निर्देशांक शामिल हैं।

रिपोर्ट विधानसभा

वैसे, क्या होगा अगर 10-15 मॉड्यूल में से एक ने समय पर जवाब नहीं दिया? हम RSL, eLibrary और गारंटर का संग्रह खोजते हैं। ये खोज मॉड्यूल तृतीय-पक्ष संगठनों के क्षेत्र पर स्थित हैं, और कॉपीराइट कारणों से इसे हमारी साइट पर स्थानांतरित नहीं किया जा सकता है। यहां विफलता का बिंदु हमेशा हमारे द्वारा नियंत्रित नहीं किए जाने वाले डेटा केंद्रों में एक संचार चैनल और विभिन्न बल की आवश्यकता हो सकती है। एक ओर, उधार किसी भी खोज मॉड्यूल में पाया जा सकता है, दूसरी ओर, यदि सिस्टम का कोई एक घटक अनुपलब्ध है, तो आप खोज की गुणवत्ता को ख़राब कर सकते हैं, लेकिन अधिकांश परिणाम दे सकते हैं, जबकि उपयोगकर्ता को चेतावनी देते हैं कि कुछ खोज मॉड्यूल का परिणाम अभी तैयार नहीं है। आप कौन सा विकल्प लागू करेंगे? हम इन दोनों विकल्पों को उपयुक्त मानते हैं।



अंत में, सभी संशोधन प्राप्त होते हैं, हम रिपोर्ट की विधानसभा शुरू करते हैं। यह एक संशोधन को तैयार करने के समान दृष्टिकोण का उपयोग करता है। ऐसा लगता है कि कुछ भी जटिल नहीं है, लेकिन दिलचस्प काम भी हैं। हमारे पास दो प्रकार के उधार हैं। "उद्धरण" मॉड्यूल में "उद्धरण" को हरे रंग में इंगित किया गया है (GOST के अनुसार) उद्धरण "सामान्य अभिव्यक्तियों" मॉड्यूल से टाइप करने के लिए "क्या आवश्यक है" के भाव, गारंटर और लेक्सप्रो डेटाबेस से नियामक दस्तावेज। अन्य सभी उधार नारंगी में चिह्नित हैं। जब तक वे पूरे नारंगी ब्लॉक में प्रवेश नहीं करते, तब तक साग संतरे पर पूर्वता लेते हैं।

नतीजतन, रिपोर्ट की तुलना टेबल पर पड़े कागज पर छपे हुए पाठ से की जा सकती है, जिस पर बहु-रंगीन स्ट्रिप्स (उधार और उद्धरणों के ब्लॉक) को स्क्रिब्ल्ड किया जाता है, एक-दूसरे को जमकर ओवरलैप किया जाता है। जो हम ऊपर देखते हैं वह एक रिपोर्ट है। हमारे पास प्रत्येक स्रोत के लिए दो संकेतक हैं:

रिपोर्ट में हिस्सा उधार की मात्रा का अनुपात है, जिसे इस स्रोत से दस्तावेज़ के कुल आयतन पर ध्यान दिया जाता है। यदि एक ही पाठ कई स्रोतों में पाया गया था, तो यह उनमें से केवल एक को ध्यान में रखा जाता है। जब आप रिपोर्ट का कॉन्फ़िगरेशन बदलते हैं (स्रोतों को सक्षम या अक्षम करते हैं), तो स्रोत का यह संकेतक बदल सकता है। कुल में, यह उधार और उद्धरण का प्रतिशत (स्रोत के रंग के आधार पर) देता है।

पाठ में हिस्सा - पाठ के दिए गए स्रोत से दस्तावेज़ की कुल मात्रा के लिए उधार ली गई मात्रा का अनुपात। सूत्रों द्वारा पाठ में शेयरों को संक्षेप में प्रस्तुत करने का कोई मतलब नहीं है, यह आसानी से 146% या इससे भी अधिक हो जाएगा। रिपोर्ट बदलने पर यह संकेतक नहीं बदलता है।

स्वाभाविक रूप से, रिपोर्ट को संपादित किया जा सकता है। लेखक के स्वयं के कार्यों को उधार लेने को अक्षम करने के लिए काम की जाँच करने वाले विशेषज्ञ के लिए यह एक विशेष कार्य है (यह दिखाई दे सकता है कि यह टुकड़ा केवल लेखक के अपने काम में नहीं है, बल्कि कहीं और भी है) और अलग-अलग उधार ब्लॉक, स्रोत प्रकार से बदलें प्रशस्ति पत्र के लिए उधार लेना। रिपोर्ट को संपादित करने के परिणामस्वरूप, विशेषज्ञ को उधार लेने का वास्तविक मूल्य प्राप्त होता है। सत्यापन के लिए किसी भी कार्य को पढ़ा जाना चाहिए। दस्तावेज़ के मूल रूप को देखकर ऐसा करना सुविधाजनक है, जिसमें उधार लेने वाले ब्लॉक चिह्नित हैं, और तुरंत, जैसा कि आप पढ़ते हैं, रिपोर्ट को संपादित करते हैं। दुर्भाग्य से, यह हर किसी के द्वारा एक तार्किक कार्रवाई नहीं है, कई लोग रिपोर्ट को देखे बिना भी मौलिकता के प्रतिशत से संतुष्ट हैं।

हालाँकि, एक कदम पीछे हट जाएँ और पता लगाएँ कि एंटी-प्लाजियरिज़्म द्वारा बनाए गए इंटरनेट सर्च मॉड्यूल के सूचकांक में क्या मिलता है।

इंटरनेट इंडेक्सिंग

विरोधी साहित्यिकता मुख्यतः छात्र कार्य, वैज्ञानिक प्रकाशन, अंतिम योग्यता कार्य, शोध प्रबंध आदि पर केंद्रित है। हम इंटरनेट को दिशात्मक रूप से अनुक्रमित करते हैं - हम वैज्ञानिक ग्रंथों, सार, लेख, शोध प्रबंध, वैज्ञानिक पत्रिकाओं आदि के बड़े समूहों की तलाश कर रहे हैं। अनुक्रमण ऐसा होता है:

1. हमारा रोबोट आता है, अपना परिचय देता है और, robots.txt द्वारा निर्देशित (हमारे पास एक अच्छा रोबोट है), प्रत्येक होस्ट पर एक उचित लोड के साथ दस्तावेज़ डाउनलोड करता है (सैकड़ों साइटें एक साथ काम कर रही हैं, इसलिए हम पेज लोड के बीच थोड़ी देर प्रतीक्षा कर सकते हैं);
2. रोबोट दस्तावेज़ और इसके मेटाडेटा को प्रसंस्करण कतार में भेजता है, पाठ दस्तावेज़ से निकाला जाता है;
3. पाठ का विश्लेषण "गुणवत्ता" के लिए किया जाता है - जैसा कि आप लैंडफिल के बारे में लेख से याद करते हैं, हम दस्तावेज़ की शैली निर्धारित कर सकते हैं, यहां मात्रा में सरल उत्तराधिकार जोड़ सकते हैं और समझ सकते हैं कि क्या एक उपयुक्त पाठ हमारे पास आया या कुछ बकवास;
4. गुणात्मक पाठ आगे जाकर हैश में बदल जाता है। हैशिंग और मेटाडेटा मुख्य इंटरनेट इंडेक्स में भेजे जाते हैं;
5. हम प्राप्त पाठ की तुलना पहले हमारे द्वारा अनुदित ग्रंथों से करते हैं। एक नौसिखिया केवल तभी जोड़ा जाता है यदि यह वास्तव में नया है , अर्थात। 90% - . , url .

, . . 15-20 .



, ? ! . , - , . , - , . , , « », — ! - . ?

निष्कर्ष

, , 10 , . 4 , , , , . — , , , , .

, ?