रहस्यमय प्रतिकूल: फजी उधारी

अवैध उधार एक बहु-सिर वाला हाइड्रा है, एक दुश्मन जो लगातार अपना चेहरा बदल रहा है। हमारे सर्वश्रेष्ठ निजी जांचकर्ता इस दुश्मन द्वारा किए गए किसी भी अपराध के लिए तैयार हैं। हालांकि, दुश्मन सोता नहीं है, वह चालाक और विश्वासघाती है: स्पष्ट रूप से एक चीज में प्रतिस्थापन करते हुए, वह अविश्वसनीय रूप से कुशलता से दूसरों में निशान मिटाता है। कभी-कभी वह हमारे सबसे फुर्तीले कर्मचारी - प्रत्यय मैसिव की मदद से रेड-हैंड पकड़ने का प्रबंधन करता है। कभी-कभी दुश्मन हिचकिचाता है, और Paraphrase के लिए सावधानीपूर्वक लेकिन इत्मीनान से खोज अपने स्थान की गणना करने का प्रबंधन करता है। लेकिन बुराई कपटी है, और इससे लड़ने के लिए हमें लगातार नई ताकतों की जरूरत है ।

आज हम अपने नए विशेष जासूस के बारे में बात करेंगे जिसका नाम फ़ज़ी सर्च है , साथ ही फ़ज़ी उधार के साथ उसकी पहली मुठभेड़ के बारे में।

आपके साथ जासूसी करने वाली एजेंसी एंटीप्लाजिज्म , मिस्टीरियस ओपोजिट केस के लिए तैयार हो जाइए

स्थल

क्षेत्र (दस्तावेज़) की जाँच करते समय, क्षेत्र में संभावित अपराध के बारे में कोई भी कॉल होने पर एंटी-प्लाजियरिज़्म की जाँच करता है। चश्मदीद गवाह जो अपराध के बारे में हमें संकेत देंगे, वे हैं शिंगल्स इंडेक्स ।

"एक शिंगल पाठ का एक टुकड़ा है जिसका आकार कुछ शब्द है।" प्रत्येक ऐसे टुकड़े को हैश किया जाता है, और जिन दस्तावेज़ों में उसी हैश के साथ दाद होते हैं, जैसे कि चेक किए जा रहे दस्तावेज़ को सूचकांक में खोजा जाता है।

एक चश्मदीद, दो दादों के हैश में एक संयोग देखकर, हमें अपराध के बारे में एक संदेश देता है। दुर्भाग्य से, दाद सूचकांक को झूठी कॉल के लिए दंडित नहीं किया जा सकता है, यह प्रतिबंधों के लिए प्रतिरक्षा है, यही कारण है कि बहुत सारे कॉल हैं। एजेंसी ऐसे कॉल के सबसे बड़े संचय के साथ दस्तावेजों को निर्धारित करती है - एक संभावित अपराध का दृश्य।

पहला सुराग

अब तुम जासूस हो, बेटा।
अब से आपको संयोगों पर विश्वास करने से मना किया जाता है।

डिटेक्टिव फजी सर्च अपराध स्थल पर पहुंचा। बड़े पर्याप्त अपराधियों पर किसी का ध्यान नहीं जाता है, क्योंकि अपराध का पैमाना जितना बड़ा होगा, सुराग छोड़ने की संभावना उतनी ही अधिक होगी। फ़ज़ी सर्च के लिए, इस तरह के लीड एक निश्चित लंबाई के छोटे मैच होते हैं। ऐसा लगता है कि हमारे जासूस अपराधियों के कुशल व्यापक निशान को याद कर रहे हैं, लेकिन केवल 5% हमलावर ऐसा कोई सुराग नहीं छोड़ते हैं। यह महत्वपूर्ण है कि अपराधियों को न खोना है, इसलिए जासूस मैचों का पता लगाने के लिए एक विशेष तकनीक का उपयोग करके क्षेत्र को जल्दी से स्कैन करता है।

कार्य पद्धति पर जासूस की डायरी। पहला चरण

हम कार्य की दो विशेषताओं का उपयोग करेंगे:

1. हम एक निश्चित लंबाई के स्पष्ट डुप्लिकेट में रुचि रखते हैं।
2. एक अच्छे दस्तावेज़ में, एक ही शिंगल को कई बार दोहराया नहीं जाता है।

दूसरी स्थिति को स्पष्ट डुप्लिकेट की संख्या को सीमित करने के लिए आवश्यक है। दरअसल, एक एकल जो दस्तावेज़ में 1000 बार होता है और स्रोत में 1,000,000 जोड़े मेल देगा। इस तरह के बार-बार दाद केवल अशुद्ध दस्तावेजों में क्रॉल प्रयासों के साथ देखे जा सकते हैं।

क्रॉल से साफ़ किया गया एक दस्तावेज़ शब्दों के अनुक्रम के रूप में प्रस्तुत किया गया है। हम शब्दों को सामान्य शब्द रूप में लाते हैं, फिर उन्हें हैश करते हैं। हमें पूर्णांक का एक अनुक्रम मिलता है (जीआईएफ पर - अक्षरों का एक क्रम)। इस क्रम के सभी दाने हैशेड के होते हैं और सबस्टेशन की शुरुआत की स्थिति के मूल्य के साथ हैश तालिका में प्रवेश किया जाता है। फिर, उम्मीदवार दस्तावेज़ में प्रत्येक शिंगल के लिए, मैच हैश तालिका में पाए जाते हैं। यह एक निश्चित लंबाई के स्पष्ट डुप्लिकेट बनाता है। प्रत्यय सरणी की तुलना में नई पद्धति का उपयोग करते समय परीक्षण ट्रिपल त्वरण दिखाते हैं।

हम अपराधी की गणना करते हैं

- क्या कोई अन्य बिंदु हैं, जिन पर आप मुझे ध्यान देने की सलाह देंगे?
"अपराध की रात कुत्ते का अजीब व्यवहार।"
- कुत्ते? लेकिन उसने किसी भी तरह से व्यवहार नहीं किया!
"यह अजीब है," होम्स ने कहा।

_{© आर्थर कॉनन-डॉयल, "सिल्वर" (श्रृंखला से "शर्लक होम्स पर नोट्स")}

इसलिए, फज़ी सर्च में अपराधियों की पहचान करने के लिए कई सुराग मिले। हमारा नायक पूरी तरह से बिट करने के लिए अपनी निडर क्षमताओं का उपयोग करता है, धीरे-धीरे पाया गया सुराग के अनुसार अपराधी की छवि को पुनर्स्थापित करता है। जासूस धीरे-धीरे जो हो रहा है उसकी तस्वीर का विस्तार कर रहा है, नए विवरणों के साथ पूरक करता है, अधिक से अधिक सबूतों की खोज करता है जब तक कि यह तस्वीर आखिरकार पूरी नहीं हो जाती। हमारे जासूस को कभी-कभी लाया जाता है, और उसे स्वर्ग से पृथ्वी पर उतारा जाता है और उसे विश्वास दिलाया जाता है कि हमें अपराधी की पहचान की जरूरत है, न कि उसके चचेरे भाई की जीवनी। फ़ज़ी सर्च बड़बड़ाता है, लेकिन विनम्रतापूर्वक चित्र को वांछित पैमाने पर बताता है।

कार्य पद्धति पर जासूस की डायरी। दूसरा चरण

_{छवि स्रोत: pixabay.com}

दूसरा चरण डॉक्यूमेंट में बाएं और दाएं डुप्लिकेट वितरित करता है। वितरण "केंद्रों" से आता है - स्पष्ट डुप्लिकेट पाया गया। प्रत्ययों की तुलना करने के लिए, हम Levenshtein दूरी का उपयोग करते हैं - एक पंक्ति को दूसरी पंक्ति में लाने के लिए आवश्यक विलोप / प्रतिस्थापन / शब्दों की न्यूनतम संख्या। लेवेंसहाइट दूरी के पुनरावर्ती निर्धारण के आधार पर वैगनर-फिशर एल्गोरिथ्म का उपयोग करके नकली प्रत्ययों के लिए दूरी की गणना गतिशील रूप से की जा सकती है। हालांकि, यह एल्गोरिथ्म जटिलता में द्विघात है और त्रुटियों के अनुपात को नियंत्रित करने की अनुमति नहीं देता है। एक और समस्या डुप्लिकेट की सीमाओं की सटीक परिभाषा है। इन मुद्दों को संबोधित करने के लिए, हम कई सीधी, लेकिन फिर भी प्रभावी प्रक्रियाओं का उपयोग करते हैं।

इस चरण में, इसे पहले फेज़ु डुप्लीकेट प्रत्ययों के लिए लेवेन्शिन डिस्टेंस मैट्रिक्स में क्रमिक रूप से भरने का प्रस्ताव है (फिर, इसी तरह, उपसर्गों के लिए)। चूंकि हम "समानता" के लिए प्रत्यय की जांच करते हैं, हम केवल इस मैट्रिक्स के विकर्ण के पास के मूल्यों में रुचि रखते हैं (लेवेंसटेइन की दूरी लाइन की लंबाई के अंतर से अधिक या बराबर है)। यह रैखिक जटिलता के लिए अनुमति देता है। अधिकतम स्वीकार्य लेवेन्सहाइट दूरी निर्धारित करने के बाद, हम तालिका को तब तक भरेंगे जब तक हम अनुमेय से अधिक मूल्यों वाले कॉलम को पूरा नहीं करते। इस तरह के एक कॉलम से संकेत मिलता है कि हाल ही में हमारी फजी डुप्लिकेट समाप्त हो गई है और शब्द लगभग पूरी तरह से मेल खाते हैं। प्रत्येक भरे हुए सेल के लिए पिछले इष्टतम को सहेजने के बाद, हम कई कॉलम मिलने तक महत्वपूर्ण कॉलम में न्यूनतम पेनल्टी के साथ सेल से उतरते हैं, जिसके बाद त्रुटि तेजी से बढ़ने लगी। ये फजी डुप्लिकेट की सीमाएं होंगी।

इसके अतिरिक्त, ताकि त्रुटियां जमा न हों, एक प्रक्रिया शुरू की जाती है जो त्रुटियों की संख्या को हल करती है, फिर से प्रचार शुरू करना अगर हम क्रमिक संयोगों से एक "द्वीप" पर ठोकर खाई।

अपराधियों का गिरोह

- कल हम सहपाठियों के साथ मिलकर योजना बनाते हैं!
- एक बड़े सहपाठी में?
- क्या?

_{© बाशोर्ग}

फ़र्ज़ी खोज एक साधारण कार्य बन गया है: एक ही स्थान पर पकड़े गए अपराधियों को एक साथ पकड़ना, निर्दोष संदिग्धों को न्यायोचित ठहराना और परिणामों को एक साथ इकट्ठा करना।

_{छवि स्रोत: pixabay.com}

ग्लूइंग डुप्लिकेट तुरंत 3 समस्याओं को हल करता है। सबसे पहले, "डुप्लिकेट के वितरण" का दूसरा चरण शब्दों और वाक्यांशों के संशोधनों को अवशोषित करता है, लेकिन पूरे वाक्य नहीं। यदि आप एल्गोरिथ्म की "फैलाने की क्षमता" को बढ़ाते हैं, तो यह बहुत बड़ी दूरी पर पाए जाने वाले संयोगों पर फैलाना शुरू कर देगा, और डुप्लिकेट की सीमाएं बदतर तरीके से निर्धारित की जाएंगी। इसलिए हम हमारे लिए महत्वपूर्ण को खो देते हैं, जो कि एक स्पष्ट खोज थी।

दूसरे, दूसरा चरण दो डुप्लिकेट के क्रमचय को नहीं पहचानता है। मैं कुछ वाक्यों के क्रमांकन को कुछ स्थानों पर मूल के करीब वाक्यांश बनाने के लिए चाहूंगा, लेकिन अद्वितीय वर्णों की एक पंक्ति के लिए, कुछ स्थानों में उपसर्ग और प्रत्यय की क्रमबद्धता उस रेखा की ओर ले जाती है जो मूल (Levenshtein मीट्रिक में) से यथासंभव दूर है। यह पता चलता है कि दूसरे चरण, जब वाक्यों को फिर से व्यवस्थित करते हैं, तो दो डुप्लिकेट को एक दूसरे के बगल में स्थित पाता है जिसे आप एक में जोड़ना चाहते हैं।

और तीसरा कारण है Granularity, या Granularity। ग्रैन्युलैरिटी एक मीट्रिक है जो एक सच्चे ऋण में पाए गए डुप्लिकेट की औसत संख्या को निर्धारित करती है जो हमें मिली थी। दूसरे शब्दों में, ग्रैन्युलैरिटी से पता चलता है कि हम इसे कवर करने वाले कुछ हिस्सों के बजाय पूरी तरह से उधार लेते हैं। ग्रैन्युलैरिटी की औपचारिक परिभाषा, साथ ही सूक्ष्म-औसत सटीकता और पूर्णता की परिभाषा, "साहित्यिक चोरी का पता लगाने के लिए एक मूल्यांकन ढांचा" लेख में पाया जा सकता है।

गिफ्का से पता चलता है कि कभी-कभी दो डुप्लिकेट को केवल तीसरे डुप्लिकेट का पालन करने के बाद ही चिपकाया जा सकता है। तदनुसार, दस्तावेज़ पर बाईं से दाईं ओर केवल एक पास gluing को पूरा करने के लिए काम नहीं करता है।

शुरुआती प्रशिक्षण

हमारे शहर की सुविधाओं के अनुकूल होने, इलाके के अनुकूल होने, अगोचर सड़कों पर टहलने और इसके निवासियों को बेहतर तरीके से जानने के लिए आवश्यक जासूस। इसके लिए, एक शुरुआती एक विशेष प्रशिक्षण पाठ्यक्रम लेता है जिसमें वह एक प्रशिक्षण मैदान में समान स्थितियों का अध्ययन करता है। अपराधियों के सबसे प्रभावी कब्जे के लिए अभ्यास में जासूस सुराग, कटौती और सामाजिक संबंधों के निर्माण का अध्ययन करता है।

पैरामीट्रिक मॉडल को अनुकूलित करने की आवश्यकता है। इष्टतम मॉडल मापदंडों को निर्धारित करने के लिए, प्लागएवलरस नमूना का उपयोग किया गया था ।

नमूना 4 संग्रहों में विभाजित है:

• Generated_Copypast (4250 जोड़े) - शब्दशः उधार उत्पन्न हुए
• Generated_Paraphrased (4250 जोड़े) - मूल मार्ग के शोर का उपयोग करके मशीन द्वारा उत्पन्न कमजोर और मध्यम-संशोधित उधार (मनमाना प्रतिस्थापन / विलोपन / आवेषण)
• Manually_Paraphrased (713 जोड़े) विभिन्न प्रकार के उधारों के साथ हाथ से लिखे गए ग्रंथ, ज्यादातर कमजोर और मध्यम-संशोधित उधार (दोहराव में 30% से अधिक शब्दों की जगह)
• Manually_Paraphrased 2 (198 जोड़े) मध्यम और अत्यधिक संशोधित (30% से अधिक शब्द) उधार के साथ हाथ से लिखे गए ग्रंथ

मल्टी-स्टार्ट डिसेंट विधि का उपयोग करके इष्टतम मॉडल मापदंडों की खोज की गई। अधिकतम $$$F_ \ बीटा$के साथ मापें $$$\ बीटा ^ 2 = \ frac {1} {4}$(सटीकता पर जोर)। यहां सबसे महत्वपूर्ण इष्टतम पैरामीटर हैं।

केस का इतिहास

हमारी फजी खोज का परीक्षण अवधि समाप्त हो गई है। आइए इसकी उत्पादकता की तुलना किसी अन्य जासूस, प्रत्यय ऐरे से करें। प्रशिक्षण पाठ्यक्रम फजी खोज Manually_Paraphrased कार्यक्रम पर हुआ।

क्षेत्र में, नवागंतुक ने हल किए गए मामलों के अनुपात में महत्वपूर्ण श्रेष्ठता दिखाई। उसके कार्य की गति भी आनन्दित नहीं कर सकती है। हमारी एजेंसी में इतने मूल्यवान कर्मचारी का अभाव था।

प्रत्यय सरणी के साथ मॉडल की गुणवत्ता की तुलना करते हुए, हम ग्रैन्युलैरिटी में एक महत्वपूर्ण सुधार, साथ ही साथ मध्यम और अत्यधिक संशोधित उधारों का बेहतर पता लगाते हैं।

आकार में 10 ⁷ शब्दों तक के दस्तावेजों पर परीक्षण, हम दोनों एल्गोरिदम की रैखिकता को सत्यापित करते हैं। I5-4460 प्रोसेसर पर, कार्यक्रम "दस्तावेज़ स्रोत" की एक जोड़ी को एक सेकंड से भी कम समय में एक लाख शब्द लंबे समय तक संसाधित करता है।

बड़ी संख्या में उधार के साथ ग्रंथों को उत्पन्न करने के बाद, हम आश्वस्त हैं कि फ़ज़ी सर्च (नीली रेखा) प्रत्यय सरणी (लाल रेखा) की तुलना में धीमी नहीं है। इसके विपरीत, एक प्रत्यय सरणी बहुत सारे डुप्लिकेट से बड़े दस्तावेज़ों पर पीड़ित होती है। हमने 5 शब्दों की न्यूनतम डुप्लिकेट लंबाई के साथ प्रदर्शन की तुलना की। लेकिन पर्याप्त उधार कवरेज के लिए, हम 3 शब्दों की न्यूनतम डुप्लिकेट लंबाई के साथ एक स्पष्ट खोज का उपयोग करते हैं, जो विशाल दस्तावेजों पर उत्पादकता (नारंगी रेखा) में एक महत्वपूर्ण गिरावट की ओर जाता है। यह ध्यान देने योग्य है कि साधारण दस्तावेजों में उधार कम होता है, और व्यवहार में यह प्रभाव बहुत कम होता है। लेकिन इस तरह का एक प्रयोग हमें एक नई फजी खोज के साथ मॉडलों की प्रयोज्यता के विस्तार को समझने की अनुमति देता है।

उदाहरण:

यह देखा जा सकता है कि एल्गोरिथ्म, छोटे कम्प्यूटेशनल जटिलता के बावजूद, प्रतिस्थापन / विलोपन / सम्मिलन का पता लगाने के साथ मुकाबला करता है, और तीसरा चरण आपको वाक्यों और उनके भागों के क्रमांकन के साथ उधार का पता लगाने की अनुमति देता है।

उपसंहार

फ़ज़ी सर्च हमारे अन्य उपकरणों के साथ एक टीम में काम करता है: उम्मीदवार दस्तावेजों के लिए त्वरित खोज, दस्तावेज़ प्रारूपण का निष्कर्षण, बाईपास प्रयासों के बड़े पैमाने पर पकड़ने। यह कमांड आपको संभावित साहित्यिक चोरी का पता लगाने की अनुमति देता है। फ़ज़ी सर्च ने इस टीम में जड़ें जमा ली हैं और अपने खोज कार्यों को गुणात्मक रूप से निष्पादित करता है, और, महत्वपूर्ण रूप से, प्रत्यय एरे ने किया था। हमारी एजेंसी अपने कार्यों के साथ और भी बेहतर सामना करेगी, और गैर-मूल पाठ का उपयोग करते समय बेईमान लेखक नई समस्याओं का सामना करेंगे ।

अपने मन से बनाएं!