फजीविज्ज़ी और मानव और अनुवाद रोबोट के बीच "अदृश्य दुरुपयोग"

संभवतः, सभी युगों में साहित्यिक अनुवादक और फ़्रीथिंकर रहे हैं। उत्तरार्द्ध ने पाठ को बदलने, इसे फिर से संपादित करने, कुछ टुकड़ों को त्यागने और दूसरों को जोड़ने के लिए पूरी तरह से हकदार महसूस किया। और आधुनिक शोधकर्ताओं को एक विशिष्ट प्रश्न का सामना करना पड़ता है: “मूल के परिवर्तन के दौरान विस्तार से क्या हुआ? क्या पार किया गया है, क्या बचा है, क्या फिर से बनाया गया है, क्या जोड़ा गया है? "

सभी देखभाल के साथ ग्रंथों को पढ़ने से पहले, मैं उन्हें प्रारंभिक अध्ययन के लिए रोबोट को देने की कोशिश करना चाहता था। हमें रोबोट के लिए कुछ उम्मीदें थीं, लेकिन हमें उनसे काफी मदद मिली। हमने Google Translate और Yandex कैसे बनाया। इस बारे में बिल्ली के नीचे पढ़े जाने वाले अदृश्य युद्ध के यूनानी पाठ पर काम करने के लिए ट्रैंसलेटर प्रतिस्पर्धा करता है।

कार्य सामग्री

" अदृश्य दुरुपयोग " - एक संन्यासी ग्रंथ, जो मूल रूप से इतालवी में लिखा गया था, फिर 18 वीं शताब्दी में ग्रीक में अनुवाद किया गया, पूर्वी ईसाई तपस्वी अभ्यास के अनुसार संपादित किया गया, और फिर रूसी में अनुवाद किया गया। लेकिन शाब्दिक रूप से भी नहीं, लेकिन महत्वपूर्ण परिवर्तनों के साथ। रूसी में अनुवाद में अपने काम के सिद्धांतों का वर्णन करते हुए, सेंट थियोफान द रेक्यूज़ ने लिखा:

मैं [इस पुस्तक] का अनुवाद नहीं करता हूं, लेकिन मैं स्वतंत्र रूप से अपने भाषण का उपयोग करता हूं ... मूल के खिलाफ जोड़ना और घटाना और बदलना।

संपादकीय परिवर्तनों का एक सामान्य अवलोकन अवधि के काम में है। Feoktista , लेकिन मैं पूरे पाठ में एक विस्तृत विवरण प्राप्त करना चाहता था।

मिलान विधि

इसके लिए, दोनों ग्रंथों (आधुनिक ग्रीक और रूसी) को पैराग्राफ में विभाजित किया गया था। यह लगभग 700 पैराग्राफों में से निकला।

हमने ग्रीक पाठ का रूसी में दो बार अनुवाद किया - एक बार Yandex.Translator का उपयोग करते हुए, दूसरी बार Google अनुवाद का उपयोग करते हुए। उन्होंने बस पूर्ण पाठ के साथ बड़े पृष्ठ बनाए और उन्हें संबंधित वेब mScript के माध्यम से खोला। अनुवादित पाठ को पढ़ना लगभग असंभव था: जाहिरा तौर पर मूल बहुत जटिल था, लेकिन इस डरावनी चीज़ से कुछ सीखा जा सकता था। कहीं न कहीं कीवर्ड को संयोग होना चाहिए, संख्या भी।

फजी डुप्लिकेट खोजने के लिए कोई विशेष किस्म के उपकरण नहीं थे, उन्होंने fuzzywuzzy पकड़ लिया, जो fuzzywuzzy दूरी को मानता है। चार कार्यों में से: ratio , partial_ratio ratio , partial_ratio , token_sort_ratio - अंतिम एक का चयन किया गया था, या तो शब्दों के क्रम से या उनकी पुनरावृत्ति से संबंधित नहीं था। और, जैसा कि बाद में पता चला, चुनाव सही था।

पैराग्राफ (रूसी बनाम ग्रीक) के सभी जोड़ों के लिए, token_set_ratio और Google के साथ token_set_ratio अनुवाद के token_set_ratio समानता की डिग्री की गणना की गई थी। हमने व्यक्तिगत रूप से उनमें से किसी पर भी भरोसा नहीं करने का फैसला किया, लेकिन उनकी राशि पर (एक ला दोहरी मुद्रा टोकरी - और यह भी सही निर्णय निकला), और फिर इस राशि के बड़े मूल्यों वाले उम्मीदवारों ने अपनी आंखों और कलमों के साथ-साथ पड़ोसी को भी देखा और जांचा। सत्यापित जोड़े।

परिणामस्वरूप, कई घंटों के काम के बाद, 2/3 पैराग्राफों की तुलना करना संभव था, बाकी केवल इकाइयों की मैन्युअल रूप से तुलना की जा सकती है।

रीचेकिंग के तरीके

किए गए कार्य और प्राप्त परिणाम के बाद, यह देखना दिलचस्प था कि कौन से fuzzywuzzy फ़ंक्शन और कौन से अनुवादक इस तरह के कार्य के लिए सबसे उपयुक्त हैं।

partial_ratio की गणना बहुत अधिक समय लेने वाली है (यह आपके कंप्यूटर को एक पंक्ति में चलाने के लिए 120 घंटे आलसी था), लेकिन शेष तीन कार्यों की गणना लगभग एक घंटे: ratio , token_sort_ratio और token_set_ratio दोनों token_set_ratio और Google अनुवादों के लिए की गई थी। निकटता पाठ के कुल छह कार्य और सातवें - हमारी "दोहरी-मुद्रा टोकरी।"

अब आप निम्नलिखित गोलियों पर एक नज़र डाल सकते हैं। पहले प्रश्न का उत्तर देता है: "यदि किसी दिए गए रूसी अनुच्छेद के लिए हम समानता के अवरोही क्रम (इस फ़ंक्शन द्वारा गणना की गई) में अनुच्छेदों पर विचार करते हुए संबंधित ग्रीक की तलाश करते हैं, तो क्या संभावना है कि हम केवल पहले तीन उम्मीदवारों को देखकर सही पैराग्राफ देखेंगे?"

यानी लगभग 2/3 मामलों में, हम लगभग तुरंत वांछित पैराग्राफ पर ठोकर खाते हैं। और शेष तीसरे मामलों में, आपको बहुत नुकसान उठाना पड़ता है। तो दूसरी प्लेट पर एक नज़र डालें, जो सवाल का जवाब देती है: "जब तक हम सही पैराग्राफ नहीं देखते हैं, तो कितने उम्मीदवारों को औसतन देखना होगा?"

40 या अधिक पैराग्राफ देखें - यह दुखद दुख है, और इस मामले में कार एक उचित सुराग नहीं लगती है। नतीजतन, ग्रंथों की तुलना करते समय इष्टतम रणनीति केवल सबसे अधिक संभावना वाले उम्मीदवारों को देखकर "क्रीम को स्किम" करना है, और संरचना और कुछ अन्य कारकों के आधार पर बाकी की तुलना करें।

अपने स्वयं के अंतर्ज्ञान के लिए प्रशंसा करें

यह हमारे लिए आश्चर्यजनक था कि "ड्यूल-करेंसी बास्केट" google_set_ratio + yandex_set_ratio ने "छत से" लिया, व्यक्तिगत रूप से इनमें से प्रत्येक कार्य की तुलना में सबसे अच्छा काम किया। इसके अलावा, दोनों तालिकाओं के मूल्य बताते हैं कि सभी मामलों में Google अनुवाद इस कार्य को Yandex.Translator से बेहतर तरीके से संभालता है। इसलिए घरेलू रोबोट के विकसित होने के लिए जगह है।

PS उपयोग की गई स्क्रिप्ट में कोई विशेष ज्ञान नहीं है, लेकिन अगर किसी को इसकी आवश्यकता है, तो हम इसे पोस्ट कर सकते हैं। तुलना का बहुत ही परिणाम यहाँ है ।

पीपीएस यदि आप रुचि रखते हैं, तो शीर्षक में चित्र फ्योदोर पोलिकारपोव-ओर्लोव के " स्लाव-ग्रीक-लैटिन के प्राइमर " (1701) से एक पृष्ठ का एक टुकड़ा है।

पीपीपीएस हो सकता है कि एक वैज्ञानिक पत्रिका हो जहां यह पाठ, उचित रूप से डब किया गया हो, प्रकाशन के लिए पेश किया जाना चाहिए?