सतत तंत्रिका मशीन अनुवाद

हाल के वर्षों में, "ट्रांसफॉर्मर" मॉडल का उपयोग करते हुए तंत्रिका मशीन अनुवाद (एनएमपी) ने असाधारण सफलता हासिल की है। गहरी तंत्रिका नेटवर्क पर आधारित IMF आमतौर पर सटीक भाषा नियमों को असाइन करने की आवश्यकता के बिना, केवल स्वयं डेटा के आधार पर ग्रंथों (पाठ जोड़े) के बहुत ही समानांतर समानांतर मामलों में शुरुआत से अंत तक प्रशिक्षित होते हैं।

सभी सफलताओं के बावजूद, एनएमपी मॉडल इनपुट डेटा में छोटे बदलावों के प्रति संवेदनशील हो सकते हैं, जो विभिन्न त्रुटियों - अंडर-ट्रांसलेशन, ओवर-ट्रांसलेशन, गलत अनुवाद के रूप में खुद को प्रकट कर सकते हैं। उदाहरण के लिए, अगला जर्मन प्रस्ताव, उच्च गुणवत्ता वाला एनएमपी-मॉडल "ट्रांसफार्मर" सही ढंग से अनुवाद करेगा।

"डेर स्प्रेचर डेस अनटेरसुचंगसॉस्च्युसेस हैट एग्जकुंडिग, वोर गेरिच्ट ज़ू ज़ीहें, सिच डाई गेलैडेन ज़ुगेन वीटरहिन वीगर्न सोलेन्ट, ईइन ऑसेज ज़ू मचेन।"

(मशीनी अनुवाद: "जाँच समिति के प्रवक्ता ने घोषणा की है कि अगर गवाहों को बुलाया जाता है तो गवाही देने से इनकार करते हैं, उन्हें अदालत में लाया जाएगा।"

अनुवाद: जांच समिति के एक प्रतिनिधि ने घोषणा की कि अगर गवाहों को गवाही देने से इनकार करना जारी रखा जाता है, तो उन्हें जवाबदेह ठहराया जाएगा।

हालाँकि, जब आप आने वाले वाक्य में एक छोटा सा बदलाव करते हैं, तो पर्यायवाची शब्द वोरगेलडेन के साथ जिलेनडीन की जगह, अनुवाद नाटकीय रूप से बदल जाता है (और गलत हो जाता है):

"डेर स्प्रेचर डेस अनटेरसुचंगसॉस्च्युसेस हैट एग्जकुंडिग्ग, वोर गेरिच्ट ज़ू ज़ीहें, फॉच सिच डाई वोरगेलडेन ज़ुगेन वीटरहिन वीगर्नेन व्हेल्टेन, ईइन ऑसेज ज़ू माचेन।"

(मशीनी अनुवाद: "जाँच समिति ने घोषणा की है कि उसे न्याय में लाया जाएगा यदि आमंत्रित किए गए गवाहों को गवाही देने से इंकार कर दिया जाए।")

अनुवाद: जांच समिति ने घोषणा की कि अगर गवाहों को गवाही देने से इनकार करना जारी रहता है तो उसे न्याय में लाया जाएगा।

NMP मॉडल की स्थिरता की कमी वाणिज्यिक प्रणालियों को उन कार्यों पर लागू करने की अनुमति नहीं देती है जिसमें समान स्तर की अस्थिरता अस्वीकार्य है। इसलिए, स्थायी अनुवाद मॉडल सीखने की उपलब्धता न केवल वांछनीय है, बल्कि अक्सर आवश्यक है। एक ही समय में, हालांकि तंत्रिका नेटवर्क की स्थिरता कंप्यूटर विज़न शोधकर्ताओं के एक समुदाय द्वारा सक्रिय रूप से अध्ययन की जाती है, स्थिर सीखने वाले बीएमपी मॉडल पर कुछ सामग्री हैं।

हमारे पेपर में, "डबल एडवरसैरियल इनपुट के साथ सस्टेनेबल मशीन ट्रांसलेशन", हम एक दृष्टिकोण का प्रस्ताव करते हैं जो छोटे इनपुट परिवर्तनों के लिए मशीन ट्रांसलेशन मॉडल की स्थिरता में सुधार करने के लिए उत्पन्न प्रतिकूल उदाहरणों का उपयोग करता है। हम इस मॉडल के बारे में ज्ञान लेने और इसकी भविष्यवाणियों को विकृत करने के लिए प्रतिस्पर्धात्मक उदाहरणों को दूर करने के लिए एक स्थिर एनएमपी मॉडल सिखाते हैं। हम बताते हैं कि यह दृष्टिकोण मानक परीक्षणों में एनएमपी मॉडल की दक्षता में सुधार करता है।

AdvGen के साथ मॉडल प्रशिक्षण

एक आदर्श एनएमपी मॉडल में अलग-अलग इनपुट के लिए समान अनुवाद उत्पन्न करना चाहिए जिसमें थोड़ा अंतर होता है। हमारे दृष्टिकोण का विचार इसकी स्थिरता बढ़ाने की उम्मीद में प्रतिस्पर्धी इनपुट का उपयोग करके अनुवाद मॉडल के साथ हस्तक्षेप करना है। यह "प्रतिस्पर्धी पीढ़ी" एल्गोरिथ्म (एडवरसियर जेनरेशन, एडजेन) का उपयोग करके किया जाता है, जो वैध प्रतिस्पर्धी उदाहरण उत्पन्न करता है जो मॉडल के साथ हस्तक्षेप करते हैं, और फिर उन्हें प्रशिक्षण के लिए मॉडल में खिलाते हैं। यद्यपि यह विधि जनन संबंधी प्रतिकूल नेटवर्क (GSS) के विचार से प्रेरित है, यह एक विभेदक नेटवर्क का उपयोग नहीं करता है, लेकिन बस प्रशिक्षण में एक प्रतिस्पर्धी उदाहरण का उपयोग करता है, अनिवार्य रूप से विविध और प्रशिक्षण सेट का विस्तार।

पहला कदम AdvGen के साथ डेटा को अपमानित करना है। हम मूल आवक ऑफ़र, लक्ष्य इनपुट ऑफ़र और लक्ष्य आउटपुट ऑफ़र के आधार पर स्थानांतरण के नुकसान की गणना करने के लिए ट्रांसफार्मर का उपयोग करके शुरू करते हैं। AdvGen तब बेतरतीब ढंग से मूल वाक्य में शब्दों का चयन करता है, उनके समान वितरण की धारणा पर कार्य करता है। प्रत्येक शब्द के समान शब्दों की एक सूची है, अर्थात् प्रतिस्थापन उम्मीदवारों। इसमें से, एडगेन उस शब्द का चयन करता है जो ट्रांसफार्मर के उत्पादन में त्रुटियों के लिए सबसे अधिक संभावना है। फिर यह उत्पन्न प्रतिकूल वाक्य रक्षा चरण को शुरू करते हुए, ट्रांसफार्मर को वापस खिलाया जाता है।


सबसे पहले, ट्रांसफ़ॉर्मर मॉडल को आने वाले वाक्य (नीचे बाएँ) पर लागू किया जाता है, और फिर अनुवाद हानि की गणना लक्ष्य आउटपुट वाक्य (ऊपर ऊपर) और लक्ष्य इनपुट वाक्य (मध्य दाईं ओर, "<sos>" से) के साथ की जाती है। AdvGen तब मूल वाक्य, शब्द चयन वितरण, शब्द उम्मीदवारों, और अनुवाद हानि को इनपुट के रूप में स्वीकार करता है, और प्रतिकूल स्रोत कोड का एक उदाहरण बनाता है।

रक्षा चरण में, ट्रांसपेरेंट सोर्स कोड को वापस ट्रांसफार्मर में फीड किया जाता है। अनुवाद हानि को फिर से गिना जाता है, लेकिन इस बार विवादास्पद इनपुट स्रोत का उपयोग किया जाता है। पहले की तरह ही विधि का उपयोग करते हुए, AdvGen एक लक्षित आवक वाक्य, ध्यान मैट्रिक्स से गणना शब्द चयन वितरण, शब्द प्रतिस्थापन के लिए उम्मीदवारों का उपयोग करता है, और विवादास्पद स्रोत कोड का एक उदाहरण बनाने के लिए अनुवाद हानि।


रक्षा स्तर पर, प्रतिकूल स्रोत कोड ट्रांसफार्मर के लिए इनपुट बन जाता है, और अनुवाद के नुकसान की गणना की जाती है। पहले की तरह ही विधि का उपयोग करते हुए, AdvGen लक्ष्य इनपुट के आधार पर विवादास्पद स्रोत कोड का एक उदाहरण बनाता है।

अंत में, प्रतिकूल वाक्य ट्रांसफॉर्मर को वापस खिलाया जाता है, और स्थिरता के नुकसान की गणना प्रतिकूल स्रोत उदाहरण, लक्ष्य इनपुट के प्रतिकूल उदाहरण और लक्ष्य वाक्य के आधार पर की जाती है। यदि पाठ में हस्तक्षेप से महत्वपूर्ण नुकसान हुआ, तो उन्हें कम से कम किया जाता है ताकि जब मॉडल समान गड़बड़ी का सामना करते हैं, तो वह एक ही त्रुटि नहीं दोहराए। दूसरी ओर, अगर गड़बड़ी छोटे नुकसान की ओर ले जाती है, तो कुछ भी नहीं होता है, जो बताता है कि मॉडल पहले से ही इस तरह की गड़बड़ी का सामना करने में सक्षम है।

मॉडल प्रदर्शन

हम चीनी से अंग्रेजी और अंग्रेजी से जर्मन से मानक अनुवाद परीक्षणों में इसे लागू करके अपने दृष्टिकोण की प्रभावशीलता को प्रदर्शित करते हैं। ट्रांसफार्मर के प्रतिस्पर्धी मॉडल की तुलना में हमें क्रमशः 2.8 और 1.6 अंक BLEU द्वारा अनुवाद में एक महत्वपूर्ण सुधार प्राप्त होता है, और अनुवाद की एक नई रिकॉर्ड गुणवत्ता प्राप्त होती है।


मानक परीक्षणों पर ट्रांसफार्मर मॉडल की तुलना

फिर हम एडजेन के लिए वर्णित प्रक्रिया के समान एक शोर डेटा सेट पर हमारे मॉडल के प्रदर्शन का मूल्यांकन करते हैं। हम शुद्ध इनपुट डेटा लेते हैं, उदाहरण के लिए, जो अनुवादकों के मानक परीक्षणों में उपयोग किए जाते हैं, और यादृच्छिक रूप से उन शब्दों का चयन करते हैं जो हम समान लोगों के साथ बदलते हैं। हम पाते हैं कि हमारे मॉडल में हाल के अन्य मॉडलों की तुलना में स्थिरता में सुधार हुआ है।


कृत्रिम रूप से शोर इनपुट डेटा पर ट्रांसफार्मर और अन्य मॉडलों की तुलना

इन परिणामों से पता चलता है कि हमारे तरीके आने वाले वाक्य में उत्पन्न होने वाली छोटी-मोटी गड़बड़ियों को दूर करने और सामान्यीकरण की दक्षता में सुधार करने में सक्षम हैं। वह अनुवाद मॉडलों से आगे है और मानक परीक्षणों पर रिकॉर्ड अनुवाद दक्षता हासिल करता है। हम आशा करते हैं कि हमारे अनुवादक मॉडल निम्नलिखित समस्याओं में से कई को हल करने के परिणामों में सुधार के लिए एक स्थिर आधार बन जाएंगे, विशेष रूप से उन जो अपूर्ण इनपुट ग्रंथों के प्रति संवेदनशील या असहिष्णु हैं।