जीएनएमटी, महाकाव्य असफल या मशीन अनुवाद की सूक्ष्मता

" Google न्यूरल मशीन अनुवाद " लेख पढ़ने के बाद, मैंने हाल ही में इंटरनेट पर चल रहे Google के नवीनतम महाकाव्य-असफल मशीन अनुवाद को याद किया। कौन बहुत प्रतीक्षा कर सकता है, हम तुरंत लेख के निचले भाग को हवा देते हैं।

अच्छी तरह से, शुरुआत के लिए, एक छोटा सा सिद्धांत:

GNMT Google की न्यूरल मशीन ट्रांसलेशन ( NMT ) प्रणाली है जो अनुवाद की सटीकता और गति बढ़ाने के लिए एक न्यूरल नेटवर्क ( ANN ) का उपयोग करती है, और विशेष रूप से Google अनुवाद में पाठ के लिए बेहतर, अधिक प्राकृतिक अनुवाद विकल्प बनाने के लिए।

जीएनएमटी के मामले में, यह तथाकथित उदाहरण-आधारित अनुवाद विधि ( ईबीएमटी ) है, अर्थात। एएनएन अंतर्निहित विधि लाखों अनुवाद उदाहरणों से सीखती है, और अन्य प्रणालियों के विपरीत, यह विधि तथाकथित शून्य-शॉट अनुवाद की अनुमति देती है, अर्थात विशिष्ट भाषाओं की इस जोड़ी के लिए स्पष्ट उदाहरणों के बिना एक भाषा से दूसरी भाषा में अनुवाद। सीखने की प्रक्रिया में (प्रशिक्षण नमूने में)।


^{अंजीर। 1. शून्य-शॉट अनुवाद}

इसके अलावा, GNMT को मुख्य रूप से वाक्यांशों और वाक्यों के अनुवाद में सुधार करने के लिए डिज़ाइन किया गया है, क्योंकि केवल प्रासंगिक अनुवाद में, आप अनुवाद के शाब्दिक संस्करण का उपयोग नहीं कर सकते हैं, और अक्सर वाक्य का अनुवाद पूरी तरह से अलग तरीके से किया जाता है।
इसके अलावा, शून्य-शॉट अनुवाद पर लौटते हुए, Google कुछ सामान्य घटक को उजागर करने की कोशिश कर रहा है जो एक साथ कई भाषाओं के लिए मान्य है (दोनों जब निर्भरता की तलाश में हैं और जब वाक्यों और वाक्यांशों के लिए संबंध बनाते हैं)।
उदाहरण के लिए, चित्रा 2 में, यह इंटरस्टिंग "समुदाय" जापानी, कोरियाई और अंग्रेजी के लिए सभी संभावित जोड़े के बीच दिखाया गया है।


^{अंजीर। 2. परिधान। जापानी, कोरियाई और अंग्रेजी के लिए नेटवर्क डेटा की 3-आयामी प्रस्तुति} ।
भाग (ए) ऐसे अनुवादों के सामान्य "ज्यामिति" को दर्शाता है, जहां अंक अर्थ द्वारा रंगीन होते हैं (और कई भाषाओं के जोड़े में समान अर्थ के लिए समान रंग)।
भाग (b) मूल भाषा के रंगों में समूह, भाग में से एक में वृद्धि दर्शाता है।

जीएनएमटी बड़े एएनएन डीप लर्निंग (डीएनएन) का उपयोग करता है, जो लाखों उदाहरणों से सीखा है, अनुवाद की गुणवत्ता में सुधार करना चाहिए, सबसे उपयुक्त अनुवाद विकल्प के लिए प्रासंगिक अमूर्त सन्निकटन लागू करना चाहिए। मोटे तौर पर, वह मानव भाषा के सबसे उपयुक्त व्याकरण के परिणाम में सर्वश्रेष्ठ का चयन करता है, परिणाम, कई भाषाओं के लिंक, वाक्यांशों और वाक्यों के निर्माण की समानता को ध्यान में रखते हुए (यानी, अलग-अलग मॉडल और परतों को उजागर करना और सिखाना)।
हालांकि, DNN, सीखने की प्रक्रिया और कार्य प्रक्रिया दोनों में, आमतौर पर सांख्यिकीय (संभाव्य) निष्कर्ष पर निर्भर करता है और शायद ही कभी अतिरिक्त गैर-संभाव्य एल्गोरिदम द्वारा बाध्य होता है। यानी सबसे अच्छा संभव परिणाम का मूल्यांकन करने के लिए जो कि वैरिएटर से निकला है, सांख्यिकीय रूप से सबसे अच्छा (संभावित) विकल्प का चयन किया जाएगा।
यह सब, स्वाभाविक रूप से, अतिरिक्त रूप से प्रशिक्षण नमूने की गुणवत्ता (और / या एक स्व-शिक्षण मॉडल के मामले में एल्गोरिदम की गुणवत्ता) पर निर्भर करता है।

शून्य-शॉट अनुवाद पद्धति को देखते हुए और एक भाषा के लिए कुछ सकारात्मक तार्किक गहरे संबंध की उपस्थिति में, और कुछ भाषाओं के लिए कुछ सकारात्मक तार्किक गहरे संबंध की उपस्थिति में, कुछ सामान्य घटक (अंतरलेखन) को याद करते हुए, सीखने की प्रक्रिया में कुछ अमूर्त त्रुटि उत्पन्न हुई और, परिणामस्वरूप, एक भाषा के लिए एक निश्चित वाक्यांश का अनुवाद सबसे अधिक संभावना अन्य भाषाओं या यहां तक ​​कि भाषा जोड़े के लिए दोहराया जाएगा।

वास्तव में ताजा महाकाव्य विफल

^{सभी छवियां क्लिक करने योग्य हैं (संबंधित Google अनुवाद पृष्ठ पर प्रमाण के रूप में)।}

जर्मन:


अंग्रेजी:


डच


डेनिश:


फ्रेंच:


आदि

एक निष्कर्ष के बजाय

कनेक्शन रूस शब्द के लिए स्थिर है (इस अर्थ में कि जब रूस को प्रतिस्थापित किया जाता है, उदाहरण के लिए, रूसी साम्राज्य द्वारा, "स्थानांतरण" परिवर्तन बदलता है)।
और यह उन वाक्यांशों के कुछ परिवर्तनों के साथ बहुत स्थिर नहीं है, जो अंग्रेजी में अनुवाद के लिए विशिष्ट नहीं हैं, लेकिन सामान्य, उदाहरण के लिए, रूसी, जर्मन और डच के लिए।

यह दुर्भाग्य से एकमात्र मामले से बहुत दूर है और इंटरनेट सभी प्रकार की Google अनुवाद त्रुटियों से भरा हुआ है।
और यह मुझे प्रतीत होता है कि मौजूदा त्रुटियों का एक बड़ा हिस्सा कई कारकों के संयोजन के कारण प्रकट होता है, प्रशिक्षण नमूने की गुणवत्ता से लेकर एक विशेष भाषा (और विशेष रूप से सीखने के मॉडल) के लिए अर्थ और रूपात्मक विश्लेषण एल्गोरिदम की गुणवत्ता तक।

एक बार, एक सहकर्मी ने Google पाठ सामान्यीकरण चुनौती (रूसी और अंग्रेजी के लिए) में भाग लेने का सुझाव दिया ...
सहमत होने से पहले, मैंने तब दोनों भाषाओं के लिए टोकन के सभी वर्गों के लिए प्रशिक्षण परीक्षण के नमूने की गुणवत्ता का एक छोटा सा विश्लेषण किया था ... और परिणामस्वरूप मैंने सभी में भाग लेने से इनकार कर दिया, क्योंकि जितना अधिक मैंने खोदा, प्रतियोगिता एक लॉटरी की तरह मजबूत होगी या जीतने वाली जीत होगी। सबसे सटीक रूप से Google प्रशिक्षण सेट के अर्ध-मैनुअल निर्माण के दौरान की गई सभी गलतियों को दोहराने में सक्षम होगा।
मैं इस विषय पर एक लेख लिखना चाहता था कि "कैसे आसानी से 50K फेंकना है ...", लेकिन समय - ठीक है।
अगर किसी को अचानक दिलचस्पी है - मैं थोड़ा बाहर निकालने की कोशिश करूंगा।

[UPD] यह वास्तव में एक फाइल क्यों है। गीतों से विचलित हुए बिना, "राजनीतिक" सबटेक्स्ट और "एक व्यक्ति इस तरह से अनुवाद करेगा", आदि विषयों को सही ठहराने के सभी प्रकार के प्रयास।
1. यह एक गलत अनुवाद है। बिंदु।
2. इस उदाहरण के मामले में, GNMT किसी भी वर्गीकरण मॉडल ( CADM के अर्थ में, जिसमें Google को चमकना चाहिए, की पूर्ण अनुपस्थिति को दर्शाता है, क्योंकि उनके पास हर जगह से बहुत अधिक डेटा है)। बस दोनों ही मामलों में देश / राज्य हैं और पूरक भौगोलिक संस्थाएँ (क्षेत्र) हैं।
यहां तक ​​कि कुछ फजी के-एनएन वर्गीकरण की गूढ़ प्रशंसनीय नियम ने ऐसी गलती कभी नहीं की होगी। हम (सिमेंटिक) संबंधों के वर्गीकरण और निर्माण के लिए आधुनिक एल्गोरिदम के बारे में पहले से ही चुप हैं।
जैसा कि कहा जाता है कि व्यक्तिगत, सरल गणित कुछ भी नहीं है ... ठीक है, अगर Google ने टैब्लॉइड प्रेस से क्लिपिंग के साथ अपने नेटवर्क को खिलाने के लिए अंधाधुंध निर्णय लिया, तो मेरे लिए उनके लिए बुरी खबर है।

पीएस हालांकि, एक प्रोफेसर के रूप में मैंने एक बार सम्मानित किया था, उन्होंने मुझसे कहा, "कभी-कभी कठफोड़वा साबित करना बहुत मुश्किल होता है कि वह कठफोड़वा है, खासकर अगर उसे यकीन है कि वह प्रोफेसर से ज्यादा चालाक है।"