कैसे Yandex ने वेब पृष्ठों का अनुवाद करने के लिए कृत्रिम बुद्धिमत्ता तकनीक लागू की

आधुनिक इंटरनेट पर, 630 मिलियन से अधिक साइटें हैं, लेकिन उनमें से केवल 6% में रूसी भाषा की सामग्री है। भाषा अवरोध नेटवर्क उपयोगकर्ताओं के बीच ज्ञान के प्रसार की मुख्य समस्या है, और हमारा मानना ​​है कि इसे न केवल विदेशी भाषाओं को पढ़कर, बल्कि ब्राउज़र में स्वचालित मशीन अनुवाद का उपयोग करके हल किया जाना चाहिए।

आज हम Habr पाठकों को Yandex.Browser अनुवादक में दो महत्वपूर्ण तकनीकी परिवर्तनों के बारे में बताएंगे। सबसे पहले, चयनित शब्दों और वाक्यांशों का अनुवाद अब एक हाइब्रिड मॉडल का उपयोग करता है, और हमें याद है कि यह दृष्टिकोण विशेष रूप से तंत्रिका नेटवर्क के उपयोग से कैसे भिन्न होता है। दूसरे, अनुवादक का तंत्रिका नेटवर्क अब वेब पेजों की संरचना को ध्यान में रखता है, जिनकी विशेषताएं हम कट के तहत भी चर्चा करेंगे।

हाइब्रिड शब्द और वाक्यांश अनुवादक

पहली मशीन अनुवाद प्रणाली शब्दकोशों और नियमों (वास्तव में, हाथ से लिखे नियमित) पर आधारित थी, जिसने अनुवाद की गुणवत्ता निर्धारित की। पेशेवर भाषाविदों ने अधिक से अधिक विस्तृत मैनुअल नियमों के साथ आने के लिए वर्षों तक काम किया है। यह काम इतना समय लेने वाला था कि गंभीर रूप से केवल भाषाओं के सबसे लोकप्रिय जोड़े पर ध्यान दिया गया था, लेकिन यहां तक ​​कि उनके ढांचे के भीतर मशीनों का खराब संचालन हुआ। जीवित भाषा एक बहुत ही जटिल प्रणाली है जो नियमों का खराब पालन करती है। दो भाषाओं के पत्राचार नियमों का वर्णन करना और भी कठिन है।

एकमात्र तरीका यह है कि मशीन लगातार बदलती परिस्थितियों के अनुकूल हो सकती है, बड़ी संख्या में समानांतर ग्रंथों पर स्वतंत्र रूप से सीखना है (समान अर्थ में, लेकिन विभिन्न भाषाओं में लिखा गया है)। यह मशीनी अनुवाद के लिए सांख्यिकीय दृष्टिकोण है। कंप्यूटर समानांतर ग्रंथों की तुलना करता है और स्वतंत्र रूप से पैटर्न का खुलासा करता है।

एक सांख्यिकीय अनुवादक के फायदे और नुकसान दोनों हैं। एक ओर, वह दुर्लभ और जटिल शब्दों और वाक्यांशों को अच्छी तरह से याद करता है। यदि वे समानांतर ग्रंथों में पाए जाते हैं, तो अनुवादक उन्हें याद रखेगा और सही अनुवाद करना जारी रखेगा। दूसरी ओर, अनुवाद का परिणाम इकट्ठे पहेली के समान हो सकता है: समग्र चित्र समझ में आता है, लेकिन यदि आप बारीकी से देखते हैं, तो आप देख सकते हैं कि यह अलग टुकड़ों से बना है। कारण यह है कि अनुवादक व्यक्तिगत शब्दों को पहचानकर्ताओं के रूप में प्रस्तुत करता है, जो किसी भी तरह से उनके बीच के रिश्ते को नहीं दर्शाता है। यह इस बात से मेल नहीं खाता है कि लोगों को भाषा का अनुभव कैसे होता है जब शब्दों का उपयोग कैसे किया जाता है, यह कैसे निर्धारित किया जाता है कि वे दूसरे शब्दों से कैसे संबंधित हैं, और वे उनसे कैसे भिन्न हैं।

तंत्रिका नेटवर्क इस समस्या को हल करने में मदद करते हैं। एक नियम के रूप में, न्यूरल मशीन अनुवाद में इस्तेमाल किए गए शब्दों (शब्द एम्बेडिंग) का वेक्टर प्रतिनिधित्व, कई सौ नंबरों वाले वेक्टर के प्रत्येक शब्द से मेल खाता है। वैक्टर, एक सांख्यिकीय दृष्टिकोण से सरल पहचानकर्ताओं के विपरीत, एक तंत्रिका नेटवर्क के प्रशिक्षण के दौरान बनते हैं और शब्दों के साथ संबंध को ध्यान में रखते हैं। उदाहरण के लिए, एक मॉडल यह पहचान सकता है कि चूंकि "चाय" और "कॉफी" अक्सर समान संदर्भों में दिखाई देते हैं, इन दोनों शब्दों को नए शब्द "स्पिल" के संदर्भ में संभव होना चाहिए, जो कहते हैं, उनमें से केवल एक ही प्रशिक्षण डेटा में पाया गया था।

हालांकि, वेक्टर प्रतिनिधित्व को पढ़ाने की प्रक्रिया स्पष्ट रूप से यांत्रिक रूप से याद रखने वाले उदाहरणों की तुलना में अधिक सांख्यिकीय रूप से मांग है। इसके अलावा, यह स्पष्ट नहीं है कि उन दुर्लभ इनपुट शब्दों के साथ क्या करना है जो नेटवर्क के लिए अक्सर उनके लिए स्वीकार्य वेक्टर प्रतिनिधित्व बनाने के लिए पर्याप्त नहीं मिले थे। इस स्थिति में, दोनों तरीकों को संयोजित करना तर्कसंगत है।

पिछले साल से, Yandex.Translator एक हाइब्रिड मॉडल का उपयोग कर रहा है। जब अनुवादक उपयोगकर्ता से पाठ प्राप्त करता है, तो वह इसे दोनों प्रणालियों - तंत्रिका नेटवर्क और सांख्यिकीय अनुवादक दोनों को देता है। फिर कैटबॉस्ट प्रशिक्षण पद्धति पर आधारित एक एल्गोरिथ्म का मूल्यांकन करता है कि कौन सा अनुवाद बेहतर है। जब स्कोरिंग किया जाता है, तो दर्जनों कारकों को ध्यान में रखा जाता है - वाक्य की लंबाई से (छोटे वाक्यांशों को सांख्यिकीय मॉडल द्वारा बेहतर अनुवाद किया जाता है) से सिंटैक्स तक। सर्वोत्तम के रूप में पहचाने गए अनुवाद को उपयोगकर्ता को दिखाया गया है।

यह हाइब्रिड मॉडल है जो अब Yandex.Browser में उपयोग किया जाता है, जब उपयोगकर्ता अनुवाद के लिए पृष्ठ पर विशिष्ट शब्दों और वाक्यांशों का चयन करता है।



यह मोड उन लोगों के लिए विशेष रूप से सुविधाजनक है जो आम तौर पर एक विदेशी भाषा बोलते हैं और केवल अज्ञात शब्दों का अनुवाद करना चाहते हैं। लेकिन, अगर, उदाहरण के लिए, सामान्य अंग्रेजी के बजाय, आप चीनी में आते हैं, तो यहां पृष्ठ अनुवादक के बिना करना मुश्किल होगा। ऐसा लगता है कि अंतर केवल अनुवादित पाठ की मात्रा में है, लेकिन इतना सरल नहीं है।

वेब न्यूरल नेटवर्क अनुवादक

जॉर्जटाउन प्रयोग के समय से लेकर आज तक, सभी मशीन अनुवाद प्रणालियों को स्रोत पाठ के प्रत्येक वाक्य को व्यक्तिगत रूप से अनुवाद करने के लिए प्रशिक्षित किया गया है। जबकि एक वेब पेज सिर्फ वाक्यों का एक सेट नहीं है, बल्कि एक संरचित पाठ है जिसमें मौलिक रूप से विभिन्न तत्व हैं। अधिकांश पृष्ठों के मूल तत्वों पर विचार करें।

हेडिंग । आमतौर पर उज्ज्वल और बड़े पाठ जो आप पृष्ठ पर जाने पर तुरंत देखते हैं। शीर्षक में अक्सर समाचार का सार होता है, इसलिए इसे सही तरीके से अनुवाद करना महत्वपूर्ण है। लेकिन ऐसा करना मुश्किल है, क्योंकि शीर्षक में पाठ छोटा है और संदर्भ को समझने के बिना, आप एक गलती कर सकते हैं। अंग्रेजी भाषा के मामले में, यह अभी भी अधिक जटिल है, क्योंकि अंग्रेजी-भाषा के शीर्षकों में अक्सर गैर-पारंपरिक व्याकरण, शिशुओं या यहां तक ​​कि याद क्रियाओं के वाक्यांश होते हैं। उदाहरण के लिए, गेम ऑफ थ्रोन्स प्रीक्वल की घोषणा की ।

नेविगेशन। शब्द और वाक्यांश जो हमें साइट को नेविगेट करने में मदद करते हैं। उदाहरण के लिए, होम , बैक और मेरा खाता शायद ही "होम," "बैक," और "माय अकाउंट" के रूप में अनुवाद करने योग्य हैं, यदि वे साइट के मेनू पर स्थित हैं और प्रकाशन पाठ में नहीं हैं।

मुख्य पाठ । उसके साथ सब कुछ सरल है, वह साधारण ग्रंथों और वाक्यों से अलग है जो हम पुस्तकों में पा सकते हैं। लेकिन यहां तक ​​कि अनुवाद की निरंतरता सुनिश्चित करना महत्वपूर्ण है, अर्थात यह सुनिश्चित करने के लिए कि एक ही वेब पेज के भीतर उसी तरह और अवधारणाओं को उसी तरह अनुवादित किया जाता है।

वेब पृष्ठों के उच्च-गुणवत्ता वाले अनुवाद के लिए, यह एक तंत्रिका नेटवर्क या हाइब्रिड मॉडल का उपयोग करने के लिए पर्याप्त नहीं है - आपको पृष्ठों की संरचना को भी ध्यान में रखना चाहिए। और इसके लिए हमें कई तकनीकी कठिनाइयों से निपटने की आवश्यकता थी।

पाठ खंडों का वर्गीकरण । ऐसा करने के लिए, हम फिर से कैटबॉस्ट और कारकों का उपयोग पाठ के आधार पर और दस्तावेजों के HTML मार्कअप (टैग, पाठ आकार, पाठ की प्रति यूनिट लिंक की संख्या, ...) के आधार पर करते हैं। कारक काफी विषम हैं, इसलिए यह कैटबॉस्ट (ढाल बढ़ाने पर आधारित) है जो सर्वोत्तम परिणाम दिखाता है (वर्गीकरण सटीकता 95% से ऊपर है)। लेकिन अकेले खंड का वर्गीकरण पर्याप्त नहीं है।

आंकड़ों में असंतुलन । परंपरागत रूप से, Yandex.Translator एल्गोरिदम इंटरनेट से ग्रंथों पर सीखते हैं। ऐसा लगता है कि यह वेब पृष्ठों के अनुवादक को प्रशिक्षित करने के लिए एक आदर्श समाधान है (दूसरे शब्दों में, नेटवर्क उसी प्रकृति के ग्रंथों से सीखता है जैसे कि उन ग्रंथों पर जिन पर हम इसका उपयोग करने जा रहे हैं)। लेकिन जैसे ही हमने अलग-अलग खंडों को एक-दूसरे से अलग करना सीखा, हमें एक दिलचस्प विशेषता मिली। औसतन, वेबसाइटों पर सभी पाठों में लगभग 85% सामग्री व्याप्त है, जबकि शीर्षक और नेविगेशन केवल 7.5% हैं। यह भी याद रखें कि शैली और व्याकरण में शीर्षक और नेविगेशन तत्व स्वयं पाठ के बाकी हिस्सों से अलग हैं। ये दोनों कारक एक साथ डेटा तिरछा होने की समस्या को जन्म देते हैं। यह एक तंत्रिका नेटवर्क के लिए और अधिक लाभदायक है कि प्रशिक्षण सेट में इन बहुत खराब प्रतिनिधित्व वाले खंडों की सुविधाओं की उपेक्षा करें। नेटवर्क केवल मुख्य पाठ का अच्छी तरह से अनुवाद करना सीखता है, जिसके कारण हेडर और नेविगेशन के अनुवाद की गुणवत्ता में गिरावट आती है। इस अप्रिय प्रभाव को बेअसर करने के लिए, हमने दो काम किए: समानांतर वाक्यों की प्रत्येक जोड़ी के लिए, हमने मेटा-सूचना के रूप में तीन प्रकार के खंडों (सामग्री, शीर्षक या नेविगेशन) में से एक को जिम्मेदार ठहराया और इस तथ्य के कारण प्रशिक्षण भवन में बाद के दो की एकाग्रता को 33% तक बढ़ा दिया। सीखने के तंत्रिका नेटवर्क के समान उदाहरणों को अधिक बार दिखाना शुरू किया।

मल्टी टास्क लर्निंग । चूँकि अब हम वेब पेजों पर ग्रंथों को तीन वर्गों के खंडों में अलग करने में सक्षम हैं, इसलिए यह तीन अलग-अलग मॉडलों को प्रशिक्षित करने के लिए एक प्राकृतिक विचार की तरह लग सकता है, जिनमें से प्रत्येक अपने स्वयं के प्रकारों - शीर्षकों, नेविगेशन या सामग्री के अनुवाद के साथ सामना करेगा। यह वास्तव में अच्छी तरह से काम करता है, लेकिन योजना तब और बेहतर काम करती है जब हम एक ही तरह के ग्रंथों को एक ही बार में अनुवाद करने के लिए एक तंत्रिका नेटवर्क को प्रशिक्षित करते हैं। म्यूटली-टास्क लर्निंग (एमटीएल) के विचार में निहित है: यदि कई मशीन सीखने के कार्यों के बीच एक आंतरिक संबंध है, तो एक मॉडल जो एक ही समय में इन समस्याओं को हल करना सीखता है, एक संकीर्ण-प्रोफ़ाइल विशेषीकृत मॉडल की तुलना में बेहतर ढंग से प्रत्येक समस्या को हल करना सीख सकता है!

फाइन-ट्यूनिंग । हमारे पास पहले से ही एक बहुत अच्छा मशीन अनुवाद था, इसलिए स्क्रैच के लिए यैंडेक्स के लिए एक नए अनुवादक को प्रशिक्षित करना अनुचित होगा। सामान्य पाठों के अनुवाद के लिए एक बुनियादी प्रणाली लेना और वेब पेजों के साथ काम करने के लिए इसे फिर से पढ़ना तर्कसंगत है। तंत्रिका नेटवर्क के संदर्भ में, इसे अक्सर फाइन-ट्यूनिंग के रूप में जाना जाता है। लेकिन अगर आप इस कार्य को सिर पर लेते हैं, अर्थात्। केवल तैयार मॉडल से मूल्यों के साथ तंत्रिका नेटवर्क भार को आरंभ करने और नए डेटा पर सीखना शुरू करने के लिए, आप एक डोमेन शिफ्ट के प्रभाव का सामना कर सकते हैं: जैसा कि आप सीखते हैं, वेब पेजों (इन-डोमेन) के अनुवाद की गुणवत्ता में वृद्धि होगी, लेकिन सामान्य (आउट-ऑफ-डोमेन) के अनुवाद की गुणवत्ता ) ग्रंथ गिर जाएंगे। इस अप्रिय सुविधा से छुटकारा पाने के लिए, रिट्रेंसिंग के दौरान, हम तंत्रिका नेटवर्क पर एक अतिरिक्त प्रतिबंध लगाते हैं, यह प्रारंभिक अवस्था की तुलना में बहुत अधिक वजन बदलने के लिए मना करते हैं।

गणितीय रूप से, इस शब्द को नुकसान फ़ंक्शन में जोड़कर व्यक्त किया जाता है, जो मूल और पीछे के नेटवर्क द्वारा उत्पन्न अगले शब्द के प्रायिकता वितरण के बीच कुल्बैक - लीब्लर दूरी (केएल-विचलन) है। जैसा कि आप दृष्टांत में देख सकते हैं, यह इस तथ्य की ओर जाता है कि वेब पृष्ठों के अनुवाद की गुणवत्ता में वृद्धि अब सादे पाठ के अनुवाद के क्षरण की ओर नहीं ले जाती है।



नेविगेशन से आवृत्ति वाक्यांशों को चमकाना । एक नए अनुवादक पर काम करने की प्रक्रिया में, हमने वेब पेजों के विभिन्न खंडों के ग्रंथों पर आंकड़े एकत्र किए और एक दिलचस्प देखा। नेविगेशन तत्वों से संबंधित ग्रंथ काफी मानकीकृत हैं, इसलिए अक्सर वे एक ही टेम्पलेट वाक्यांश होते हैं। यह इतना शक्तिशाली प्रभाव है कि इंटरनेट पर पाए जाने वाले सभी नेविगेशन वाक्यांशों में से आधे से अधिक केवल लगातार 2 हजार लोगों के लिए हैं।



बेशक, हमने इसका लाभ उठाया और सत्यापन के लिए हमारे अनुवादकों को कई बार सबसे अधिक वाक्यांशों और उनके अनुवादों को उनकी गुणवत्ता के बारे में पूरी तरह सुनिश्चित किया।

बाहरी संरेखण। ब्राउज़र में एक वेब पेज अनुवादक के लिए एक और महत्वपूर्ण आवश्यकता थी - यह मार्कअप को विकृत नहीं करना चाहिए। जब HTML टैग वाक्यों के बाहर या अपनी सीमाओं पर स्थित होते हैं, तो कोई समस्या नहीं होती है। लेकिन अगर उदाहरण के लिए, वाक्य के अंदर दो रेखांकित शब्द हैं , तो अनुवाद में हम "दो रेखांकित शब्द" देखना चाहते हैं। यानी स्थानांतरण के परिणामस्वरूप, दो शर्तें पूरी होनी चाहिए:

1. अनुवाद में रेखांकित टुकड़ा स्रोत पाठ में रेखांकित टुकड़े के अनुरूप होना चाहिए।
2. रेखांकित टुकड़े की सीमाओं पर अनुवाद की स्थिरता का उल्लंघन नहीं किया जाना चाहिए।

इस व्यवहार को सुनिश्चित करने के लिए, हम पहले पाठ को हमेशा की तरह अनुवाद करते हैं, और फिर शब्द -by- शब्द संरेखण के सांख्यिकीय मॉडल का उपयोग करते हुए , हम मूल और अनुवादित ग्रंथों के टुकड़ों के बीच पत्राचार का निर्धारण करते हैं। यह समझने में मदद करता है कि क्या जोर देने की आवश्यकता है (हाइलाइट में हाइपरलिंक, ... के रूप में इटैलिक में प्रारूप,)।

प्रतिच्छेदन पर्यवेक्षक । हमारे द्वारा प्रशिक्षित शक्तिशाली तंत्रिका नेटवर्क अनुवाद मॉडल को पिछली पीढ़ी के सांख्यिकीय मॉडल की तुलना में हमारे सर्वर (सीपीयू और जीपीयू दोनों) पर अधिक कंप्यूटिंग संसाधनों की आवश्यकता होती है। उसी समय, उपयोगकर्ता हमेशा पृष्ठों को अंत तक नहीं पढ़ते हैं, इसलिए वेब पृष्ठों के सभी पाठ को क्लाउड पर भेजना अनावश्यक लगता है। सर्वर संसाधनों और उपयोगकर्ता ट्रैफ़िक को बचाने के लिए, हमने अनुवादक को केवल पाठ के अनुवाद के लिए स्क्रीन पर प्रदर्शित पाठ भेजने के लिए Intersection Observer API का उपयोग करना सिखाया। इसके कारण, हम अनुवाद के लिए ट्रैफ़िक की खपत को 3 गुना से अधिक कम करने में सक्षम थे।

Yandex.Browser में वेब पृष्ठों की संरचना को ध्यान में रखते हुए एक तंत्रिका नेटवर्क अनुवादक की शुरूआत के परिणामों के बारे में कुछ शब्द। अनुवाद की गुणवत्ता का आकलन करने के लिए, हम BLEU * मीट्रिक का उपयोग करते हैं, जो एक मशीन और एक पेशेवर अनुवादक द्वारा किए गए अनुवादों की तुलना करता है, और 0 से 100% के पैमाने पर मशीन अनुवाद की गुणवत्ता का मूल्यांकन करता है। मानव अनुवाद के करीब मशीन अनुवाद, प्रतिशत अधिक है। आमतौर पर, जब BLEU मीट्रिक कम से कम 3% बढ़ता है, तो उपयोगकर्ताओं को गुणवत्ता में बदलाव दिखाई देता है। नए Yandex.Browser अनुवादक ने लगभग 18% की वृद्धि दिखाई।



मशीन अनुवाद कृत्रिम बुद्धिमत्ता प्रौद्योगिकियों के क्षेत्र में सबसे जटिल, गर्म और शोध कार्यों में से एक है। यह इसकी विशुद्ध रूप से गणितीय आकर्षण और आधुनिक दुनिया में इसकी प्रासंगिकता के कारण है, जहां प्रत्येक सेकंड में विभिन्न भाषाओं में इंटरनेट पर अविश्वसनीय मात्रा में सामग्री बनाई जाती है। मशीनी अनुवाद, जो कि हाल ही में मुख्य रूप से हँसी ( माउस निर्माताओं को याद करते हैं ) तक, आजकल उपयोगकर्ताओं को भाषा की बाधाओं को दूर करने में मदद करता है।

आदर्श गुणवत्ता अभी भी दूर है, इसलिए हम इस दिशा में प्रौद्योगिकी के क्षेत्र में सबसे आगे बढ़ना जारी रखेंगे ताकि Yandex.Browser उपयोगकर्ता इंटरनेट पर कहीं भी, उदाहरण के लिए, रनेट से आगे जा सकें और अपने लिए उपयोगी सामग्री पा सकें।