नमस्कार, हेब्र! मैं आपके लिए लेख "जेअल्मर द्वारा एक न्यूरल मशीन ट्रांसलेशन मॉडल (मैकेनिक्स ऑफ सेक्सेसी मॉडल्स विद अटेंशन)" का अनुवाद प्रस्तुत कर रहा हूं।

अनुक्रम-टू-सीक्वेंस मॉडल (seq2seq) गहरे शिक्षण मॉडल हैं जिन्होंने मशीन अनुवाद, टेक्स्ट सारांश, छवि एनोटेशन आदि जैसे कार्यों में बड़ी सफलता हासिल की है। उदाहरण के लिए, 2016 के अंत में, Google अनुवाद में एक समान मॉडल बनाया गया था । Seq2seq मॉडल की नींव 2014 में दो लेखों की रिहाई के साथ रखी गई थी - Sutskever et al।, 2014 , Cho et al।, 2014 ।

इन मॉडलों को पर्याप्त रूप से समझने और फिर उपयोग करने के लिए, कुछ अवधारणाओं को पहले स्पष्ट किया जाना चाहिए। इस लेख में प्रस्तावित विज़ुअलाइज़ेशन ऊपर उल्लिखित लेखों के लिए एक अच्छा पूरक होगा।

अनुक्रम-टू-सीक्वेंस मॉडल एक ऐसा मॉडल है जो तत्वों के इनपुट अनुक्रम (शब्द, अक्षर, छवि गुण आदि) को स्वीकार करता है और तत्वों का एक और क्रम देता है। प्रशिक्षित मॉडल निम्नानुसार काम करता है:

तंत्रिका मशीन अनुवाद में, तत्वों का एक क्रम शब्दों का एक संग्रह है जो बदले में संसाधित होते हैं। निष्कर्ष भी शब्दों का एक सेट है:

हुड के नीचे एक नज़र रखना

हुड के तहत, मॉडल में एक एनकोडर और डिकोडर है।

एनकोडर इनपुट अनुक्रम के प्रत्येक तत्व को संसाधित करता है, प्राप्त सूचना को एक सदिश में संदर्भित करता है जिसे संदर्भ कहा जाता है। संपूर्ण इनपुट अनुक्रम को संसाधित करने के बाद, एनकोडर डिकोडर को संदर्भ भेजता है, जो तब आउटपुट अनुक्रम तत्व को उत्पन्न करना शुरू करता है।

मशीन अनुवाद के साथ भी यही बात होती है।

मशीनी अनुवाद के लिए, संदर्भ एक सदिश (संख्याओं की एक सरणी) है, और एनकोडर और डिकोडर, बदले में, सबसे अधिक बार आवर्ती तंत्रिका नेटवर्क हैं (आरएनएन से परिचय देखें - आवर्तक तंत्रिका नेटवर्क के लिए एक अनुकूल परिचय )।

संदर्भ फ्लोटिंग पॉइंट नंबरों का एक वेक्टर है। लेख में आगे, वैक्टर को रंग में कल्पना की जाएगी ताकि हल्का रंग बड़े मूल्यों के साथ कोशिकाओं से मेल खाता हो।

मॉडल को प्रशिक्षित करते समय, आप संदर्भ वेक्टर का आकार निर्धारित कर सकते हैं - आरएनएन एनकोडर में छिपे हुए न्यूरॉन्स (छिपी हुई इकाइयां) की संख्या। विज़ुअलाइज़ेशन डेटा 4-आयामी वेक्टर दिखाता है, लेकिन वास्तविक अनुप्रयोगों में संदर्भ वेक्टर में 256, 512 या 1024 के क्रम का आयाम होगा।

डिफ़ॉल्ट रूप से, प्रत्येक समय अंतराल पर, आरएनएन को इनपुट के लिए दो तत्व मिलते हैं: इनपुट तत्व स्वयं (एनकोडर के मामले में, मूल वाक्य से एक शब्द) और छिपी हुई स्थिति। हालाँकि, शब्द का प्रतिनिधित्व वेक्टर द्वारा किया जाना चाहिए। किसी शब्द को वेक्टर में बदलने के लिए, वे एल्गोरिदम की एक श्रृंखला का सहारा लेते हैं, जिसे शब्द एम्बेडिंग कहा जाता है। एंबेडिंग शब्द वेक्टर स्पेस में शब्दों का अनुवाद करते हैं जिसमें उनके बारे में अर्थ और अर्थ संबंधी जानकारी होती है (उदाहरण के लिए, "राजा" - "पुरुष" + "महिला" = "रानी" )।

शब्दों को संसाधित करने से पहले, आपको उन्हें वैक्टर में बदलना होगा। यह परिवर्तन एम्बेडिंग एल्गोरिथ्म शब्द का उपयोग करके किया जाता है। आप अपने डेटा सेट पर पूर्व-प्रशिक्षित एम्बेडिंग और ट्रेन एम्बेडिंग दोनों का उपयोग कर सकते हैं। 200-300 - एम्बेडिंग वेक्टर का विशिष्ट आयाम; यह लेख सादगी के लिए आयाम 4 का उपयोग करता है।

अब जब हम अपने मुख्य वैक्टर / टेनर्स से परिचित हो गए हैं, तो आरएनएन के तंत्र को याद करते हैं और इसका वर्णन करने के लिए विज़ुअलाइज़ेशन बनाते हैं:

अगले चरण में, आरएनएन इस समय अंतराल पर आउटपुट बनाने के लिए दूसरा इनपुट वेक्टर और अव्यक्त अवस्था # 1 लेता है। बाद में लेख में, इसी तरह के एनीमेशन का उपयोग तंत्रिका मशीन अनुवाद मॉडल के अंदर वैक्टर का वर्णन करने के लिए किया जाता है।

निम्नलिखित विज़ुअलाइज़ेशन में, प्रत्येक फ़्रेम एक एनकोडर द्वारा इनपुट के प्रसंस्करण और एक समय अंतराल में एक डिकोडर द्वारा आउटपुट की पीढ़ी का वर्णन करता है। चूंकि एनकोडर और डिकोडर दोनों आरएनएन हैं, प्रत्येक समय अंतराल पर, तंत्रिका नेटवर्क वर्तमान और सभी पिछले इनपुट के आधार पर अपने छिपे हुए राज्यों को संसाधित और अद्यतन करने में व्यस्त है। इस मामले में, एनकोडर के छिपे हुए राज्यों में से अंतिम बहुत ही संदर्भ है जो डिकोडर को प्रेषित किया जाता है।

डिकोडर में छिपे हुए राज्य भी होते हैं जो एक समय स्लॉट से दूसरे में स्थानांतरित होता है। (यह दृश्य में नहीं है, केवल मॉडल के मुख्य भागों को दर्शाती है।)

अब हम अनुक्रम से अनुक्रम मॉडल के दृश्य के एक अन्य प्रकार की ओर मुड़ते हैं। यह एनीमेशन स्थैतिक ग्राफिक्स को समझने में मदद करेगा जो इन मॉडलों का वर्णन करता है - तथाकथित एक अनियंत्रित दृश्य, जहां एक डिकोडर दिखाने के बजाय, हम हर बार अंतराल के लिए इसकी एक प्रति दिखाते हैं। इसलिए हम प्रत्येक समय अंतराल पर इनपुट और आउटपुट तत्वों को देख सकते हैं।

ध्यान दो!

संदर्भ वेक्टर इस प्रकार के मॉडल के लिए एक अड़चन है, जिससे उनके लिए लंबे वाक्यों से निपटना मुश्किल हो जाता है। इसका समाधान बहदानु एट अल।, 2014 और लुओंग एट अल।, 2015 द्वारा लेखों में प्रस्तावित किया गया था, जिसने ध्यान तंत्र नामक एक तकनीक प्रस्तुत की। यह तंत्र मशीन अनुवाद प्रणालियों की गुणवत्ता में काफी सुधार करता है, जिससे मॉडल इनपुट अनुक्रमों के प्रासंगिक भागों पर ध्यान केंद्रित कर सकते हैं।

7 वीं समयावधि में, ध्यान तंत्र अंग्रेजी में अनुवाद करने से पहले डिकोडर को udtudiant (फ्रेंच में छात्र) शब्द पर ध्यान केंद्रित करने की अनुमति देता है। इनपुट अनुक्रम के प्रासंगिक भाग से सिग्नल को बढ़ाने की यह क्षमता अन्य मॉडलों की तुलना में बेहतर परिणाम प्राप्त करने के लिए ध्यान तंत्र पर आधारित मॉडल की अनुमति देती है।

अमूर्तता के उच्च स्तर पर ध्यान के तंत्र के साथ एक मॉडल पर विचार करते समय, शास्त्रीय अनुक्रम से अनुक्रम मॉडल के दो मुख्य अंतर को प्रतिष्ठित किया जा सकता है।

सबसे पहले, एनकोडर काफी अधिक डेटा को डिकोडर में स्थानांतरित करता है: एन्कोडिंग चरण के बाद केवल अंतिम छिपे हुए राज्य को प्रसारित करने के बजाय, एनकोडर अपने सभी छिपे हुए राज्यों को भेजता है:

दूसरे, आउटपुट उत्पन्न करने से पहले डिकोडर एक अतिरिक्त चरण से गुजरता है। इनपुट अनुक्रम के उन हिस्सों पर ध्यान केंद्रित करने के लिए जो संगत समय अवधि के लिए प्रासंगिक हैं, डिकोडर निम्नलिखित करता है:

1. एक एनकोडर से प्राप्त अव्यक्त राज्यों के एक सेट को देखता है - अव्यक्त राज्यों में से प्रत्येक इनपुट अनुक्रम में शब्दों में से एक के साथ सबसे अच्छा संबंध रखता है;
2. प्रत्येक अव्यक्त अवस्था का एक निश्चित मूल्यांकन निर्दिष्ट करता है (अभी के लिए छोड़ें कि अनुमान प्रक्रिया कैसे होती है);
3. सॉफ्टमैक्स-कन्वर्टेड मूल्यांकन फ़ंक्शन द्वारा प्रत्येक छिपे हुए राज्य को गुणा करता है, इस प्रकार एक बड़े रेटिंग के साथ छिपे हुए राज्यों को उजागर करता है और एक छोटे से पृष्ठभूमि के साथ छिपे हुए राज्यों को फिर से आरोपित करता है।

यह "ग्रेडिंग एक्सरसाइज" प्रत्येक समय अंतराल पर डिकोडर पर की जाती है।

इसलिए, उपरोक्त सभी को समेटें, हम ध्यान तंत्र के साथ मॉडल की प्रक्रिया पर विचार करते हैं:

1. डिकोडर पर, आरएनएन को टोकन के प्रारंभिक <END> और प्रारंभिक छिपे हुए राज्य प्राप्त होते हैं।
2. आरएनएन इनपुट तत्व को संसाधित करता है, आउटपुट उत्पन्न करता है, और एक नया छिपा हुआ स्टेट वेक्टर (एच 4)। आउटपुट छोड़ दिया है।
3. ध्यान तंत्र एक निश्चित समय अंतराल पर संदर्भ वेक्टर (C4) की गणना करने के लिए एनकोडर और वेक्टर h4 के छिपे हुए राज्यों का उपयोग करता है।
4. वैक्टर h4 और C4 एक एकल वेक्टर में समाप्‍त होते हैं।
5. इस वेक्टर को एक फीडफॉरवर्ड न्यूरल नेटवर्क (FFN) के माध्यम से पारित किया जाता है, मॉडल के साथ मिलकर प्रशिक्षित किया जाता है।
6. एफएफएन नेटवर्क का आउटपुट एक निश्चित समय अंतराल पर आउटपुट शब्द को इंगित करता है।
7. एल्गोरिथ्म अगली बार के अंतराल के लिए दोहराया जाता है।

एक और तरीका यह है कि मॉडल को डिकोडर के प्रत्येक चरण पर केंद्रित मूल वाक्य के किस भाग पर ध्यान दें:

ध्यान दें कि मॉडल आउटपुट में पहले शब्द के साथ इनपुट में पहले शब्द को केवल माइंडलेस रूप से कनेक्ट नहीं करता है। वह वास्तव में प्रशिक्षण प्रक्रिया के दौरान समझती थी कि इस माने जाने वाली भाषा की जोड़ी (हमारे मामले में, फ्रेंच और अंग्रेजी) में शब्दों का मिलान कैसे किया जाए। यह तंत्र कितनी सटीक रूप से काम कर सकता है, इसका एक उदाहरण ऊपर उल्लिखित ध्यान तंत्र पर लेखों में पाया जा सकता है।

यदि आपको लगता है कि आप इस मॉडल को लागू करने के बारे में जानने के लिए तैयार हैं, तो TensorFlow पर न्यूरल मशीन ट्रांसलेशन (seq2seq) मैनुअल देखें।

लेखक

• जय आलमर द्वारा मूल
• अनुवाद- एकातेरिना स्मरनोवा
• संपादन और लेआउट - शकरिन सर्गेई