ट्रांसफार्मर वास्तुकला के साथ तंत्रिका नेटवर्क के लिए स्वचालित मशीन सीखने का अनुप्रयोग

Google AI ब्लॉग से

2017 में उनके बारे में जानकारी के प्रकाशन के बाद से, ट्रांसफ़ॉर्मर आर्किटेक्चर न्यूरल नेटवर्क को विभिन्न प्रकार के कार्यों में लागू किया गया है, जो काल्पनिक शैली में ग्रंथों को उत्पन्न करने से लेकर संगीतमय हारमनीज़ लिख रहा है । क्या महत्वपूर्ण है, "ट्रांसफार्मर" के काम की उच्च गुणवत्ता ने दिखाया है कि जब अनुक्रमिक कार्यों पर लागू किया जाता है, जैसे कि भाषा मॉडलिंग और अनुवाद, प्रत्यक्ष वितरण तंत्रिका नेटवर्क आवर्तक के रूप में प्रभावी हो सकते हैं। यद्यपि अनुक्रमिक कार्यों में उपयोग किए जाने वाले ट्रांसफार्मर और अन्य प्रत्यक्ष-वितरण मॉडल की लोकप्रियता बढ़ रही है, उनके आर्किटेक्चर लगभग हमेशा मैन्युअल रूप से बनाए जाते हैं, कंप्यूटर दृष्टि के क्षेत्र के विपरीत, जहां उन्नत मशीन लर्निंग ( एओएम ) दृष्टिकोणों ने पहले से ही उन्नत मॉडल की खोज की है जो उन लोगों से आगे हैं। मैनुअल सेटिंग। स्वाभाविक रूप से, हम इस बात में रुचि रखते थे कि क्या एओएम से अनुक्रमिक कार्यों के लिए आवेदन समान सफलता प्राप्त कर सकते हैं।

तंत्रिका वास्तुकला खोज (एनएएस) के लिए एक विकासवादी खोज का संचालन करने और अनुक्रमिक कार्यों के उदाहरण के रूप में अनुवाद का उपयोग करने के बाद, हमने एक विकसित ट्रांसफार्मर (ईटी) की खोज की - एक नया ट्रांसफार्मर वास्तुकला जो विभिन्न प्राकृतिक भाषा प्रसंस्करण (ओवाईए) कार्यों में सुधार दर्शाता है। ईटी न केवल अनुवाद में अत्याधुनिक परिणाम प्राप्त करता है, बल्कि मूल ट्रांसफार्मर की तुलना में भाषा की मॉडलिंग में बेहतर दक्षता प्रदर्शित करता है। हम Tensor2Tensor लाइब्रेरी में एक नया मॉडल प्रकाशित करते हैं , जहाँ इसका उपयोग किसी भी अनुक्रमिक कार्य के लिए किया जा सकता है।

तकनीशियन विकास

न्यूरोएलेक्टेक्चर के लिए विकासवादी खोज शुरू करने के लिए, हमें नई तकनीकों को विकसित करने की आवश्यकता थी, क्योंकि कार्य का उपयोग आर्किटेक्चर में से प्रत्येक के "फिटनेस" का आकलन करने के लिए किया गया था, अंग्रेजी से जर्मन WMT'14 में अनुवाद , कंप्यूटिंग संसाधनों पर मांग कर रहा था। नतीजतन, ये खोजें कंप्यूटर विज़न के क्षेत्र में समान खोजों की तुलना में अधिक मांग करती हैं, जो छोटे डेटाबेस के साथ काम कर सकते हैं, उदाहरण के लिए, CIFAR-10 । इनमें से पहली तकनीक एक गर्म शुरुआत है, जो मूल विकासवादी आबादी को यादृच्छिक मॉडल के बजाय ट्रांसफार्मर-प्रकार के आर्किटेक्चर के साथ बुवाई करती है। यह खोज स्थान के स्पष्ट रूप से मजबूत क्षेत्र में खोजों को ध्यान केंद्रित करने में मदद करता है, जो हमें सबसे अच्छे मॉडल को जल्दी से खोजने की अनुमति देता है।

दूसरी तकनीक हमारे द्वारा विकसित एक नई विधि है जिसे प्रगतिशील गतिशील बाधा (पीडीएच) कहा जाता है। यह एल्गोरिथम विकासवादी खोज को पूरक करता है, जिससे आप पिछले कार्यों के विपरीत, सबसे मजबूत उम्मीदवारों को अधिक संसाधन आवंटित कर सकते हैं, जहां एनएएस में प्रत्येक उम्मीदवार मॉडल को समान संसाधनों का आवंटन किया गया था। पीडीएच हमें पहले एक मॉडल का मूल्यांकन खत्म करने की अनुमति देता है यदि यह बहुत खराब है, जबकि बहुत सारे संसाधनों के साथ आशाजनक आर्किटेक्चर को पुरस्कृत करता है।

बदला हुआ ट्रांसफार्मर

इन विधियों का उपयोग करते हुए, हमने अपने अनुवाद कार्य पर बड़े पैमाने पर NAS खोज की और ETs की खोज की। "अनुक्रम से अनुक्रम" (अनुक्रम से अनुक्रम, seq2seq) प्रकार के अधिकांश तंत्रिका नेटवर्क आर्किटेक्चर की तरह, इसमें एक एनकोडर होता है जो आवेषण में इनपुट अनुक्रम को एन्कोड करता है, और एक डिकोडर जो आउटपुट अनुक्रम बनाने के लिए इन आवेषण का उपयोग करता है। अनुवाद के मामले में, इनपुट अनुक्रम एक अनुवाद प्रस्ताव है, और आउटपुट अनुक्रम एक अनुवाद है।

ईटी की सबसे दिलचस्प विशेषता एन्कोडर और डिकोडर दोनों के मॉड्यूल के निचले भाग में स्थित है, जो इन दोनों स्थानों (जैसे कि, इनपुट से पहले दो अलग-अलग दृढ़ परतों के माध्यम से गुजरता है) के समान समान तरीके से जोड़ा जाता है।


पारंपरिक एनकोडर और ईटी एनकोडर की वास्तुकला की तुलना। मॉड्यूल के तल पर शाखाओं में बंटी हुई संरचना पर ध्यान दें, स्वतंत्र रूप से एनकोडर और डिकोडर दोनों में गठित। डिकोडर को हमारे काम में विस्तार से वर्णित किया गया है।

यह विशेष रूप से दिलचस्प है क्योंकि एनएएस के दौरान एनकोडर और डिकोडर एक दूसरे के साथ आर्किटेक्चर साझा नहीं करते हैं, और इस आर्किटेक्चर की उपयोगिता को एनकोडर और डिकोडर में स्वतंत्र रूप से खोजा गया था, जो इस तरह की योजना के पक्ष में बोलता है। यदि मूल ट्रांसफार्मर पूरी तरह से उसी डेटा पर ध्यान देने पर निर्भर करता है जो उसने स्वयं उत्पन्न किया था [आत्म-ध्यान], ET एक हाइब्रिड है जो आत्म-ध्यान और व्यापक दृढ़ संकल्प दोनों का लाभ उठाता है।

ईटी स्कोर

इस नई वास्तुकला की प्रभावशीलता का परीक्षण करने के लिए, हमने पहले इसकी तुलना मूल ट्रांसफार्मर के साथ की, जो अंग्रेजी से जर्मन में अनुवाद करने के कार्य के साथ काम किया, जिसका उपयोग हमने खोज के दौरान किया। हमने पाया कि ईटी के पास सभी पैरामीटर आकारों पर सर्वश्रेष्ठ BLEU संकेतक और कनेक्टिविटी हैं, और आकार में सबसे बड़ा लाभ मोबाइल उपकरणों (~ 7 मिलियन पैरामीटर) के लिए तुलनीय है, जो मापदंडों के कुशल उपयोग को इंगित करता है। बड़े आकार में, ET, WMT '14 En-De पर 29.8 के BLEU और 29.2 के SacreBLEU के साथ अत्याधुनिक परिणाम प्राप्त करता है।


विभिन्न संस्करणों के साथ WMT'14 En-De पर ईटी और मूल ट्रांसफार्मर की तुलना। सबसे बड़ा लाभ छोटे आकार के साथ हासिल किया जाता है, जबकि ET बड़े आकारों पर अच्छा प्रदर्शन दिखाता है, 37.6% कम मापदंडों के साथ सबसे बड़े ट्रांसफार्मर से आगे (तुलनात्मक मॉडल हलकों में हैं)।

सामान्यता की जांच करने के लिए, हमने प्राकृतिक भाषा प्रसंस्करण की अतिरिक्त समस्याओं पर एक ट्रांसफार्मर के साथ ईटी की तुलना की। सबसे पहले, हमने विभिन्न युग्मों के लिए अनुवादों की जाँच की, और पाया कि ET की प्रभावशीलता अधिक है, और इसका पृथक्करण लगभग वैसा ही है जैसा कि अंग्रेजी-जर्मन अनुवाद में प्रदर्शित होता है; और फिर, मापदंडों के कुशल उपयोग के लिए धन्यवाद, मध्यम आकार के मॉडल पर सबसे बड़ा अंतर मनाया जाता है। हमने LM1B में भाषा मॉडलिंग पर दोनों मॉडलों के डिकोडर्स की तुलना की, और कनेक्टिविटी में एक महत्वपूर्ण सुधार देखा।

भविष्य की योजना

ये परिणाम अनुक्रमिक प्रत्यक्ष वितरण मॉडल के लिए वास्तुकला खोज आवेदन की खोज में पहला कदम है। ET को Tensor2Tensor प्रोजेक्ट के ढांचे में खुले स्रोत के रूप में वितरित किया गया है, जहां इसका उपयोग किसी भी लगातार समस्याओं पर किया जा सकता है। प्रजनन क्षमता में सुधार करने के लिए, हम खोज स्पेस कोड भी खोलते हैं जिसका उपयोग हमने अपनी खोज में किया था, और पीडीएच कार्यान्वयन के साथ कोलाब । हम नए मॉडलों से लैस अनुसंधान समुदाय के परिणामों की प्रतीक्षा कर रहे हैं, और हमें उम्मीद है कि अन्य लोग इन नई खोज तकनीकों को आधार के रूप में ले सकेंगे!