हमने पहले ही अपने कॉर्पोरेट ब्लॉग के पहले लेख में लिखा है कि हस्तांतरणीय उधार का पता लगाने के लिए एल्गोरिदम कैसे काम करता है। उस लेख में पैराग्राफ के केवल एक जोड़े ग्रंथों की तुलना करने के विषय के लिए समर्पित हैं, हालांकि यह विचार अधिक विस्तृत वर्णन के योग्य है। हालाँकि, जैसा कि आप जानते हैं, कोई तुरंत सब कुछ के बारे में नहीं बता सकता है, हालांकि कोई वास्तव में चाहता है। इस विषय और " ऑटो-एनकोडर " नामक नेटवर्क की वास्तुकला को श्रद्धांजलि देने के प्रयास में, जिसमें हमें बहुत गर्म भावनाएं हैं, ओलेग_नखतेव और मैंने यह समीक्षा लिखी।


स्रोत: एनएलपी के लिए गहन सीखने (जादू के बिना)

जैसा कि हमने उस लेख में उल्लेख किया है, ग्रंथों की तुलना "शब्दार्थ" थी - हमने स्वयं पाठ अंशों की तुलना नहीं की थी, लेकिन उनके अनुरूप वैक्टर। इस तरह के वैक्टर को तंत्रिका नेटवर्क के प्रशिक्षण के परिणामस्वरूप प्राप्त किया गया था, जिसने एक बड़े लेकिन निश्चित आयाम के वेक्टर में एक मनमाना लंबाई का एक पाठ टुकड़ा प्रदर्शित किया। इस तरह की मैपिंग कैसे प्राप्त करें और वांछित परिणाम उत्पन्न करने के लिए नेटवर्क को कैसे सिखाना है यह एक अलग मुद्दा है, जिस पर नीचे चर्चा की जाएगी।

एक ऑटो एनकोडर क्या है?

औपचारिक रूप से, एक तंत्रिका नेटवर्क को ऑटो-एनकोडर (या ऑटो-एनकोडर) कहा जाता है, जो नेटवर्क इनपुट पर प्राप्त वस्तुओं को पुनर्स्थापित करने के लिए प्रशिक्षित करता है।

ऑटो-एनकोडर में दो भाग होते हैं: एक एनकोडर एफ , जो नमूना एक्स को अपने आंतरिक प्रतिनिधित्व एच और एक डिकोडर जी में जोड़ता है, जो मूल नमूने को पुनर्स्थापित करता है। इस प्रकार, ऑटोकैडर मूल वस्तु के साथ प्रत्येक नमूना वस्तु के बहाल संस्करण को संयोजित करने का प्रयास करता है।

ऑटो-एनकोडर को प्रशिक्षित करते समय, निम्न फ़ंक्शन को छोटा किया जाता है:


जहाँ r मूल वस्तु के पुनर्स्थापित संस्करण के लिए खड़ा है:


Blog.keras.io में दिए गए उदाहरण पर विचार करें:

नेटवर्क इनपुट के रूप में एक वस्तु x प्राप्त करता है (हमारे मामले में, संख्या 2)।

हमारा नेटवर्क इस ऑब्जेक्ट को एक छिपे हुए राज्य में एन्कोड करता है। फिर, अव्यक्त स्थिति के अनुसार, ऑब्जेक्ट r का पुनर्निर्माण बहाल किया जाता है, जो x के समान होना चाहिए। जैसा कि हम देखते हैं, बहाल छवि (दाईं ओर) अधिक धुंधली हो गई है। यह इस तथ्य से समझाया गया है कि हम एक छिपे हुए दृश्य में केवल वस्तु के सबसे महत्वपूर्ण संकेतों को रखने की कोशिश करते हैं, इसलिए ऑब्जेक्ट को नुकसान के साथ बहाल किया जाता है।

ऑटो-एनकोडर मॉडल को एक क्षतिग्रस्त फोन के सिद्धांत पर प्रशिक्षित किया जाता है, जहां एक व्यक्ति (एनकोडर) सूचना (x ) को दूसरे व्यक्ति (डिकोडर ) तक पहुंचाता है, और वह बदले में उसे तीसरे (r (x)) को बताता है।

ऐसे ऑटो-एनकोडर का मुख्य उद्देश्य स्रोत स्थान के आयाम को कम करना है। जब हम ऑटो-एनकोडर के साथ काम कर रहे होते हैं, तो तंत्रिका नेटवर्क प्रशिक्षण प्रक्रिया स्वयं ऑटो-एनकोडर को वस्तुओं की मुख्य विशेषताओं को याद करती है जिससे मूल नमूना वस्तुओं को पुनर्स्थापित करना आसान होगा।

यहां हम मुख्य घटकों की पद्धति के साथ एक सादृश्य आकर्षित कर सकते हैं : यह आयाम को कम करने की एक विधि है, जिसके परिणामस्वरूप नमूने का उपसमुच्चय पर प्रक्षेपण होता है जिसमें इस नमूने का विचरण अधिकतम होता है।

वास्तव में, ऑटो-एनकोडर प्रमुख घटक विधि का एक सामान्यीकरण है: मामले में जब हम खुद को रैखिक मॉडल के विचार तक सीमित रखते हैं, ऑटो-एनकोडर और प्रमुख घटक विधि समान वेक्टर प्रतिनिधित्व देते हैं। अंतर तब होता है जब हम अधिक जटिल मॉडल पर विचार करते हैं, उदाहरण के लिए, बहुपरत पूरी तरह से जुड़े तंत्रिका नेटवर्क, एक एनकोडर और डिकोडर के रूप में।

मुख्य घटक विधि और ऑटो-एनकोडर की तुलना का एक उदाहरण लेख में प्रस्तुत किया गया है जो न्यूट्रल नेटवर्क के साथ डेटा की आयाम को कम करता है :


यहां, ऑटो-एनकोडर के प्रशिक्षण के परिणाम और मानव चेहरे की छवियों के नमूने के लिए मुख्य घटक विधि का प्रदर्शन किया जाता है। पहली पंक्ति नियंत्रण नमूने से लोगों के चेहरे को दिखाती है, अर्थात्। सीखने की प्रक्रिया में एल्गोरिदम द्वारा उपयोग नहीं किए गए नमूने के एक विशेष रूप से स्थगित भाग से। दूसरी और तीसरी पंक्तियों में ऑटो-एनकोडर की छिपी हुई अवस्थाओं और प्रिंसिपल कंपोनेंट विधि से क्रमशः एक ही आयाम की छवियों को पुनर्स्थापित किया जाता है। यहां आप स्पष्ट रूप से देख सकते हैं कि ऑटो-एनकोडर ने कितना बेहतर काम किया।

एक ही लेख में, एक और उदाहरणात्मक उदाहरण: सूचना पुनर्प्राप्ति के कार्य के लिए ऑटो-एनकोडर और एलएसए पद्धति के परिणामों की तुलना करना। एलएसए विधि, प्रमुख घटक विधि की तरह, एक शास्त्रीय मशीन सीखने की विधि है और अक्सर प्राकृतिक भाषा प्रसंस्करण से संबंधित कार्यों में उपयोग किया जाता है।

यह आंकड़ा ऑटो-एनकोडर और एलएसए पद्धति का उपयोग करके प्राप्त कई दस्तावेजों का 2 डी प्रक्षेपण दिखाता है। रंग दस्तावेज़ के विषय को इंगित करते हैं। यह देखा जा सकता है कि ऑटो-एनकोडर से प्रक्षेपण विषय द्वारा दस्तावेजों को अच्छी तरह से तोड़ देता है, जबकि एलएसए बहुत अधिक शोर परिणाम पैदा करता है।

ऑटो एनकोडर का एक अन्य महत्वपूर्ण अनुप्रयोग नेटवर्क पूर्व प्रशिक्षण है । नेटवर्क प्री-ट्रेनिंग का उपयोग तब किया जाता है जब अनुकूलित नेटवर्क पर्याप्त गहरा हो। इस मामले में, "खरोंच से" नेटवर्क को प्रशिक्षित करना काफी मुश्किल हो सकता है, इसलिए, पहले पूरे नेटवर्क को एन्कोडर की एक श्रृंखला के रूप में दर्शाया गया है।

पूर्व-प्रशिक्षण एल्गोरिथ्म काफी सरल है: प्रत्येक परत के लिए हम अपने स्वयं के ऑटो-एनकोडर को प्रशिक्षित करते हैं, और फिर हम सेट करते हैं कि अगले एनकोडर का आउटपुट एक साथ अगली नेटवर्क परत के लिए इनपुट है। परिणामस्वरूप मॉडल में वस्तुओं की सबसे महत्वपूर्ण विशेषताओं को संरक्षित करने के लिए प्रशिक्षित एन्कोडर की एक श्रृंखला होती है, प्रत्येक इसकी अपनी परत पर। पूर्व प्रशिक्षण योजना नीचे प्रस्तुत की गई है:

स्रोत: psyyz10.imtqy.com

इस संरचना को स्टैक्ड ऑटोएन्कोडर कहा जाता है और इसे अक्सर पूर्ण गहरे नेटवर्क मॉडल को प्रशिक्षित करने के लिए "ओवरक्लॉकिंग" के रूप में उपयोग किया जाता है। एक तंत्रिका नेटवर्क के इस तरह के प्रशिक्षण के लिए प्रेरणा यह है कि एक गहरे तंत्रिका नेटवर्क एक गैर-उत्तल कार्य है: एक नेटवर्क को प्रशिक्षित करने की प्रक्रिया में, स्थानीय न्यूनतम में मापदंडों का अनुकूलन "अटक सकता है"। नेटवर्क मापदंडों का लालची पूर्व प्रशिक्षण आपको अंतिम प्रशिक्षण के लिए एक अच्छा प्रारंभिक बिंदु खोजने की अनुमति देता है और इस तरह के स्थानीय मिनीमाता से बचने की कोशिश करता है।

बेशक, हमने सभी संभावित संरचनाओं पर विचार नहीं किया, क्योंकि स्पार्स ऑटोएन्कोडर्स , डेनोइजिंग ऑटोएन्कोडर्स , कॉन्ट्रैक्टिव ऑटोएन्कोडर , रीकंस्ट्रक्शन कॉन्ट्रैक्टिव ऑटोकेनोडर हैं । वे विभिन्न त्रुटि कार्यों और उनके लिए दंड शर्तों का उपयोग करके आपस में भिन्न होते हैं। इन सभी आर्किटेक्चर, हमारी राय में, एक अलग समीक्षा के लायक हैं। हमारे लेख में, हम दिखाते हैं, सबसे पहले, ऑटो-एनकोडर की सामान्य अवधारणा और पाठ विश्लेषण के उन विशिष्ट कार्य जो इसका उपयोग करके हल किए जाते हैं।

यह ग्रंथों में कैसे काम करता है?

अब हम पाठ विश्लेषण कार्यों के लिए ऑटोकॉडर्स के उपयोग के विशिष्ट उदाहरणों की ओर मुड़ते हैं। हम आवेदन के दोनों पक्षों में रुचि रखते हैं - आंतरिक प्रतिनिधित्व प्राप्त करने के लिए दोनों मॉडल, और विशेषताओं के रूप में इन आंतरिक अभ्यावेदन का उपयोग, उदाहरण के लिए, आगे की वर्गीकरण समस्या में। इस विषय पर लेख सबसे अधिक बार संवेदना विश्लेषण या रीफ़्रेशिंग डिटेक्शन जैसे कार्यों को छूते हैं, लेकिन विभिन्न भाषाओं में ग्रंथों की तुलना करने या मशीन अनुवाद के लिए ऑटो-एनकोडर्स के उपयोग का वर्णन करने वाले कार्य भी हैं।

पाठ विश्लेषण के कार्यों में, सबसे अधिक बार वस्तु वाक्य है, अर्थात्। शब्दों का क्रम दिया। इस प्रकार, ऑटो-एनकोडर बिल्कुल शब्दों के इस क्रम को प्राप्त करता है, या बल्कि, पहले से प्रशिक्षित मॉडल से लिए गए इन शब्दों का वेक्टर प्रतिनिधित्व करता है। शब्दों के सदिश निरूपण क्या हैं, यह हबरे पर पर्याप्त विस्तार से माना गया था, उदाहरण के लिए यहाँ । इस प्रकार, ऑटो-एनकोडर, इनपुट के रूप में शब्दों का एक क्रम लेते हुए, पूरे वाक्य के कुछ आंतरिक प्रतिनिधित्व को प्रशिक्षित करना चाहिए जो कार्य के आधार पर हमारे लिए महत्वपूर्ण विशेषताओं को पूरा करता है। पाठ विश्लेषण की समस्याओं में, हमें वैक्टरों को वाक्यों को मैप करने की आवश्यकता होती है ताकि वे कुछ दूरी फ़ंक्शन के अर्थ में करीब हों, सबसे अक्सर एक ब्रह्मांडीय उपाय:


स्रोत: एनएलपी के लिए गहन सीखने (जादू के बिना)

पाठ विश्लेषण में ऑटो-एनकोडर के सफल उपयोग को दिखाने वाले पहले लेखकों में से एक रिचर्ड सोचर थे ।

Paraphrase डिटेक्शन के लिए डायनामिक पूलिंग और अनफोल्डिंग रिकर्सिव ऑटोएन्कोडर्स के अपने लेख में , वह एक नई ऑटोकोडिंग संरचना - अनफोल्डिंग रिकर्सिव ऑटोएन्कोडर (अनफॉल्डिंग राई) (नीचे आंकड़ा देखें) का वर्णन करता है।

आरएएफ को अनफॉलो करना

यह माना जाता है कि वाक्य संरचना एक सिंटेक्टिक पार्सर द्वारा परिभाषित की जाती है। सबसे सरल संरचना माना जाता है - एक द्विआधारी पेड़ की संरचना। इस तरह के पेड़ में पत्तियों के टुकड़े होते हैं - एक टुकड़े के शब्द, आंतरिक नोड्स (शाखा नोड्स) -प्रकृति, और एक टर्मिनल शीर्ष। शब्दों के अनुक्रम (x ₁ , x ₂ , x ₃ ) को इनपुट के रूप में लेना (इस उदाहरण में शब्दों के तीन वेक्टर निरूपण), ऑटोकैडर क्रमिक रूप से सांकेतिक शब्दों में बदलना, इस मामले में, दाएं से बाएं, वाक्यांशों के वेक्टर निर्देश में वाक्य शब्दों के वेक्टर प्रतिनिधित्व और फिर वेक्टर में। पूरे प्रस्ताव की प्रस्तुति। विशेष रूप से, इस उदाहरण में, हम पहले वैक्टर एक्स ₂ और एक्स _{3 को} समेटते हैं , फिर उन्हें मैट्रिक्स डब्ल्यू _{ई से} गुणा करके आयाम 2 × छिपा हुआ है, जहां छिपा हुआ है, जहां छिपे हुए आंतरिक प्रतिनिधित्व का आकार, दृश्यमान शब्द वेक्टर का आयाम है। इस प्रकार, हम आयाम को कम करते हैं, फिर तन समारोह का उपयोग करके गैर-रैखिकता जोड़ते हैं। पहले चरण में, हमें वाक्यांश दो शब्दों x ₂ और x ₃ : h ₁ = tanh [(W _e [x ₂ , x ₃ ] + b _e ) के लिए एक छिपा हुआ वेक्टर प्रतिनिधित्व मिलता है। दूसरे पर, हम इसे जोड़ते हैं और शेष शब्द h ₂ = tanh W (W _e [h ₁ , x ₁ ] + b _e ) और पूरे वाक्य के लिए एक वेक्टर प्रतिनिधित्व प्राप्त करते हैं - h ₂ । जैसा कि ऊपर उल्लेख किया गया है, ऑटो-एनकोडर की परिभाषा में, हमें वस्तुओं और उनके पुनर्स्थापित संस्करणों के बीच त्रुटि को कम करना होगा। हमारे मामले में, ये शब्द हैं। इसलिए, पूरे वाक्य h ₂ का अंतिम वेक्टर प्रतिनिधित्व प्राप्त करने के बाद, हम इसके बहाल संस्करणों (x ₁ ', x ₂ ', x ₃ ') को डिकोड करेंगे। यहां डिकोडर एन्कोडर के समान सिद्धांत पर काम करता है, केवल पैरामीटर मैट्रिक्स और शिफ्ट वेक्टर यहां अलग हैं: डब्ल्यू _डी और बी _डी ।

एक द्विआधारी वृक्ष की संरचना का उपयोग करके, आप किसी भी लंबाई के वाक्यों को निश्चित आयाम के वेक्टर में सांकेतिक शब्दों में बदल सकते हैं - हम हमेशा समान आयाम वाले डब्ल्यू के समान मैट्रिक्स का उपयोग करते हुए, समान आयाम के वैक्टर की एक जोड़ी को जोड़ते हैं। एक गैर-बाइनरी पेड़ के मामले में, आपको बस पहले से मैट्रिसेस को इनिशियलाइज़ करना होगा अगर हम दो से अधिक शब्दों - 3, 4, ... n को संयोजित करना चाहते हैं, तो इस मामले में मैट्रिक्स में आयाम छिपे हुए × अदृश्य होंगे ।

यह उल्लेखनीय है कि इस लेख में, वाक्यांशों के प्रशिक्षित सदिश निरूपण का उपयोग न केवल वर्गीकरण की समस्या को हल करने के लिए किया जाता है - एक-दो वाक्य रिप्रजेंट किए जाते हैं या नहीं। निकटतम पड़ोसियों की खोज पर एक प्रयोग का डेटा भी प्रस्तुत किया जाता है - केवल प्राप्त प्रस्ताव वेक्टर के आधार पर, नमूने में निकटतम वैक्टर की खोज की जाती है जो अर्थ में इसके करीब हैं:



हालांकि, कोई भी हमें वाक्यों में क्रमिक रूप से संयोजन के लिए एन्कोडिंग और डिकोडिंग के लिए अन्य नेटवर्क आर्किटेक्चर का उपयोग करने के लिए परेशान नहीं करता है।

यहाँ एक NIPS 2017 लेख से एक उदाहरण है - Deconvolutional पैराग्राफ प्रतिनिधित्व सीखना :


हम देखते हैं कि छिपे हुए प्रतिनिधित्व एच में नमूना एक्स की एन्कोडिंग एक दृढ़ तंत्रिका नेटवर्क का उपयोग करती है, और डिकोडर एक ही सिद्धांत पर काम करता है।

या यहाँ स्किप-थॉट वैक्टर लेख में GRU-GRU का उपयोग करके एक उदाहरण दिया गया है।

यहां एक दिलचस्प विशेषता यह है कि मॉडल वाक्यों के त्रिभुज के साथ काम करता है: ( s _i-1 , s _i , s _{i + 1} )। वाक्य का _i मानक मानक GRU फ़ार्मुलों का उपयोग करके एन्कोड किया गया है, और डीकोडर, आंतरिक प्रतिनिधित्व सूचना s _i का उपयोग करते हुए, s _i-1 और s _{i + 1} को डीकोड करने के लिए भी कोशिश करता है।



इस मामले में ऑपरेशन का सिद्धांत तंत्रिका नेटवर्क मशीन अनुवाद के मानक मॉडल जैसा दिखता है, जो एनकोडर-डिकोडर योजना के अनुसार काम करता है। हालांकि, यहां हमारे पास दो भाषाएं नहीं हैं, हम अपनी कोडिंग यूनिट के इनपुट के लिए एक भाषा में एक वाक्यांश प्रस्तुत करते हैं और इसे पुनर्स्थापित करने का प्रयास करते हैं। सीखने की प्रक्रिया में, कुछ आंतरिक गुणवत्ता कार्यात्मक का एक न्यूनतमकरण होता है (यह हमेशा एक पुनर्निर्माण त्रुटि नहीं होती है), फिर, यदि आवश्यक हो, तो पूर्व-प्रशिक्षित वैक्टर को किसी अन्य समस्या में सुविधाओं के रूप में उपयोग किया जाता है।

एक अन्य पेपर, सांख्यिकीय मशीन अनुवाद के लिए द्विभाषी पत्राचार पुनरावर्ती ऑटोएन्कोडर्स , एक वास्तुकला प्रस्तुत करता है जो मशीन अनुवाद के लिए एक नया रूप लेता है। सबसे पहले, दो भाषाओं के लिए, पुनरावर्ती ऑटोकॉडर्स को अलग से प्रशिक्षित किया जाता है (ऊपर वर्णित सिद्धांत के अनुसार - जहां अनफॉल्डिंग आरईई पेश किया गया था)। फिर, उनके बीच, एक तीसरा ऑटो-एनकोडर प्रशिक्षित किया जाता है - दो भाषाओं के बीच एक मानचित्रण। इस तरह की वास्तुकला का एक स्पष्ट लाभ है - जब विभिन्न भाषाओं में ग्रंथों को एक आम छिपे हुए स्थान में प्रदर्शित किया जाता है, तो हम मशीन अनुवाद का उपयोग मध्यवर्ती चरण के रूप में किए बिना उनकी तुलना कर सकते हैं।



टेक्स्ट टुकड़ों पर ऑटो-एनकोडर का प्रशिक्षण अक्सर रैंकिंग प्रशिक्षण पर लेखों में पाया जाता है। यहां, फिर से, यह तथ्य कि हम रैंकिंग की गुणवत्ता के अंतिम कार्य को प्रशिक्षित कर रहे हैं, महत्वपूर्ण है, हम नेटवर्क इनपुट पर प्रस्तुत अनुरोधों और प्रतिक्रियाओं के वैक्टर को बेहतर बनाने के लिए ऑटो-एनकोडर को पहले से प्रशिक्षित करते हैं।



और, निश्चित रूप से, हम जेनेरिक मॉडल के रूप में वैरिएंट ऑटोएन्कोडर्स या वीएई का उल्लेख नहीं कर सकते हैं। बेशक, यह सबसे अच्छा है, यांडेक्स से इस व्याख्यान प्रविष्टि को देखने के लिए। हमारे लिए निम्नलिखित कहना पर्याप्त है: यदि हम एक पारंपरिक ऑटो-एनकोडर के छिपे हुए स्थान से वस्तुओं को उत्पन्न करना चाहते हैं, तो ऐसी पीढ़ी की गुणवत्ता कम होगी, क्योंकि हमें छिपे हुए चर के वितरण के बारे में कुछ भी नहीं पता है। लेकिन आप तुरंत वितरण-धारणा प्रस्तुत करते हुए, जेनरेट करने के लिए ऑटो-एनकोडर को प्रशिक्षित कर सकते हैं।

और फिर, वीएई का उपयोग करके, आप इस छिपे हुए स्थान से ग्रंथों को उत्पन्न कर सकते हैं, उदाहरण के लिए, लेख के लेखक एक सतत अंतरिक्ष से वाक्य उत्पन्न करने वाले या टेक्स्ट जनरेशन के लिए एक हाइब्रिड कन्वेंशनल वेरिएशनल ऑटोटेकरोड करते हैं ।

VAE के जनरेटिव गुण अलग-अलग भाषाओं में ग्रंथों की तुलना करने वाले कार्यों में भी अच्छी तरह से काम करते हैं - क्रॉस-लिंगुअल वर्ड एंबेडिंग को इंडिकेट करने के लिए एक वेरिएशनल ऑटोकेन्डिंग एप्रोच इसका एक उत्कृष्ट उदाहरण है।

निष्कर्ष के रूप में, हम एक छोटा सा पूर्वानुमान लगाना चाहते हैं। प्रतिनिधित्व सीखना - वास्तव में VAE का उपयोग करके आंतरिक अभ्यावेदन में प्रशिक्षण, विशेष रूप से जनरेशनल एडवरसियर नेटवर्क्स के साथ संयोजन के रूप में, हाल के वर्षों में सबसे विकासशील दृष्टिकोणों में से एक है - यह नवीनतम आईसीएलआर 2018 मशीन लर्निंग कॉन्फ्रेंस में कम से कम लेखों के सबसे लगातार विषयों द्वारा आंका जा सकता है। और ICML 2018 । यह काफी तार्किक है - क्योंकि इसके उपयोग ने कई कार्यों में गुणवत्ता में सुधार करने में मदद की है, और न केवल ग्रंथों से संबंधित है। लेकिन यह एक पूरी तरह से अलग समीक्षा का विषय है ...