अनुक्रम से अनुक्रम भाग 1 मॉडल

सभी को शुभ दिन!

और हमने फिर से संशोधित डेटा वैज्ञानिक पाठ्यक्रम के लिए एक नई धारा खोली है: एक और उत्कृष्ट शिक्षक , अपडेट के आधार पर थोड़ा परिष्कृत कार्यक्रम। खैर, हमेशा की तरह, दिलचस्प खुला सबक और दिलचस्प सामग्री का संग्रह। आज हम टेंसर फ्लो से seq2seq मॉडल का विश्लेषण शुरू करेंगे।

चलो चलते हैं।

जैसा कि आरएनएन ट्यूटोरियल में पहले से ही चर्चा है (हम अनुशंसा करते हैं कि आप इस लेख को पढ़ने से पहले अपने आप को इसके साथ परिचित करें), भाषा को मॉडल करने के लिए आवर्तक तंत्रिका नेटवर्क को सिखाया जा सकता है। और एक दिलचस्प सवाल उठता है: क्या सार्थक उत्तर उत्पन्न करने के लिए कुछ डेटा पर नेटवर्क को प्रशिक्षित करना संभव है? उदाहरण के लिए, क्या हम अंग्रेजी से फ्रेंच में अनुवाद करने के लिए एक तंत्रिका नेटवर्क सिखा सकते हैं? यह पता चला है कि हम कर सकते हैं।

यह मार्गदर्शिका आपको दिखाएगी कि इस तरह के एंड-टू-एंड सिस्टम को कैसे बनाया और प्रशिक्षित किया जाए। GitHub से Tensor Flow के कोर रिपॉजिटरी और TensorFlow मॉडल के रिपॉजिटरी को कॉपी करें । फिर, आप अनुवाद कार्यक्रम शुरू करके शुरू कर सकते हैं:

cd models/tutorials/rnn/translate python translate.py --data_dir [your_data_directory] 

वह WMT'15 वेबसाइट से अंग्रेजी में फ्रेंच से अनुवाद के लिए डेटा डाउनलोड करेगी, उन्हें प्रशिक्षण और प्रशिक्षण के लिए तैयार करेगी । इसके लिए हार्ड ड्राइव पर लगभग 20GB की आवश्यकता होगी और डाउनलोड करने और तैयार होने में काफी समय लगेगा, इसलिए आप इस प्रक्रिया को अभी शुरू कर सकते हैं और इस ट्यूटोरियल को पढ़ना जारी रख सकते हैं।

मैनुअल निम्नलिखित फाइलों तक पहुंचेगा:

फ़ाइल	इसमें क्या है?
टेंसरफ़्लो / टेंसरफ़्लो / अजगर / ऑप्स / seq2seq.py	अनुक्रम से अनुक्रम मॉडल बनाने के लिए लाइब्रेरी
मॉडल / ट्यूटोरियल / rnn / अनुवाद / seq2seq_model.py	अनुक्रम से अनुक्रम तंत्रिका अनुवाद मॉडल
मॉडल / ट्यूटोरियल / rnn / अनुवाद / data_utils.py	अनुवाद डेटा तैयार करने के लिए सहायक कार्य करता है
मॉडल / ट्यूटोरियल / rnn / अनुवाद / Transl.py	बाइनरी जो अनुवाद मॉडल को प्रशिक्षित और चलाता है

अनुक्रम से अनुक्रम मूल बातें

बुनियादी अनुक्रम-से-अनुक्रम मॉडल, जैसा कि चो एट अल।, 2014 ( पीडीएफ ) द्वारा प्रस्तुत किया गया है, में दो आवर्तक तंत्रिका नेटवर्क (आरएनएन) शामिल हैं: एक एनकोडर (एनकोडर) जो इनपुट डेटा को संसाधित करता है और एक डिकोडर (डिकोडर) जो डेटा उत्पन्न करता है। उत्पादन। बुनियादी वास्तुकला नीचे दिखाया गया है:



ऊपर दी गई तस्वीर में प्रत्येक आयत RNN में एक सेल का प्रतिनिधित्व करती है, आमतौर पर एक GRU सेल - एक नियंत्रित पुनरावृत्ति ब्लॉक, या एक LSTM सेल - दीर्घकालिक अल्पकालिक मेमोरी (उनके बारे में अधिक जानने के लिए RNN ट्यूटोरियल पढ़ें)। एनकोडर और डिकोडर में सामान्य वजन हो सकता है या, अधिक बार, मापदंडों के विभिन्न सेट का उपयोग कर सकते हैं। मल्टीलेयर कोशिकाओं का उपयोग अनुक्रम-टू-सीक्वेंस मॉडल में सफलतापूर्वक किया गया है, उदाहरण के लिए, Sutskever एट अल।, 2014 ( पीडीएफ ) का अनुवाद करने के लिए।

ऊपर वर्णित मूल मॉडल में, प्रत्येक इनपुट को निश्चित आकार के एक राज्य वेक्टर में एन्कोड किया जाना चाहिए, क्योंकि यह एकमात्र ऐसी चीज है जो डिकोडर को प्रेषित होती है। डिकोडर को इनपुट डेटा तक अधिक प्रत्यक्ष पहुंच प्रदान करने के लिए, एक ध्यान तंत्र बहदानाऊ एट अल।, 2014 ( पीडीएफ ) में पेश किया गया था। हम ध्यान तंत्र के विवरण में नहीं जाएंगे (इसके लिए आप यहां काम से खुद को परिचित कर सकते हैं); यह कहने के लिए पर्याप्त है कि यह डिकोडर को प्रत्येक डिकोडिंग कदम पर इनपुट डेटा को देखने की अनुमति देता है। LSTM कोशिकाओं और डिकोडर में ध्यान तंत्र के साथ एक बहुपरत अनुक्रम-से-अनुक्रम नेटवर्क निम्नानुसार है:



TensorFlow पुस्तकालय seq2seq

जैसा कि आप ऊपर देख सकते हैं, विभिन्न अनुक्रम-से-अनुक्रम मॉडल हैं। वे सभी विभिन्न आरएनएन कोशिकाओं का उपयोग कर सकते हैं, लेकिन उनमें से सभी एनकोडर इनपुट डेटा और डिकोडर इनपुट डेटा स्वीकार करते हैं। यह TensorFlow seq2seq लाइब्रेरी इंटरफ़ेस (टेंसरफ़्लो / टेनसफ़्लो / पाइथन / ऑप्स / seq2seq.py) का आधार है। यह मूल, RNN, कोडेक, अनुक्रम से अनुक्रम मॉडल निम्नानुसार काम करता है।

 outputs, states = basic_rnn_seq2seq(encoder_inputs, decoder_inputs, cell) 

ऊपर बताए गए कॉल में, encoder_inputs , encoder_inputs के इनपुट डेटा का प्रतिनिधित्व करने वाले encoder_inputs की एक सूची है, जो ऊपर दिए गए चित्र से ए, बी, सी के अनुरूप है। इसी प्रकार, decoder_inputs , डिकोडर इनपुट डेटा का प्रतिनिधित्व करने वाले decoder_inputs हैं। पहली तस्वीर से जीओ, डब्ल्यू, एक्स, वाई, जेड।

cell तर्क tf.contrib.rnn.RNNCell वर्ग का एक उदाहरण है जो यह निर्धारित करता है कि मॉडल में किस सेल का उपयोग किया जाएगा। आप मौजूदा कोशिकाओं का उपयोग कर सकते हैं, उदाहरण के लिए, GRUCell या LSTMCell , या आप अपना स्वयं का लिख ​​सकते हैं। इसके अलावा, tf.contrib.rnn सेल बनाने, सेल इनपुट और आउटपुट या अन्य परिवर्तनों के अपवाद जोड़ने के लिए गोले प्रदान करता है। उदाहरण के लिए RNN ट्यूटोरियल देखें ।

basic_rnn_seq2seq कॉल दो तर्क देता है: outputs और states । वे दोनों decoder_inputs के समान लंबाई के decoder_inputs की सूची का प्रतिनिधित्व करते हैं। outputs हर बार कदम पर डिकोडर आउटपुट डेटा से मेल खाता है, पहली तस्वीर में यह डब्ल्यू, एक्स, वाई, जेड, ईओएस है। लौटाए गए राज्य प्रत्येक समय कदम पर डिकोडर की आंतरिक स्थिति का प्रतिनिधित्व करते हैं।

सीक्वेंस-टू-सीक्वेंस मॉडल का उपयोग करते हुए कई अनुप्रयोगों में, समय टी पर डीकोडर आउटपुट को टी + 1 पर डिकोडर के इनपुट पर वापस प्रेषित किया जाता है। परीक्षण के दौरान, अनुक्रम डिकोडिंग के दौरान, यह एक नया निर्माण होता है। दूसरी ओर, प्रशिक्षण के दौरान, डिकोडर को हर बार कदम पर सही इनपुट डेटा प्रसारित करने की प्रथा है, भले ही डिकोडर पहले गलत था। seq2seq.py में कार्य seq2seq.py मोड के साथ दोनों मोड का समर्थन करते हैं। उदाहरण के लिए, एक नेस्टेड RNN मॉडल के निम्नलिखित उपयोग पर विचार करें।

 outputs, states = embedding_rnn_seq2seq( encoder_inputs, decoder_inputs, cell, num_encoder_symbols, num_decoder_symbols, embedding_size, output_projection=None, feed_previous=False) 

embedding_rnn_seq2seq मॉडल में, सभी इनपुट डेटा (दोनों encoder_inputs और decoder_inputs ) पूर्णांक टेंसर हैं जो असतत मूल्यों को दर्शाते हैं। उन्हें एक तंग प्रतिनिधित्व में संलग्न किया जाएगा (संलग्नक पर विवरण के लिए, वेक्टर व्यू गाइड देखें ), लेकिन इन अनुलग्नकों को बनाने के लिए, आपको असतत वर्णों की अधिकतम संख्या निर्दिष्ट करने की आवश्यकता है: एनकोडर की तरफ num_decoder_symbols और डिकोडर पक्ष पर num_decoder_symbols ।

ऊपर की कॉल में, हमने feed_previous को गलत पर सेट किया। इसका मतलब यह है कि डिकोडर decoder_inputs उपयोग उस रूप में करेगा जिसमें उन्हें प्रदान किया गया है। यदि हम feed_previous को True पर सेट feed_previous , तो डिकोडर केवल पहले decoder_inputs तत्व का उपयोग करेगा। सूची से अन्य सभी टेंसरों को नजरअंदाज कर दिया जाएगा, और डिकोडर आउटपुट के पिछले मूल्य का उपयोग इसके बजाय किया जाएगा। इसका उपयोग हमारे अनुवाद मॉडल में अनुवादों को डिकोड करने के लिए किया जाता है, लेकिन इसका उपयोग प्रशिक्षण के दौरान भी किया जा सकता है, ताकि मॉडल की स्थिरता में सुधार हो सके। लगभग बेंगियो एट अल।, 2015 ( पीडीएफ ) के रूप में।

ऊपर उपयोग किया गया एक अन्य महत्वपूर्ण तर्क output_projection । स्पष्टीकरण के बिना, एम्बेडेड मॉडल का निष्कर्ष संख्या के num_decoder_symbols भाग के रूप में प्रशिक्षण के नमूने प्रति num_decoder_symbols , क्योंकि वे प्रत्येक उत्पन्न प्रतीक के लॉग का प्रतिनिधित्व करते हैं। जब बड़े आउटपुट शब्दकोशों के साथ मॉडल का प्रशिक्षण करते हैं, उदाहरण के लिए बड़े num_decoder_symbols साथ, इन बड़े num_decoder_symbols को संग्रहीत करना अव्यावहारिक हो जाता है। इसके बजाय, छोटे output_projection को वापस करना बेहतर होता है, जो बाद में output_projection का उपयोग करके बड़े टेंसर पर प्रक्षेपित किया जाएगा। यह हमारे seq2seq मॉडल को नमूना किए गए सॉफ्टमैक्स नुकसान के साथ उपयोग करने की अनुमति देता है, जैसा कि जीन एट द्वारा वर्णित है । अल।, 2014 ( पीडीएफ )।

basic_rnn_seq2seq और embedding_rnn_seq2seq अलावा, basic_rnn_seq2seq में कई और अनुक्रम-से-अनुक्रम मॉडल हैं। उन पर ध्यान दें। इन सभी में एक समान इंटरफ़ेस है, इसलिए हम उनके विवरणों में तल्लीन नहीं करेंगे। नीचे हमारे अनुवाद मॉडल के लिए, embedding_attention_seq2seq उपयोग करें।

जारी रखा जाए।