👩🏻‍🎤 🎷 👩🏾‍🚒 करमा में डमी और कार्यान्वयन के लिए ध्यान दें 👢 🐅 🖍️

रूसी में कृत्रिम बुद्धि पर लेख के बारे में

इस तथ्य के बावजूद कि ध्यान का तंत्र अंग्रेजी साहित्य में वर्णित है, मैंने अभी भी रूसी-बोलने वाले क्षेत्र में इस तकनीक का एक सभ्य विवरण नहीं देखा है। हमारी भाषा में आर्टिफिशियल इंटेलिजेंस (एआई) पर कई लेख हैं। हालांकि, उन लेखों को पाया गया जो केवल सबसे सरल एआई मॉडल प्रकट करते हैं, उदाहरण के लिए, कन्वेंशन नेटवर्क, जेनरेटर नेटवर्क। हालांकि, एआई के क्षेत्र में अत्याधुनिक घटनाओं के अनुसार, रूसी भाषी क्षेत्र में बहुत कम लेख हैं।

नवीनतम घटनाओं पर रूसी में लेखों की कमी मेरे लिए एक समस्या बन गई जब मैंने विषय में प्रवेश किया, एआई के क्षेत्र में मामलों की वर्तमान स्थिति का अध्ययन किया। मैं अच्छी तरह से अंग्रेजी जानता हूं, मैं एआई विषयों पर अंग्रेजी में लेख पढ़ता हूं। हालाँकि, जब कोई नई अवधारणा या AI का एक नया सिद्धांत सामने आता है, तो विदेशी भाषा में इसकी समझ दर्दनाक और लंबी होती है। अंग्रेजी जानना, एक जटिल वस्तु में गैर-मूल में घुसना अभी भी बहुत अधिक समय और प्रयास के लायक है। विवरण पढ़ने के बाद, आप अपने आप से सवाल पूछते हैं: आप कितने प्रतिशत समझते हैं? यदि रूसी में एक लेख था, तो मैं पहले पढ़ने के बाद 100% समझूंगा। यह जेनरेटर नेटवर्क के साथ हुआ, जिसके लिए लेखों की एक उत्कृष्ट श्रृंखला है: पढ़ने के बाद सब कुछ स्पष्ट हो गया। लेकिन नेटवर्क की दुनिया में, कई दृष्टिकोण हैं जो केवल अंग्रेजी में वर्णित हैं और जिन्हें दिनों के लिए निपटा जाना था।

मैं समय-समय पर अपनी मूल भाषा में लेख लिखने जा रहा हूं, हमारे भाषा क्षेत्र में ज्ञान लाता हूं। जैसा कि आप जानते हैं, किसी विषय को समझने का सबसे अच्छा तरीका है कि आप किसी को समझाएं। तो और कौन है लेकिन मुझे सबसे आधुनिक, जटिल, उन्नत वास्तुशिल्प AI पर लेखों की एक श्रृंखला शुरू करनी चाहिए। लेख के अंत तक, मैं खुद एक 100% दृष्टिकोण को समझूंगा, और यह किसी ऐसे व्यक्ति के लिए उपयोगी होगा जो पढ़ता है और अपनी समझ में सुधार करता है (वैसे, मैं गेसर से प्यार करता हूं, लेकिन बेहतर ** ब्लैंच डी ब्रुक्सिलेस **)।

जब आप विषय को समझते हैं, तो समझ के 4 स्तर होते हैं:

आप एल्गोरिथ्म / स्तर के सिद्धांत और इनपुट और आउटपुट को समझते हैं
आप समझते हैं कि सभा से बाहर निकलें और सामान्य शब्दों में यह कैसे काम करता है
आप उपरोक्त सभी को समझते हैं, साथ ही साथ प्रत्येक नेटवर्क स्तर का उपकरण (उदाहरण के लिए, VAE मॉडल में आप सिद्धांत को समझते हैं, और आप पुनर्मूल्यांकन चाल का सार भी समझते हैं)
मैंने हर स्तर सहित सब कुछ समझा, मैंने यह भी समझा कि यह सब क्यों सीखता है, और साथ ही मैं तैयार किए गए समाधानों की कॉपी-पेस्ट करने के बजाय अपने कार्य के लिए हाइपरपरमेटर्स का चयन करने में सक्षम हूं।

नए आर्किटेक्चर के लिए, स्तर 1 से स्तर 4 तक संक्रमण अक्सर मुश्किल होता है: लेखक इस बात पर जोर देते हैं कि वे सतही रूप से विभिन्न महत्वपूर्ण विवरणों का वर्णन कर रहे हैं (क्या वे उन्हें स्वयं समझते हैं?)। या आपके मस्तिष्क में कोई निर्माण नहीं होता है, इसलिए विवरण पढ़ने के बाद भी यह समझ में नहीं आया और कौशल में नहीं बदल गया। यह तब होता है जब आपके छात्र वर्षों के दौरान आप एक ही मेटन पाठ में सोते थे, एक रात की पार्टी के बाद you जहां आपने सही चटाई दी थी। तंत्र। और यहां बस हमें अपनी मूल भाषा में लेखों की आवश्यकता है जो प्रत्येक ऑपरेशन की बारीकियों और सूक्ष्मताओं को प्रकट करते हैं।

अवधारणा और आवेदन पर ध्यान दें

उपरोक्त समझ के स्तरों का एक परिदृश्य है। ध्यान देने के लिए, आइए हम एक स्तर पर शुरू करें। इनपुट और आउटपुट का वर्णन करने से पहले, हम सार का विश्लेषण करेंगे: जिस पर मूल अवधारणाएं, यहां तक कि एक बच्चे के लिए भी, यह अवधारणा आधारित है। लेख में हम अंग्रेजी शब्द अटेंशन का उपयोग करेंगे, क्योंकि इस रूप में यह केरस लाइब्रेरी फ़ंक्शन को कॉल भी है (इसे सीधे इसमें लागू नहीं किया गया है, एक अतिरिक्त मॉड्यूल की आवश्यकता है, लेकिन नीचे उस पर और अधिक)। आगे पढ़ने के लिए, आपको केरेस और अजगर पुस्तकालयों की समझ होनी चाहिए, क्योंकि स्रोत कोड प्रदान किया जाएगा।

ध्यान अंग्रेजी से "ध्यान" के रूप में अनुवाद करता है। यह शब्द सही तरीके से दृष्टिकोण का वर्णन करता है: यदि आप एक मोटर यात्री हैं और फोटो में ट्रैफिक पुलिस जनरल को दिखाया गया है, तो आप फोटो के संदर्भ की परवाह किए बिना, इसे सहजता से महत्व देते हैं। आपको सामान्य रूप से करीब से देखने की संभावना है। आप अपनी आँखें तनाव करते हैं, कंधे की पट्टियों को ध्यान से देखें: उसके पास विशेष रूप से कितने सितारे हैं। यदि सामान्य बहुत लंबा नहीं है, तो उसे अनदेखा करें। अन्यथा, निर्णय लेने में इसे एक महत्वपूर्ण कारक के रूप में मानें। इसी से हमारा दिमाग काम करता है। रूसी संस्कृति में, हमें उच्च रैंकों पर ध्यान देने के लिए पीढ़ियों से प्रशिक्षित किया गया है, हमारा मस्तिष्क स्वचालित रूप से ऐसी वस्तुओं पर उच्च प्राथमिकता देता है।

ध्यान नेटवर्क को यह बताने का एक तरीका है कि आपको न्यूरॉन्स की स्थिति और इनपुट डेटा के आधार पर किसी विशेष परिणाम की संभावना की रिपोर्ट करने के लिए अधिक ध्यान देना चाहिए। कैरस में लागू की गई ध्यान परत स्वयं प्रशिक्षण सेट के आधार पर कारकों की पहचान करती है, जिस पर ध्यान देना नेटवर्क त्रुटि को कम करता है। महत्वपूर्ण कारकों की पहचान त्रुटियों के पीछे प्रसार की विधि के माध्यम से की जाती है, इसी तरह यह कैसे कनवल्शन नेटवर्क के लिए किया जाता है।

प्रशिक्षण में, ध्यान अपनी संभाव्य प्रकृति को प्रदर्शित करता है। तंत्र ही महत्व के तराजू का एक मैट्रिक्स बनाता है। यदि हमने ध्यान को प्रशिक्षित नहीं किया था, तो हम महत्व निर्धारित कर सकते थे, उदाहरण के लिए, अनुभवजन्य (सामान्य रूप से सामान्य से अधिक महत्वपूर्ण)। लेकिन जब हम किसी नेटवर्क को डेटा पर प्रशिक्षित करते हैं, तो नेटवर्क के इनपुट पर प्राप्त डेटा के आधार पर महत्व एक विशेष परिणाम की संभावना का एक कार्य बन जाता है। उदाहरण के लिए, अगर हम ज़ारिस्ट रूस में रहने वाले एक सामान्य से मिलते हैं, तो गौंटलेट्स प्राप्त करने की संभावना अधिक होगी। यह पता लगाने के बाद, यह कई व्यक्तिगत बैठकों के माध्यम से संभव होगा, आंकड़े एकत्र करना। उसके बाद, हमारा मस्तिष्क इस विषय की बैठक के तथ्य पर उचित भार डालेगा और कंधे की पट्टियों और पट्टियों पर मार्कर लगाएगा। यह ध्यान दिया जाना चाहिए कि सेट मार्कर की संभावना नहीं है: अब सामान्य की बैठक आपके लिए पूरी तरह से अलग-अलग परिणाम देगी, इसके अलावा, वजन एक से अधिक हो सकता है। लेकिन, वजन को सामान्य करके संभावना को कम किया जा सकता है।

सीखने की क्रिया में अटेंशन मैकेनिज्म की संभाव्यता प्रकृति मशीन अनुवाद कार्यों में प्रकट होती है। उदाहरण के लिए, हम नेटवर्क को सूचित करते हैं कि रूसी से अंग्रेजी में अनुवाद करते समय, लव शब्द का 90% मामलों में लव के रूप में अनुवाद किया जाता है, 9% मामलों में सेक्स के रूप में, 1% मामलों में अन्यथा। नेटवर्क तुरंत कई विकल्पों को चिह्नित करता है, प्रशिक्षण की सर्वोत्तम गुणवत्ता दिखा रहा है। अनुवाद करते समय, हम नेटवर्क को बताते हैं: "प्यार शब्द का अनुवाद करते समय, अंग्रेजी शब्द लव पर विशेष ध्यान दें, यह भी देखें कि क्या यह अभी भी सेक्स हो सकता है।"

ध्यान दृष्टिकोण पाठ, साथ ही ध्वनि और समय श्रृंखला के साथ काम करने के लिए लागू किया जाता है। पाठ प्रसंस्करण के लिए, आवर्तक तंत्रिका नेटवर्क (RNN, LSTM, GRU) का व्यापक रूप से उपयोग किया जाता है। ध्यान या तो उन्हें पूरक कर सकता है या उन्हें बदल सकता है, नेटवर्क को सरल और तेज आर्किटेक्चर में स्थानांतरित कर सकता है।

ध्यान के सबसे प्रसिद्ध उपयोगों में से एक इसका उपयोग पुनरावृत्ति नेटवर्क को छोड़ने और पूरी तरह से जुड़े मॉडल में स्थानांतरित करने के लिए है। आवर्तक नेटवर्क में कमियों की एक श्रृंखला है: GPU पर प्रशिक्षण प्रदान करने में असमर्थता, तेजी से आने वाली रिट्रेनिंग। अटेंशन मैकेनिज्म का उपयोग करके, हम पूरी तरह से जुड़े नेटवर्क के आधार पर दृश्यों को सीखने में सक्षम नेटवर्क का निर्माण कर सकते हैं, इसे जीपीयू पर प्रशिक्षित कर सकते हैं, ड्रापट का उपयोग कर सकते हैं।

ध्यान आवर्तन नेटवर्क के प्रदर्शन को बेहतर बनाने के लिए व्यापक रूप से उपयोग किया जाता है, उदाहरण के लिए, भाषा से भाषा में अनुवाद के क्षेत्र में। एन्कोडिंग / डिकोडिंग दृष्टिकोण का उपयोग करते समय, जिसे अक्सर आधुनिक एआई में उपयोग किया जाता है (उदाहरण के लिए, वैरिएबल ऑटो-एनकोडर)। जब एनकोडर और डिकोडर के बीच अटेंशन लेयर जोड़ी जाती है, तो नेटवर्क ऑपरेशन के परिणाम में उल्लेखनीय सुधार होता है।

इस लेख में, मैं ध्यान का उपयोग करके विशिष्ट नेटवर्क आर्किटेक्चर का हवाला नहीं देता, यह अलग काम का विषय होगा। ध्यान के सभी संभावित उपयोगों की एक सूची एक अलग लेख के योग्य है।

Kirs आउट ऑफ द बॉक्स में ध्यान को लागू करना

जब आप समझते हैं कि किस प्रकार का दृष्टिकोण है, तो मूल सिद्धांत सीखना बहुत उपयोगी है। लेकिन अक्सर पूर्ण समझ केवल तकनीकी कार्यान्वयन को देखकर आती है। आप डेटा स्ट्रीम देखते हैं जो ऑपरेशन के कार्य को बनाते हैं, यह स्पष्ट हो जाता है कि वास्तव में क्या गणना की गई है। लेकिन सबसे पहले आपको इसे चलाने और "अटेंशन हेल्लो वर्ड" लिखने की जरूरत है।

ध्यान वर्तमान में केरस में ही लागू नहीं है। लेकिन पहले से ही तीसरे पक्ष के कार्यान्वयन हैं, जैसे कि ध्यान-केरस, जिसे गिटब के साथ स्थापित किया जा सकता है। तब आपका कोड बेहद सरल हो जाएगा:

from attention_keras.layers.attention import AttentionLayer attn_layer = AttentionLayer(name='attention_layer') attn_out, attn_states = attn_layer([encoder_outputs, decoder_outputs])

यह कार्यान्वयन अटेंशन नोट विज़ुअलाइज़ेशन फ़ंक्शन का समर्थन करता है। प्रशिक्षित ध्यान देने के बाद, आप एक मैट्रिक्स सिग्नलिंग प्राप्त कर सकते हैं, जो नेटवर्क के अनुसार, इस प्रकार के बारे में विशेष रूप से महत्वपूर्ण है (चित्र- keras लाइब्रेरी पेज से github से चित्र)।

असल में, आपको किसी और चीज की आवश्यकता नहीं है: इस कोड को अपने नेटवर्क में एक स्तर के रूप में शामिल करें और अपने नेटवर्क को सीखने का आनंद लें। किसी भी नेटवर्क, किसी भी एल्गोरिथ्म को वैचारिक स्तर पर (डेटाबेस की तरह) पहले चरण में डिज़ाइन किया गया है, जिसके बाद कार्यान्वयन को लागू करने से पहले तार्किक और भौतिक प्रतिनिधित्व में निर्दिष्ट किया जाता है। यह डिजाइन विधि अभी तक तंत्रिका नेटवर्क के लिए विकसित नहीं की गई है (ओह हां, यह मेरे अगले लेख का विषय होगा)। आप यह नहीं समझ पा रहे हैं कि कनवल्शन लेयर कैसे काम करती है सिद्धांत वर्णित है, आप उनका उपयोग करते हैं।

कम का ध्यान कार्यान्वयन कम

अंत में विषय को समझने के लिए, नीचे हम हुड के तहत ध्यान के कार्यान्वयन पर विस्तार से विश्लेषण करेंगे। अवधारणा अच्छी है, लेकिन यह वास्तव में कैसे काम करती है और परिणाम वास्तव में क्यों कहा गया है?

केरस में ध्यान तंत्र का सबसे सरल कार्यान्वयन केवल 3 लाइनें लेता है:

 inputs = Input(shape=(input_dims,)) attention_probs = Dense(input_dims, activation='softmax', name='attention_probs')(inputs) attention_mul = merge([inputs, attention_probs], output_shape=32, name='attention_mul', mode='mul'

इस मामले में, इनपुट परत को पहली पंक्ति में घोषित किया जाता है, फिर सॉफ्टमेक्स सक्रियण फ़ंक्शन के साथ पूरी तरह से जुड़ी हुई परत आती है जिसमें पहली परत में तत्वों की संख्या के बराबर न्यूरॉन्स की संख्या होती है। तीसरी परत तत्व द्वारा इनपुट डेटा तत्व द्वारा पूरी तरह से जुड़े परत के परिणाम को गुणा करती है।

नीचे पूरा ध्यान वर्ग है, जो थोड़ा अधिक जटिल आत्म-ध्यान तंत्र को लागू करता है, जिसका उपयोग मॉडल में पूर्ण स्तर के स्तर के रूप में किया जा सकता है;

 # Attention class Attention(Layer): def __init__(self, step_dim, W_regularizer=None, b_regularizer=None, W_constraint=None, b_constraint=None, bias=True, **kwargs): self.supports_masking = True self.init = initializers.get('glorot_uniform') self.W_regularizer = regularizers.get(W_regularizer) self.b_regularizer = regularizers.get(b_regularizer) self.W_constraint = constraints.get(W_constraint) self.b_constraint = constraints.get(b_constraint) self.bias = bias self.step_dim = step_dim self.features_dim = 0 super(Attention, self).__init__(**kwargs) def build(self, input_shape): assert len(input_shape) == 3 self.W = self.add_weight((input_shape[-1],), initializer=self.init, name='{}_W'.format(self.name), regularizer=self.W_regularizer, constraint=self.W_constraint) self.features_dim = input_shape[-1] if self.bias: self.b = self.add_weight((input_shape[1],), initializer='zero', name='{}_b'.format(self.name), regularizer=self.b_regularizer, constraint=self.b_constraint) else: self.b = None self.built = True def compute_mask(self, input, input_mask=None): return None def call(self, x, mask=None): features_dim = self.features_dim step_dim = self.step_dim eij = K.reshape(K.dot(K.reshape(x, (-1, features_dim)), K.reshape(self.W, (features_dim, 1))), (-1, step_dim)) if self.bias: eij += self.b eij = K.tanh(eij) a = K.exp(eij) if mask is not None: a *= K.cast(mask, K.floatx()) a /= K.cast(K.sum(a, axis=1, keepdims=True) + K.epsilon(), K.floatx()) a = K.expand_dims(a) weighted_input = x * a return K.sum(weighted_input, axis=1) def compute_output_shape(self, input_shape): return input_shape[0], self.features_dim

यहाँ हम लगभग एक ही चीज़ को देखते हैं जो पूरी तरह से जुड़े केरस परत के माध्यम से ऊपर लागू किया गया था, केवल एक निचले स्तर पर एक गहरे तर्क के माध्यम से प्रदर्शन किया गया था। फ़ंक्शन में एक पैरामीट्रिक स्तर (स्व।) बनाया जाता है, जो तब इनपुट वेक्टर द्वारा स्केलरली गुणा (K.dot) होता है। इस संस्करण में वायर्ड तर्क थोड़ा और अधिक जटिल है: शिफ्ट (यदि पूर्वाग्रह पैरामीटर का खुलासा किया गया है), हाइपरबोलिक स्पर्शरेखा, एक्सपोजर, मास्क (यदि निर्दिष्ट किया गया है), सामान्यीकरण इनपुट वेक्टर बार स्वयं पर लागू होते हैं। तब इनपुट वेक्टर फिर से भारित होता है। परिणाम प्राप्त हुआ। मेरे पास इस उदाहरण में दिए गए तर्क का कोई विवरण नहीं है, मैं कोड पढ़ने के संचालन को पुन: पेश करता हूं। वैसे, अगर आप इस तर्क में किसी प्रकार के गणितीय उच्च-स्तरीय फ़ंक्शन को पहचानते हैं, तो कृपया टिप्पणियों में लिखें।

कक्षा में एक पैरामीटर है "पूर्वाग्रह" अर्थात पूर्वाग्रह। यदि पैरामीटर सक्रिय है, तो घने परत को लागू करने के बाद, अंतिम वेक्टर को "self.b" परत के मापदंडों के वेक्टर में जोड़ा जाएगा, जो न केवल हमारे ध्यान समारोह के लिए "वेट" निर्धारित करने के लिए, बल्कि एक संख्या द्वारा ध्यान स्तर को स्थानांतरित करने के लिए भी संभव बना देगा। जीवन उदाहरण: हम भूतों से डरते हैं, लेकिन उनसे कभी नहीं मिले। इस प्रकार, हम भय -100 अंकों के लिए एक सुधार करते हैं। यही है, केवल अगर डर 100 अंक के लिए बड़े पैमाने पर चला जाता है, तो हम भूतों से बचाने, घोस्टबस्टिंग एजेंसी को बुलाने, डराने वाले उपकरण खरीदने आदि पर निर्णय लेंगे।

निष्कर्ष

ध्यान तंत्र में भिन्नता है। ऊपर की कक्षा में लागू किया गया सबसे सरल अटेंशन विकल्प को सेल्फ अटेंशन कहा जाता है। आत्म-ध्यान एक तंत्र है जो अनुक्रमिक डेटा को संसाधित करने के लिए डिज़ाइन किया गया है, प्रत्येक टाइमस्टैम्प के संदर्भ को ध्यान में रखते हुए। इसका उपयोग अक्सर पाठ्य सूचना के साथ काम करने के लिए किया जाता है। केरेस-सेल्फ-ध्यान पुस्तकालय का आयात करके स्वयं-ध्यान कार्यान्वयन को बॉक्स से बाहर निकाला जा सकता है। ध्यान के अन्य रूप हैं। अंग्रेजी-भाषा की सामग्रियों का अध्ययन करना, 5 से अधिक विविधताओं को गिनना संभव था।

इस अपेक्षाकृत छोटे लेख को लिखते समय, मैंने 10 से अधिक अंग्रेजी भाषा के लेखों का अध्ययन किया। बेशक, मैं इन सभी लेखों से सभी डेटा को 5 पृष्ठों में डाउनलोड करने में सक्षम नहीं था, मैंने सिर्फ "डमी के लिए गाइड" बनाने के लिए एक निचोड़ बनाया। ध्यान तंत्र के सभी बारीकियों को समझने के लिए, आपको 150-200 पृष्ठों की एक पुस्तक की आवश्यकता है। मैं वास्तव में आशा करता हूं कि मैं इस तंत्र के मूल सार को प्रकट करने में सक्षम था ताकि जो लोग मशीन सीखने को समझना शुरू कर रहे हैं वे समझ सकें कि यह सब कैसे काम करता है।

करमा में डमी और कार्यान्वयन के लिए ध्यान दें

रूसी में कृत्रिम बुद्धि पर लेख के बारे में

अवधारणा और आवेदन पर ध्यान दें

Kirs आउट ऑफ द बॉक्स में ध्यान को लागू करना

कम का ध्यान कार्यान्वयन कम

निष्कर्ष

सूत्रों का कहना है

More articles: