👟 👨🏾‍🎓 📡 तंत्रिका नेटवर्क के लिए ALU का एक सरल परिचय: स्पष्टीकरण, भौतिक अर्थ और कार्यान्वयन 🌴 🦉 🦐

हाल ही में, Google DeepMind के शोधकर्ताओं, जिनमें एक प्रसिद्ध कृत्रिम बुद्धिमत्ता वैज्ञानिक, " अंडरस्टैंडिंग डीप लर्निंग, " पुस्तक के लेखक , एंड्रयू ट्रस्क ने एक प्रभावशाली लेख प्रकाशित किया, जो उच्च स्तर की सटीकता के साथ सरल और जटिल संख्यात्मक मूल्यों के मूल्यों को एक्सट्रपलेशन के लिए एक न्यूरल नेटवर्क मॉडल का वर्णन करता है।

इस पोस्ट में मैं NALU (तंत्रिका अंकगणितीय तर्क उपकरणों , NALU) की संरचना, उनके घटकों और पारंपरिक तंत्रिका नेटवर्क से महत्वपूर्ण अंतर के बारे में बताऊंगा। इस लेख का मुख्य लक्ष्य वैज्ञानिकों, प्रोग्रामर और छात्रों के लिए एनएलयू (कार्यान्वयन और विचार दोनों) को सरल और सहज रूप से समझाना है जो तंत्रिका नेटवर्क और गहन सीखने के लिए नए हैं।

लेखक से ध्यान दें : मैं इस विषय के अधिक विस्तृत अध्ययन के लिए मूल लेख को पढ़ने की अत्यधिक सलाह देता हूं।

तंत्रिका नेटवर्क कब गलत हैं?

इस लेख से ली गई छवि ।

सिद्धांत रूप में, तंत्रिका नेटवर्क को लगभग कार्यों को अच्छी तरह से करना चाहिए। वे इनपुट डेटा (कारकों या सुविधाओं) और आउटपुट (लेबल या लक्ष्य) के बीच महत्वपूर्ण पत्राचार की पहचान करने में लगभग हमेशा सक्षम होते हैं। यही कारण है कि तंत्रिका नेटवर्क का उपयोग कई क्षेत्रों में किया जाता है, वस्तु मान्यता और उनके वर्गीकरण से पाठ में भाषण का अनुवाद और गेम एल्गोरिदम को लागू करने के लिए जो विश्व चैंपियन को हरा सकते हैं। कई अलग-अलग मॉडल पहले से ही बनाए गए हैं: दृढ़ और आवर्तक तंत्रिका नेटवर्क, ऑटोकॉडर्स, आदि। तंत्रिका नेटवर्क के नए मॉडल बनाने में सफलता और गहन सीखना अपने आप में एक बड़ा विषय है।

हालांकि, लेख के लेखकों के अनुसार, तंत्रिका नेटवर्क हमेशा उन कार्यों का सामना नहीं करते हैं जो लोगों और यहां तक कि मधुमक्खियों के लिए स्पष्ट लगते हैं ! उदाहरण के लिए, यह एक मौखिक खाता या संख्याओं के साथ संचालन है, साथ ही रिश्तों से निर्भरता की पहचान करने की क्षमता भी है। लेख में दिखाया गया है कि तंत्रिका नेटवर्क के मानक मॉडल समान मैपिंग के साथ भी सामना नहीं कर सकते हैं (एक फ़ंक्शन जो स्वयं में एक तर्क का अनुवाद करता है,

च (x) = x

$च (x) = x$ ) सबसे स्पष्ट संख्यात्मक संबंध है। इस फ़ंक्शन के मूल्यों पर सीखते समय नीचे दिया गया आंकड़ा तंत्रिका नेटवर्क के विभिन्न मॉडलों के MSE को दर्शाता है।

मानक तंत्रिका नेटवर्क के लिए माध्य वर्ग त्रुटि

मानक तंत्रिका नेटवर्क के लिए माध्य वर्ग त्रुटि

यह आंकड़ा मानक तंत्रिका नेटवर्क के लिए समान वर्गाकार त्रुटि को दर्शाता है जो आंतरिक परतों में एक ही वास्तुकला और अलग (गैर-रैखिक) सक्रियण कार्यों का उपयोग करता है

तंत्रिका नेटवर्क गलत क्यों हैं?

जैसा कि आंकड़े से देखा जा सकता है, मिसाइलों का मुख्य कारण तंत्रिका नेटवर्क की आंतरिक परतों पर सक्रियण कार्यों की अशुद्धता है। यह दृष्टिकोण इनपुट डेटा और प्रतिक्रियाओं के बीच गैर-रैखिक संबंधों को निर्धारित करने के लिए बहुत अच्छा काम करता है, लेकिन यह उस डेटा से परे जाने के लिए बहुत गलत है जिस पर नेटवर्क ने सीखा। इस प्रकार, तंत्रिका नेटवर्क प्रशिक्षण डेटा से संख्यात्मक निर्भरता को याद रखने का एक उत्कृष्ट काम करते हैं, लेकिन वे इसे अतिरिक्त रूप से लागू नहीं कर सकते हैं।

यह किसी विषय की समझ के बिना किसी परीक्षा से पहले उत्तर या विषय को रटने जैसा है। यदि परीक्षा होमवर्क के समान है, तो परीक्षा उत्तीर्ण करना आसान है, लेकिन यदि यह उस विषय की समझ है, जिसका परीक्षण किया जा रहा है, और याद रखने की क्षमता नहीं, तो हम असफल होंगे।

हैरी पॉटर

यह पाठ्यक्रम कार्यक्रम में नहीं था!

त्रुटि की डिग्री सीधे चयनित सक्रियण समारोह की गैर-समता के स्तर से संबंधित है। पिछले आरेख में स्पष्ट रूप से दिखाया गया है कि नॉनलाइनियर हार्ड बाधाओं के साथ कार्य करता है, जैसे कि सिग्मॉइड या हाइपरबोलिक टेंज़ेंट ( तनह ), नरम बाधाओं के साथ फ़ंक्शंस के बजाय सामान्य रूप से निर्भरता के कार्य को बहुत कम करता है, जैसे कि एक छोटा रैखिक परिवर्तन ( ELU , PReLU )।

समाधान: तंत्रिका बैटरी (एनएसी)

एक तंत्रिका बैटरी ( NAC ) NALU मॉडल के केंद्र में है। यह एक तंत्रिका नेटवर्क का एक सरल लेकिन प्रभावी हिस्सा है जो इसके अलावा और घटाव का मुकाबला करता है, जो रैखिक संबंधों की कुशल गणना के लिए आवश्यक है।

एनएसी एक तंत्रिका नेटवर्क की एक विशेष रैखिक परत है, जिसके वजन पर एक साधारण स्थिति लगाई जाती है: वे केवल 3 मान ले सकते हैं - 1, 0 या -1 । इस तरह के प्रतिबंध बैटरी को इनपुट डेटा की सीमा को बदलने की अनुमति नहीं देते हैं, और यह नेटवर्क की सभी परतों पर स्थिर रहता है, उनकी संख्या और कनेक्शन की परवाह किए बिना। इस प्रकार, आउटपुट इनपुट वेक्टर के मूल्यों का एक रैखिक संयोजन है , जो आसानी से जोड़ और घटाव ऑपरेशन हो सकता है।

विचार जोर से : इस कथन की बेहतर समझ के लिए, चलो एक तंत्रिका नेटवर्क की परतों के निर्माण का एक उदाहरण देखते हैं जो इनपुट डेटा पर रैखिक अंकगणितीय संचालन करते हैं।

तंत्रिका नेटवर्क में रैखिक एक्सट्रपलेशन

यह आंकड़ा बताता है कि एक स्थिर और बिना भार के संभावित मूल्यों के साथ तंत्रिका नेटवर्क की परतें कैसे -1, 0 या 1 के साथ रेखीय एक्सट्रपलेशन कर सकती हैं

जैसा कि परतों की छवि में ऊपर दिखाया गया है, तंत्रिका नेटवर्क इस तरह के सरल अंकगणितीय कार्यों के मूल्यों को जोड़ना और घटाना सीख सकता है (

y = x_{1} + x_{2}

$y = x_1 + x_2$ और

y = x_{1} - x_{2}

$y = x_1 - x_2$ ), 1, 0 और -1 के संभावित मूल्यों के साथ भार के प्रतिबंध का उपयोग करना।

नोट: इस मामले में एनएसी परत में एक मुक्त शब्द (स्थिरांक) नहीं है और यह डेटा में गैर-रेखीय परिवर्तनों को लागू नहीं करता है।

चूंकि मानक तंत्रिका नेटवर्क समान प्रतिबंधों के तहत समस्या के समाधान का सामना नहीं कर सकते, इसलिए लेख के लेखक शास्त्रीय (असीमित) मापदंडों के माध्यम से ऐसे मापदंडों की गणना के लिए एक बहुत ही उपयोगी सूत्र प्रदान करते हैं।

_{W}

$\ _ {W}$ और

_{म}

$\ _ {म}$ । वजन डेटा, तंत्रिका नेटवर्क के सभी मापदंडों की तरह, नेटवर्क को प्रशिक्षित करने की प्रक्रिया में यादृच्छिक रूप से प्रारंभिक और चयनित किया जा सकता है। वेक्टर की गणना के लिए सूत्र

ड ब ् ल ् य ू

$डब्ल्यू$ के माध्यम से

_{W}

$\ _ {W}$ और

_{म}

$\ _ {म}$ इस तरह दिखता है:

W = t a n h (h a t W) o d o t s i g m a (h a t M)

$W = tanh (\ hat {W}) \ odot \ sigma (\ hat {M})$

सूत्र तत्ववाचक मैट्रिक्स उत्पाद का उपयोग करता है

इस सूत्र का उपयोग करके अंतराल के सीमित मानों की सीमित सीमा की गारंटी देता है [-1, 1], जो सेट -1, 0, 1 के करीब है। साथ ही, इस समीकरण के कार्य वजन मापदंडों द्वारा भिन्न होते हैं। इस प्रकार, हमारी एनएसी परत के लिए मूल्यों को सीखना आसान होगा

ड ब ् ल ् य ू

$डब्ल्यू$ ग्रेडिएंट डिसेंट और एरर के बैक प्रोपोगेशन का उपयोग करना। निम्नलिखित एनएसी परत की वास्तुकला का एक चित्र है।

तंत्रिका बैटरी वास्तुकला

प्राथमिक (रैखिक) अंकगणितीय कार्यों पर प्रशिक्षण के लिए एक तंत्रिका बैटरी की वास्तुकला

टेंसरफ्लो का उपयोग करके पायथन एनएसी कार्यान्वयन

जैसा कि हम पहले ही समझ चुके हैं, एनएसी छोटी सुविधाओं के साथ एक काफी सरल तंत्रिका नेटवर्क (नेटवर्क परत) है। निम्नलिखित Tensoflow और NumPy पुस्तकालयों का उपयोग करके पायथन में एकल NAC परत का कार्यान्वयन है।

पायथन कोड

import numpy as np import tensorflow as tf #    (NAC)  / # ->     / def nac_simple_single_layer(x_in, out_units): '''  : x_in ->   X out_units ->     : y_out ->     W ->     ''' #       in_features = x_in.shape[1] #  W_hat  M_hat W_hat = tf.get_variable(shape=[in_shape, out_units], initializer=tf.initializers.random_uniform(minval=-2, maxval=2), trainable=True, name='W_hat') M_hat = tf.get_variable(shape=[in_shape, out_units], initializer=tf.initializers.random_uniform(minval=-2, maxval=2), trainable=True, name='M_hat') #  W   W = tf.nn.tanh(W_hat) * tf.nn.sigmoid(M_hat) y_out = tf.matmul(x_in, W) return y_out, W

उपरोक्त कोड में

_{W}

$\ _ {W}$ और

_{म}

$\ _ {म}$ समान वितरण का उपयोग करके आरंभ किया जाता है, लेकिन आप इन मापदंडों के लिए प्रारंभिक सन्निकटन उत्पन्न करने की किसी भी अनुशंसित विधि का उपयोग कर सकते हैं। आप मेरे GitHub रिपॉजिटरी में कोड का पूरा संस्करण देख सकते हैं (लिंक पोस्ट के अंत में दोहराया गया है)।

चल रहा है: जटिल अंकगणितीय अभिव्यक्तियों के लिए एनएसी के अलावा और घटाव से

यद्यपि एक सरल तंत्रिका नेटवर्क के मॉडल को ऊपर और घटाव जैसे सरल ऑपरेशन के साथ मुकाबला करने के लिए ऊपर वर्णित किया गया है, हमें और अधिक जटिल कार्यों के कई अर्थों से सीखने में सक्षम होने की आवश्यकता है, जैसे गुणा, विभाजन और घातांक।

नीचे संशोधित एनएसी वास्तुकला है, जिसे लॉगरिदम के माध्यम से अधिक जटिल अंकगणितीय संचालन के चयन और मॉडल के अंदर प्रतिपादक लेने के लिए अनुकूलित किया गया है। इस एनएसी कार्यान्वयन और पहले से ही ऊपर चर्चा की गई के बीच अंतर पर ध्यान दें।

अधिक जटिल अंकगणितीय कार्यों के लिए एनएसी वास्तुकला

जैसा कि आंकड़े से देखा जा सकता है, हम वज़न के मैट्रिक्स से गुणा करने से पहले इनपुट डेटा को लघुगणक करते हैं, और फिर परिणाम के घातांक की गणना करते हैं। गणना के लिए सूत्र निम्नानुसार है:

Y = e x p (W b u l l e t (ल ॉ ग (| x | + e p s i l o n)))

$Y = exp (W \ bullet (लॉग (| x | + \ epsilon)))$

एनएसी के दूसरे संस्करण के लिए आउटपुट फॉर्मूला ।

$\ epsilon$ प्रशिक्षण के दौरान लॉग (0) जैसी स्थितियों को रोकने के लिए यहां बहुत कम संख्या है

इस प्रकार, दोनों एनएसी मॉडल के लिए, ऑपरेशन का सिद्धांत, जिसमें प्रतिबंधों के साथ भार मैट्रिक्स की गणना भी शामिल है

ड ब ् ल ् य ू

$डब्ल्यू$ के माध्यम से

_{W}

$\ _ {W}$ और

_{म}

$\ _ {म}$ नहीं बदलता है। एकमात्र अंतर दूसरे मामले में इनपुट और आउटपुट पर लॉगरिदमिक संचालन का उपयोग है।

टेंसरफ्लो का उपयोग करके पायथन में दूसरा एनएसी संस्करण

कोड, आर्किटेक्चर की तरह, मुश्किल से बदल जाएगा, आउटपुट मानों के दसियों की गणना में इंगित सुधारों को छोड़कर।

पायथन कोड

 #    (NAC)     # ->      ,   ,      def nac_complex_single_layer(x_in, out_units, epsilon=0.000001): ''' :param x_in:   X :param out_units:    :param epsilon:    (,    log(0)   ) :return m:     :return W:     ''' in_features = x_in.shape[1] W_hat = tf.get_variable(shape=[in_shape, out_units], initializer=tf.initializers.random_uniform(minval=-2, maxval=2), trainable=True, name="W_hat") M_hat = tf.get_variable(shape=[in_shape, out_units], initializer=tf.initializers.random_uniform(minval=-2, maxval=2), trainable=True, name="M_hat") #  W   W = tf.nn.tanh(W_hat) * tf.nn.sigmoid(M_hat) #          x_modified = tf.log(tf.abs(x_in) + epsilon) m = tf.exp(tf.matmul(x_modified, W)) return m, W

मैं आपको फिर से याद दिलाता हूं कि कोड का पूरा संस्करण मेरे GitHub रिपॉजिटरी में पाया जा सकता है (लिंक पोस्ट के अंत में दोहराया गया है)।

यह सब एक साथ रखना: एक तंत्रिका अंकगणितीय तर्क इकाई (NALU)

जैसा कि कई पहले ही अनुमान लगा चुके हैं, हम लगभग किसी भी अंकगणितीय ऑपरेशन से सीख सकते हैं, ऊपर चर्चा की गई दो मॉडलों के संयोजन से। यह एनएलयू का मुख्य विचार है , जिसमें प्राथमिक और जटिल एनएसी का भारित संयोजन शामिल है, जिसे प्रशिक्षण संकेत के माध्यम से नियंत्रित किया जाता है। इस प्रकार, एनएसीए एनएलयू के निर्माण के लिए बिल्डिंग ब्लॉक हैं, और यदि आप उनके डिजाइन को समझते हैं, तो एनएलयू का निर्माण आसान होगा। यदि आपके पास अभी भी प्रश्न हैं, तो दोनों एनएसी मॉडल के स्पष्टीकरण को फिर से पढ़ने का प्रयास करें। नीचे NALU वास्तुकला के साथ एक आरेख है।

स्पष्टीकरण के साथ NALU वास्तुकला आरेख

जैसा कि ऊपर दिए गए आंकड़े से देखा जा सकता है, एनएलयू के अंदर दोनों एनएसी इकाइयां (बैंगनी ब्लॉक) प्रशिक्षण सिग्नल सिग्मॉइड (नारंगी ब्लॉक) के माध्यम से प्रक्षेपित (संयुक्त) हैं। यह आपको (डी) अंकगणित फ़ंक्शन के आधार पर उनमें से किसी के आउटपुट को सक्रिय करने की अनुमति देता है, जिसके मूल्य हम खोजने की कोशिश कर रहे हैं।

जैसा कि ऊपर उल्लेख किया गया है, एनएसी प्राथमिक इकाई एक संचय समारोह है, जो एनएलयू को प्राथमिक रैखिक संचालन (जोड़ और घटाव) करने की अनुमति देता है, जबकि जटिल एनएसी इकाई गुणन, विभाजन और घातांक के लिए जिम्मेदार है। NALU में आउटपुट को एक सूत्र के रूप में दर्शाया जा सकता है:

छद्म कोड

 Simple NAC : a = WX Complex NAC: m = exp(W log(|X| + e))  W = tanh(W_hat) * sigmoid(M_hat) #  G -       : g = sigmoid(GX) # , ,   NALU #  *      NALU: y = g * a + (1 - g) * m

ऊपर NALU सूत्र से, हम उस के साथ निष्कर्ष निकाल सकते हैं

g = 0

$g = 0$ तंत्रिका नेटवर्क जटिल अंकगणितीय कार्यों के लिए केवल मूल्यों का चयन करेगा, लेकिन प्राथमिक लोगों के लिए नहीं; और इसके विपरीत - के मामले में

g = 1

$g = 1$ । इस प्रकार, सामान्य तौर पर, NALU किसी भी अंकगणितीय ऑपरेशन को शामिल करने में सक्षम है, जिसमें जोड़, घटाव, गुणा, भाग, और एक शक्ति को ऊपर उठाना और स्रोत डेटा के मूल्यों के अंतराल से परे परिणाम को सफलतापूर्वक अंजाम देना है।

टेंसरफ्लो का उपयोग करके पायथन एनएलयू कार्यान्वयन

एनएलयू के कार्यान्वयन में , हम प्राथमिक और जटिल एनएसी का उपयोग करेंगे, जिसे हमने पहले ही परिभाषित किया है।

पायथन कोड

 def nalu(x_in, out_units, epsilon=0.000001, get_weights=False): ''' :param x_in:   X :param out_units:    :param epsilon:    (,    log(0)   ) :param get_weights:   True      :return y_out:     :return G: o   :return W_simple:    NAC1 ( NAC) :return W_complex:    NAC2 ( NAC) ''' in_features = x_in.shape[1] #     NAC a, W_simple = nac_simple_single_layer(x_in, out_units) #     NAC m, W_complex = nac_complex_single_layer(x_in, out_units, epsilon=epsilon) #    G = tf.get_variable(shape=[in_shape, out_units], initializer=tf.random_normal_initializer(stddev=1.0), trainable=True, name="Gate_weights") g = tf.nn.sigmoid(tf.matmul(x_in, G)) y_out = g * a + (1 - g) * m if(get_weights): return y_out, G, W_simple, W_complex else: return y_out

एक बार फिर, मैंने ध्यान दिया कि उपरोक्त कोड में, मैंने फिर से पैरामीटर मैट्रिक्स को इनिशियलाइज़ किया

ज ी

$जी$ समान वितरण का उपयोग करना, लेकिन आप प्रारंभिक सन्निकटन उत्पन्न करने के लिए किसी भी अनुशंसित तरीके का उपयोग कर सकते हैं।

परिणाम

मेरे लिए व्यक्तिगत रूप से, NALU का विचार AI के क्षेत्र में एक बड़ी सफलता है, विशेष रूप से तंत्रिका नेटवर्क में, और यह आशाजनक लग रहा है। यह दृष्टिकोण आवेदन के उन क्षेत्रों के लिए दरवाजा खोल सकता है जहां मानक तंत्रिका नेटवर्क सामना नहीं कर सके।

लेख के लेखक एनएलयू का उपयोग करते हुए विभिन्न प्रयोगों के बारे में बात करते हैं: एमएनआईएसटी छवियों की एक श्रृंखला में हस्तलिखित अंकों की संख्या की गणना करने के लिए प्रारंभिक अंकगणितीय कार्यों के मूल्यों का चयन करने से, जो कि तंत्रिका नेटवर्क को कंप्यूटर कार्यक्रमों की जांच करने की अनुमति देता है!

परिणाम एक आश्चर्यजनक प्रभाव डालते हैं और साबित करते हैं कि एनएलयू संख्यात्मक प्रतिनिधित्व से संबंधित लगभग किसी भी कार्य से संबंधित है, जो तंत्रिका नेटवर्क के मानक मॉडल से बेहतर है। मैं पाठकों को प्रयोगों के परिणामों से परिचित करने के लिए प्रोत्साहित करता हूं ताकि एनएलयू मॉडल कैसे और कहाँ उपयोगी हो सके, बेहतर ढंग से समझ सकें ।

हालांकि, यह याद रखना चाहिए कि नैक या नालू किसी भी कार्य के लिए आदर्श समाधान नहीं हैं। बल्कि, वे सामान्य विचार का प्रतिनिधित्व करते हैं कि किसी विशेष वर्ग के अंकगणितीय ऑपरेशन के लिए मॉडल कैसे बनाए जाएं।

नीचे मेरे GitHub रिपॉजिटरी का लिंक दिया गया है, जिसमें लेख से कोड का पूर्ण कार्यान्वयन है।
github.com/faizan2786/nalu_implementation

आप स्वतंत्र रूप से एक तंत्रिका नेटवर्क के लिए हाइपरपरमेटर्स का चयन करके विभिन्न कार्यों पर मेरे मॉडल के संचालन की जांच कर सकते हैं। कृपया प्रश्न पूछें और इस पोस्ट के तहत टिप्पणियों में अपने विचार साझा करें, और मैं आपको जवाब देने की पूरी कोशिश करूंगा।

PS (लेखक से): यह मेरी पहली लिखित पोस्ट है, इसलिए यदि आपके पास भविष्य के लिए कोई सुझाव, सुझाव और सिफारिशें हैं (तकनीकी और सामान्य दोनों), तो कृपया मुझे लिखें।

PPS (अनुवादक से): यदि आपके पास अनुवाद या पाठ पर टिप्पणी है, तो कृपया मुझे एक व्यक्तिगत संदेश लिखें। मैं विशेष रूप से सीखे गए गेट सिग्नल के शब्दांकन में रुचि रखता हूं - मुझे यकीन नहीं है कि मैं इस शब्द का सही अनुवाद कर सकता हूं।

तंत्रिका नेटवर्क के लिए ALU का एक सरल परिचय: स्पष्टीकरण, भौतिक अर्थ और कार्यान्वयन

तंत्रिका नेटवर्क कब गलत हैं?

तंत्रिका नेटवर्क गलत क्यों हैं?

समाधान: तंत्रिका बैटरी (एनएसी)

टेंसरफ्लो का उपयोग करके पायथन एनएसी कार्यान्वयन

चल रहा है: जटिल अंकगणितीय अभिव्यक्तियों के लिए एनएसी के अलावा और घटाव से

टेंसरफ्लो का उपयोग करके पायथन में दूसरा एनएसी संस्करण

यह सब एक साथ रखना: एक तंत्रिका अंकगणितीय तर्क इकाई (NALU)

टेंसरफ्लो का उपयोग करके पायथन एनएलयू कार्यान्वयन

परिणाम

More articles: