संवादात्मक तंत्रिका नेटवर्क का परिचय

रूसी में पूर्ण पाठ्यक्रम इस लिंक पर पाया जा सकता है।
इस लिंक पर मूल अंग्रेजी पाठ्यक्रम उपलब्ध है।


हर 2-3 दिनों में नए व्याख्यान निर्धारित होते हैं।

सेबस्टियन के साथ साक्षात्कार

- तो, ​​हम इस कोर्स के तीसरे भाग में फिर से सेबेस्टियन के साथ हैं। सेबस्टियन, मुझे पता है कि आपने दृढ़ तंत्रिका नेटवर्क का उपयोग करके बहुत विकास किया है। क्या आप हमें इन नेटवर्क के बारे में कुछ और बता सकते हैं और वे क्या हैं? मुझे यकीन है कि हमारे पाठ्यक्रम के छात्र बिना किसी कम रुचि के सुनेंगे, क्योंकि इस भाग में उन्हें खुद को दृढ़ नेटवर्क विकसित करना होगा।
- बढ़िया! तो, तथाकथित तंत्रिका नेटवर्क नेटवर्क में संरचना करने के लिए एक शानदार तरीका है, तथाकथित इनविरेंस (अपरिवर्तनीय सुविधाओं का आवंटन) का निर्माण करने के लिए। उदाहरण के लिए, मंच या फोटोग्राफ पर पैटर्न की पहचान का विचार करें, आप यह समझना चाहते हैं कि सेबस्टियन को इस पर चित्रित किया गया है या नहीं। इससे कोई फ़र्क नहीं पड़ता कि मैं किस स्थान पर स्थित हूँ, जहाँ मेरा सिर स्थित है - तस्वीर के केंद्र में या कोने में। मेरे सिर की पहचान, मेरे चेहरे की परवाह किए बिना होनी चाहिए जहां वे छवि में स्थित हैं। यह अदृश्य, स्थान परिवर्तनशीलता है, जो कि दृढ़ तंत्रिका नेटवर्क द्वारा महसूस किया जाता है।
- बहुत बढ़िया! क्या आप हमें बता सकते हैं कि मुख्य कार्य कौन-से संवेदी तंत्रिका नेटवर्क का उपयोग करते हैं?
- चिकित्सीय छवियों सहित ऑडियो और वीडियो के साथ काम करते समय संवेदी तंत्रिका नेटवर्क का काफी कसकर उपयोग किया जाता है। वे भाषा प्रौद्योगिकियों में भी उपयोग किए जाते हैं, जहां विशेषज्ञ भाषा निर्माण को समझने और पुन: पेश करने के लिए गहन सीखने का उपयोग करते हैं। वास्तव में, इस तकनीक के लिए बहुत सारे अनुप्रयोग हैं, मैं यहां तक ​​कहूंगा कि वे अंतहीन हैं! उसकी तकनीक का उपयोग वित्त और किसी अन्य क्षेत्रों में किया जा सकता है।
"मैंने उपग्रह चित्रों का विश्लेषण करने के लिए दृढ़ तंत्रिका नेटवर्क का उपयोग किया है।"
- बढ़िया! मानक कार्य!
- आपको क्या लगता है, क्या हम गहन तंत्रिका विज्ञान को गहन शिक्षा के विकास में अंतिम और सबसे उन्नत उपकरण मान सकते हैं?
- हा! मैंने पहले से ही कभी नहीं कहना कभी नहीं सीखा। हमेशा कुछ नया और अद्भुत होगा!
"तो हम अभी भी काम करना है?" :)
- पर्याप्त काम होगा!
- बहुत बढ़िया! इस कोर्स में, हम भविष्य की मशीन सीखने वाले अग्रदूतों को सिखा रहे हैं। क्या आप हमारे छात्रों के लिए कोई इच्छा रखते हैं इससे पहले कि वे अपना पहला दृढ़ तंत्रिका नेटवर्क बनाना शुरू करें?
- यहां आपके लिए एक दिलचस्प तथ्य है। १ ९ 1989 ९ में संवेदी तंत्रिका नेटवर्क का आविष्कार किया गया था, और यह बहुत समय पहले है! आप में से अधिकांश उस समय पैदा भी नहीं हुए थे, जिसका अर्थ है कि यह उस एल्गोरिथ्म की प्रतिभा नहीं है जो मायने रखता है, लेकिन वह डेटा जो एल्गोरिथ्म पर काम करता है। हम एक ऐसी दुनिया में रहते हैं जहां पैटर्न का विश्लेषण और खोज करने के लिए बहुत सारे डेटा हैं। हमारे पास इस विशाल मात्रा में डेटा का उपयोग करके मानव मन के कार्यों का अनुकरण करने की क्षमता है। जब आप दृढ़ तंत्रिका नेटवर्क पर काम करते हैं, तो सही डेटा खोजने और उन्हें लागू करने पर ध्यान केंद्रित करने की कोशिश करें - देखें कि क्या होता है और कभी-कभी यह वास्तविक जादू हो सकता है, जैसा कि हमारे मामले में हुआ था जब हम त्वचा कैंसर का पता लगाने की समस्या को हल कर रहे थे।
- बढ़िया! खैर, चलो अंत में जादू करने के लिए नीचे उतरो!

परिचय

पिछले पाठ में, हमने सीखा कि कैसे गहरे तंत्रिका नेटवर्क विकसित किए जा सकते हैं जो फैशन MNIST डेटा सेट से कपड़ों के तत्वों की छवियों को वर्गीकृत करने में सक्षम हैं।



तंत्रिका नेटवर्क पर काम करते समय हमने जो परिणाम प्राप्त किए वे प्रभावशाली थे - 88% वर्गीकरण सटीकता। और यह कोड की कुछ पंक्तियों में है (रेखांकन और छवियों के निर्माण के लिए कोड को ध्यान में नहीं रखते हुए)!

model = tf.keras.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28, 1)), tf.keras.layers.Dense(128, activation=tf.nn.relu), tf.keras.layers.Dense(10, activation=tf.nn.softmax) ]) 

 model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) 

 NUM_EXAMPLES = 60000 train_dataset = train_dataset.repeat().shuffle(NUM_EXAMPLES).batch(32) test_dataset = test_dataset.batch(32) 

 model.fit(train_dataset, epochs=5, steps_per_epoch=math.ceil(num_train_examples/32)) 

 test_loss, test_accuracy = model.evaluate(test_dataset, steps=math.ceil(num_test_examples/32)) print(': ', test_accuracy) 

: 0.8782

हमने छिपी हुई परतों में न्यूरॉन्स की संख्या और मॉडल की सटीकता पर प्रशिक्षण पुनरावृत्तियों की संख्या के प्रभाव के साथ भी प्रयोग किया। लेकिन हम इस मॉडल को कैसे बेहतर और अधिक सटीक बनाते हैं? इसे प्राप्त करने का एक तरीका है, संकेंद्रित तंत्रिका नेटवर्क का उपयोग करना, संक्षिप्त SNA। SNA पूरी तरह से जुड़े तंत्रिका नेटवर्क की तुलना में छवि वर्गीकरण की समस्याओं को हल करने में अधिक सटीकता दिखाती है जो हमने पिछली कक्षाओं में सामना किया था। यह इस कारण से है कि एसएनए इतना लोकप्रिय हो गया और यह उनके लिए धन्यवाद था कि मशीन दृष्टि के क्षेत्र में एक तकनीकी सफलता संभव हो गई।

इस पाठ में, हम सीखेंगे कि TensorFlow और Keras का उपयोग करके खरोंच से SNA क्लासिफायर को विकसित करना कितना आसान है। हम उसी फ़ैशन MNIST डेटासेट का उपयोग करेंगे जिसका उपयोग हमने पिछले पाठ में किया था। इस पाठ के अंत में, हम पिछले पाठ नेटवर्क के कपड़ों के तत्वों के वर्गीकरण की सटीकता की तुलना इस पाठ से जुड़े तंत्रिका नेटवर्क के साथ करते हैं।

इससे पहले कि आप विकास में गोता लगाएँ, यह संवेदी तंत्रिका नेटवर्क के कार्य सिद्धांत में थोड़ा गहरा है।

दो मूल अवधारणाओं में तंत्रिका संबंधी नेटवर्क:

• घुमाव
• सबसम्प्लिंग ऑपरेशन (पूलिंग, अधिकतम पूलिंग)

आइए उन पर एक नज़र डालें।

घुमाव

हमारे पाठ के इस भाग में, हम एक तकनीक सीखेंगे जिसे दृढ़ संकल्प कहा जाता है। आइए देखें कि यह कैसे काम करता है।

उदाहरण के लिए, ग्रे के रंगों में एक छवि लें और कल्पना करें कि इसके आयाम ऊंचाई में 6 px और चौड़ाई में 6 px हैं।



हमारा कंप्यूटर छवि को पिक्सेल के दो-आयामी सरणी के रूप में व्याख्या करता है। चूंकि हमारी छवि ग्रे के रंगों में है, प्रत्येक पिक्सेल का मूल्य 0 से 255 तक होगा। 0 - काला, 255 - सफेद।

नीचे दी गई छवि में हम 6px x 6px छवि और संबंधित पिक्सेल मानों का प्रतिनिधित्व देखते हैं:



जैसा कि आप पहले से ही जानते हैं, छवियों के साथ काम करने से पहले, आपको पिक्सेल मानों को सामान्य करने की आवश्यकता होती है - मानों को 0 से 1 के अंतराल पर लाएं। हालांकि, इस उदाहरण में, स्पष्टीकरण की सुविधा के लिए, हम छवि के पिक्सेल मूल्यों को बचाएंगे और उन्हें सामान्य नहीं करेंगे।

सजा का सार मूल्यों का एक और सेट बनाने के लिए है, जिसे कर्नेल या फ़िल्टर कहा जाता है। एक उदाहरण नीचे दी गई छवि में देखा जा सकता है - एक 3 x 3 मैट्रिक्स:



तब हम कर्नेल का उपयोग करके अपनी छवि को स्कैन कर सकते हैं। हमारी छवि के आयाम 6x6px हैं, और कोर 3x3px हैं। आक्षेपिक परत कोर और इनपुट छवि के प्रत्येक अनुभाग पर लागू होती है।

आइए कल्पना करें कि हम एक पिक्सेल पर 25 (3 पंक्ति, 3 कॉलम) के मान के साथ विश्वास करना चाहते हैं और सबसे पहली चीज जो इस पिक्सेल पर कोर को केंद्रित करना है:



छवि में, कोर प्लेसमेंट को पीले रंग में हाइलाइट किया गया है। अब हम केवल उन पिक्सेल मूल्यों को देखेंगे जो हमारे पीले आयत में हैं, जिनमें से आकार हमारे कनवल्शन कोर के आकार के अनुरूप हैं।

अब हम छवि और कर्नेल के पिक्सेल मान लेते हैं, छवि के प्रत्येक पिक्सेल को कर्नेल के संबंधित पिक्सेल से गुणा करते हैं और सभी उत्पाद मूल्यों को जोड़ते हैं, और परिणामी पिक्सेल मान को नई छवि में असाइन करते हैं।







हम अपनी छवि में सभी पिक्सेल के साथ एक समान ऑपरेशन करते हैं। लेकिन सीमाओं पर पिक्सल का क्या होना चाहिए?



इसके कई उपाय हैं। सबसे पहले, हम केवल इन पिक्सेल को अनदेखा कर सकते हैं, लेकिन इस मामले में हम छवि के बारे में जानकारी खो देंगे, जो महत्वपूर्ण हो सकती है, और न्यूनतम छवि मूल से छोटी हो जाएगी। दूसरे, हम केवल उन पिक्सेल के शून्य मानों के साथ "मार" कर सकते हैं जिनके मुख्य मूल्य छवि के दायरे से परे हैं। प्रक्रिया को संरेखण कहा जाता है।



अब जब हमने शून्य पिक्सेल मानों के साथ संरेखण किया है, तो हम पहले की तरह न्यूनतम छवि में अंतिम पिक्सेल के मूल्य की गणना कर सकते हैं।

एक संलयन इनपुट छवि के प्रत्येक भाग में एक कोर (फ़िल्टर) को लागू करने की प्रक्रिया है, एक पूरी तरह से जुड़े परत (घने परत) के साथ सादृश्य द्वारा, हम देखेंगे कि कारेस में दृढ़ संकल्प एक ही परत है।

अब हम कन्टेन्यूअल न्यूरल नेटवर्क्स की दूसरी अवधारणा को देखते हैं - सबसम्पलिंग (पूलिंग, अधिकतम-पूलिंग) का संचालन।

सदस्यता संचालन (पूलिंग, अधिकतम-पूलिंग)

अब हम दूसरे मूलभूत अवधारणा पर विचार करेंगे, जो अंतर्विषयक तंत्रिका नेटवर्क - सबमामलिंग (पूलिंग, अधिकतम-पूलिंग) का संचालन है। सरल शब्दों में, एक सबसम्प्लिंग ऑपरेशन एक छवि को संपीड़ित करने (डाउनसाइज़ करने) की प्रक्रिया है जो पिक्सल के ब्लॉक के मूल्यों को जोड़कर है। आइए देखें कि यह एक ठोस उदाहरण पर कैसे काम करता है।



सबसैंपलिंग ऑपरेशन करने के लिए, हमें इस प्रक्रिया के दो घटकों पर निर्णय लेने की आवश्यकता है - नमूना आकार (आयताकार ग्रिड का आकार) और चरण आकार। इस उदाहरण में, हम एक 3x3 आयताकार ग्रिड और चरण 3 का उपयोग करेंगे। चरण उन पिक्सेल की संख्या निर्धारित करता है जिनके द्वारा सबसैम्पलिंग ऑपरेशन करते समय आयताकार ग्रिड को स्थानांतरित किया जाना चाहिए।

ग्रिड आकार और चरण आकार पर निर्णय लेने के बाद, हमें अधिकतम पिक्सेल मान प्राप्त करने की आवश्यकता है जो चयनित ग्रिड में आता है। उपरोक्त उदाहरण में, मान 1, 0, 4, 8, 2, 5, 20, 13, 25 ग्रिड में आते हैं। अधिकतम मूल्य 25 है। यह मान नई छवि के लिए "स्थानांतरित" है। ग्रिड को 3 पिक्सेल दाईं ओर स्थानांतरित किया जाता है और अधिकतम मूल्य का चयन करने और इसे एक नई छवि में स्थानांतरित करने की प्रक्रिया दोहराई जाती है।



नतीजतन, मूल इनपुट छवि की तुलना में एक छोटी छवि प्राप्त की जाएगी। हमारे उदाहरण में, एक छवि प्राप्त की गई थी जो हमारी मूल छवि का आधा आकार है। आयताकार ग्रिड के आकार और चरण के आकार के आधार पर अंतिम छवि का आकार भिन्न होगा।

आइए देखें कि यह पायथन में कैसे काम करेगा!

सारांश

हम इस तरह के कॉन्सेप्ट्स के साथ कनविक्शन और मैक्सिमम-पूलिंग ऑपरेशन से परिचित हो गए।

कन्वेक्शन एक इमेज में फ़िल्टर ("कोर") लगाने की प्रक्रिया है। अधिकतम मान द्वारा सबसैंपलिंग का संचालन, इस समूह के साथ अधिकतम समूह में पिक्सेल के समूह को जोड़कर एक छवि के आकार को कम करने की प्रक्रिया है।

जैसा कि हम व्यावहारिक भाग में देखेंगे, Conv2D में Conv2D परत का उपयोग करके तंत्रिका परत को तंत्रिका नेटवर्क में जोड़ा जा सकता है। यह परत घने परत के समान है, और इसमें वज़न और ऑफसेट शामिल हैं जो अनुकूलन (चयन) से गुजरते हैं। Conv2D परत में फिल्टर ("कर्नेल") भी होते हैं, जिनमें से मान भी अनुकूलित होते हैं। तो, Conv2D परत में, फ़िल्टर मैट्रिक्स के अंदर के मान वे चर हैं जो अनुकूलन से गुजरते हैं।

कुछ शर्तें जो हम पूरे करने में कामयाब रहे:

• एसएनएस - दृढ़ तंत्रिका नेटवर्क। एक तंत्रिका नेटवर्क जिसमें कम से कम एक दृढ़ परत होती है। एक विशिष्ट SNA में अन्य परतें होती हैं, जैसे कि नमूना परतें और पूरी तरह से जुड़ी हुई परतें।
• कन्वेक्शन एक इमेज में फ़िल्टर ("कोर") लगाने की प्रक्रिया है।
• एक फ़िल्टर (कोर) एक मैट्रिक्स है जो इनपुट डेटा से आकार में छोटा होता है, जिसका उद्देश्य ब्लॉक डेटा में इनपुट डेटा को परिवर्तित करना है।
• संरेखण एक छवि के किनारों पर, सबसे अधिक बार शून्य मान जोड़ने की प्रक्रिया है।
• सैंपलिंग सैंपलिंग ऑपरेशन एक इमेज का साइज कम करने की प्रक्रिया है। उदाहरण के लिए, कई प्रकार की सबसेंम्पलिंग परतें हैं, एक औसतन सबसामेडिंग परत (एक औसत मूल्य का नमूना), हालांकि, अधिकतम मूल्य द्वारा एक सबसम्पलिंग का सबसे अधिक उपयोग किया जाता है।
• अधिकतम मूल्य द्वारा सबसम्पलिंग, सबसैंपलिंग प्रक्रिया है, जिसके दौरान कई मान एकल मान में परिवर्तित हो जाते हैं - नमूनाकरण के बीच अधिकतम।
• चरण - छवि में फ़िल्टर (कोर) द्वारा विस्थापन के पिक्सेल की संख्या।
• नमूनाकरण (डाउनसमलिंग) - छवि के आकार को कम करने की प्रक्रिया।

CoLab: एक सजा हुआ तंत्रिका नेटवर्क का उपयोग कर फैशन MNIST कपड़े तत्वों का वर्गीकरण

हम एक उंगली के चारों ओर चक्कर लगा रहे थे! पिछले भाग के पूरा होने के बाद ही इस व्यावहारिक भाग को करने के लिए समझ में आता है - एक ब्लॉक को छोड़कर सभी कोड समान रहते हैं। हमारे तंत्रिका नेटवर्क की संरचना बदल रही है, और ये चार न्यूरल लेयर और अधिकतम मूल्य (अधिकतम-पूलिंग) में सबसेंपलिंग की परतों के लिए चार अतिरिक्त लाइनें हैं।

 model = tf.keras.Sequential([ tf.keras.layers.Conv2D(32, (3,3), padding='same', activation=tf.nn.relu, input_shape=(28, 28, 1)), tf.keras.layers.MaxPooling2D((2, 2), strides=2), tf.keras.layers.Conv2D(64, (3,3), padding='same', activation=tf.nn.relu), tf.keras.layers.MaxPooling2D((2, 2), strides=2), tf.keras.layers.Flatten(), tf.keras.layers.Dense(128, activation=tf.nn.relu), tf.keras.layers.Dense(10, activation=tf.nn.softmax) ]) 

काम करने के तरीके के सभी विस्तृत विवरण, वे हमें अगले भाग - 4 भागों में देने का वादा करते हैं।

अरे हाँ। प्रशिक्षण चरण में मॉडल की सटीकता 97% के बराबर हो गई (मॉडल को epochs=10 पर "वापस ले लिया गया"), और जब परीक्षणों के लिए निर्धारित डेटा के माध्यम से चल रहा है तो वास्तव में 91% दिखाया गया था। पिछली वास्तुकला के सापेक्ष सटीकता में एक उल्लेखनीय वृद्धि, जहां हमने केवल पूरी तरह से जुड़े परतों का उपयोग किया - 88%।

परिणाम

पाठ के इस भाग में, हमने एक नए प्रकार के तंत्रिका नेटवर्क - दृढ़ तंत्रिका नेटवर्क का अध्ययन किया। हम "सजा" और "अधिकतम-पूलिंग ऑपरेशन" जैसे शब्दों से परिचित हो गए, खरोंच से एक सजा हुआ तंत्रिका नेटवर्क विकसित और प्रशिक्षित किया। परिणामस्वरूप, हमने देखा कि हमारा दृढ़ तंत्रिका नेटवर्क तंत्रिका नेटवर्क की तुलना में अधिक सटीकता पैदा करता है जिसे हमने पिछले पाठ में विकसित किया था।

पीएस नोट अनुवाद के लेखक से।

पाठ्यक्रम को "टेनसॉरफ्लो का उपयोग करके गहन शिक्षा का परिचय" कहा जाता है, इसलिए हम संवेदी तंत्रिका नेटवर्क (परतों) के सिद्धांत के विस्तृत स्पष्टीकरण की कमी के बारे में शिकायत नहीं करेंगे - अगले दो लेख संवेदी तंत्रिका नेटवर्क के संचालन के सिद्धांत और उनकी आंतरिक संरचना के बारे में होंगे (लेख पाठ्यक्रम से संबंधित नहीं हैं, लेकिन क्या हो रहा है इसकी बेहतर समझ के लिए स्टैकऑवरफ्लो प्रतिभागियों द्वारा सिफारिश की गई थी)।

... और मानक कॉल-टू-एक्शन - साइन अप करें, एक प्लस लगाएं और शेयर करें :)
यूट्यूब
तार
VKontakte