सजातीय तंत्रिका नेटवर्क के संचालन का सिद्धांत। बस जटिल के बारे में

डीप न्यूरल नेटवर्क ने कई छवि पहचान कार्यों में सफलता प्राप्त की है, जैसे कि कंप्यूटर दृष्टि और आवाज की पहचान। कन्वर्नल न्यूरल नेटवर्क लोकप्रिय न्यूरल नेटवर्क में से एक है।

मूल रूप से, एक दृढ़ तंत्रिका नेटवर्क को एक तंत्रिका नेटवर्क माना जा सकता है जो एक ही न्यूरॉन के कई समान प्रतियों का उपयोग करता है। यह बड़े मॉडलों की गणना करते समय नेटवर्क को सीमित संख्या में पैरामीटर की अनुमति देता है।


2 डी संवादी तंत्रिका नेटवर्क

एक ही न्यूरॉन की कई प्रतियों के साथ इस तकनीक में गणित और कंप्यूटर विज्ञान में कार्यों के अमूर्त के साथ एक करीबी सादृश्य है। प्रोग्रामिंग के दौरान, फ़ंक्शन को एक बार लिखा जाता है और फिर से उपयोग किया जाता है, आपको विभिन्न स्थानों में एक ही कोड को कई बार लिखने की आवश्यकता नहीं होती है, जो प्रोग्राम के निष्पादन को गति देता है और त्रुटियों की संख्या को कम करता है। इसी तरह, एक दृढ़ तंत्रिका नेटवर्क, एक बार जब यह एक न्यूरॉन को प्रशिक्षित करता है, तो यह कई स्थानों पर उपयोग करता है, जो मॉडल प्रशिक्षण और त्रुटियों को कम करता है।

दृढ़ तंत्रिका नेटवर्क की संरचना

मान लीजिए कि एक कार्य दिया गया है जिसमें ऑडियो से यह अनुमान लगाना आवश्यक है कि ऑडियो फ़ाइल में किसी व्यक्ति की आवाज़ है या नहीं।

इनपुट में, हमें समय में विभिन्न बिंदुओं पर ऑडियो नमूने मिलते हैं। नमूने समान रूप से वितरित किए जाते हैं।



तंत्रिका नेटवर्क के साथ उन्हें वर्गीकृत करने का सबसे आसान तरीका सभी नमूनों को पूरी तरह से जुड़े परत से जोड़ना है। इस मामले में, प्रत्येक इनपुट प्रत्येक न्यूरॉन से जुड़ा होता है।



एक अधिक जटिल दृष्टिकोण डेटा में मौजूद गुणों में कुछ समरूपता को ध्यान में रखता है। हम डेटा के स्थानीय गुणों पर बहुत ध्यान देते हैं: एक निश्चित समय के लिए ध्वनि की आवृत्ति क्या है? बढ़ाना या घटाना? और इसी तरह।

हम हर समय एक ही गुण को ध्यान में रखते हैं। शुरुआत, मध्य और अंत में आवृत्तियों को जानना उपयोगी है। ध्यान दें कि ये स्थानीय गुण हैं, क्योंकि आपको उन्हें परिभाषित करने के लिए केवल एक छोटे ऑडियो अनुक्रम विंडो की आवश्यकता है।

इस प्रकार, न्यूरॉन्स ए का एक समूह बनाना संभव है, जो हमारे डेटा में समय के छोटे खंडों पर विचार करते हैं। एक ऐसे सभी खंडों को देखता है, जो कुछ कार्यों की गणना करता है। फिर, इस दृढ़ परत का उत्पादन एक पूरी तरह से जुड़े परत एफ में खिलाया जाता है।



उपरोक्त उदाहरण में, ए ने केवल दो-बिंदु खंडों को संसाधित किया। यह व्यवहार में दुर्लभ है। आमतौर पर, कनवल्शन लेयर विंडो ज्यादा बड़ी होती है।

निम्नलिखित उदाहरण में, ए इनपुट पर 3 खंड प्राप्त करता है। यह वास्तविक दुनिया के कार्यों के लिए भी संभावना नहीं है, लेकिन, दुर्भाग्य से, ए कनेक्टिंग मल्टीपल इनपुट की कल्पना करना मुश्किल है।



दृढ़ परतों की एक अच्छी संपत्ति यह है कि वे समग्र हैं। आप एक दूसरे को एक परतदार परत के आउटपुट को खिला सकते हैं। प्रत्येक परत के साथ, नेटवर्क उच्च, अधिक सार कार्यों को पता चलता है।

निम्नलिखित उदाहरण में, न्यूरॉन्स बी का एक नया समूह है। बी का उपयोग पिछले एक के ऊपर रखी गई एक और संकेंद्रित परत बनाने के लिए किया जाता है।



संकेंद्रित परतें अक्सर पूलिंग (संयोजन) परतों द्वारा बनाई जाती हैं। विशेष रूप से, एक प्रकार की परत होती है जिसे अधिकतम-पूलिंग कहा जाता है, जो बेहद लोकप्रिय है।

अक्सर, हम उस समय के सटीक क्षण की परवाह नहीं करते हैं जब डेटा में एक उपयोगी संकेत मौजूद होता है। अगर सिग्नल फ्रीक्वेंसी में बदलाव जल्दी या बाद में होता है, तो क्या यह मायने रखता है?

मैक्स-पूलिंग पिछले स्तर के छोटे ब्लॉकों से अधिकतम सुविधाओं को अवशोषित करता है। निष्कर्ष कहता है कि क्या वांछित फ़ंक्शन सिग्नल पिछली परत में मौजूद था, लेकिन वास्तव में जहां नहीं था।

मैक्स-पूलिंग परतें - यह एक "कमी" है। यह डेटा के बड़े टुकड़ों पर काम करने के लिए बाद में संकेंद्रित परतों की अनुमति देता है, क्योंकि मर्ज परत के बाद छोटे पैच इसके सामने बहुत बड़े पैच के अनुरूप होते हैं। वे हमें कुछ बहुत छोटे डेटा परिवर्तनों के लिए भी अपरिवर्तनीय बनाते हैं।



हमारे पिछले उदाहरणों में, एक आयामी सजातीय परतों का उपयोग किया गया था। हालांकि, दृढ़ परतें अधिक मात्रा में डेटा के साथ काम कर सकती हैं। वास्तव में, कॉन्फिडेंशियल न्यूरल नेटवर्क पर आधारित सबसे प्रसिद्ध समाधान पैटर्न की मान्यता के लिए दो-आयामी कॉन्टेक्शनल न्यूरल नेटवर्क का उपयोग करते हैं।



द्वि-आयामी दृढ़ परत में, खंडों को देखने के बजाय, ए पैच पर दिखेगा।

प्रत्येक पैच के लिए, A फ़ंक्शन की गणना करेगा। उदाहरण के लिए, वह एक किनारे, या बनावट, या दो रंगों के बीच की उपस्थिति का पता लगाना सीख सकती है।



पिछले उदाहरण में, दृढ़ परत उत्पादन पूरी तरह से जुड़ा हुआ परत में खिलाया गया था। लेकिन, दो दृढ़ परतों की रचना करना संभव है, जैसा कि एक आयामी मामले में माना जाता था।



हम दो आयामों में अधिकतम-पूलिंग भी कर सकते हैं। यहां हम एक छोटे पैच से अधिकतम सुविधाओं को लेते हैं।

यह इस तथ्य को उबालता है कि जब पूरी छवि पर विचार किया जाता है, तो किनारे तक की सटीक स्थिति, पिक्सेल तक महत्वपूर्ण नहीं है। यह जानना पर्याप्त है कि यह कुछ पिक्सेल के भीतर कहाँ स्थित है।



इसके अलावा, त्रि-आयामी दृढ़ संकल्प नेटवर्क का उपयोग कभी-कभी वीडियो या बल्क डेटा (उदाहरण के लिए, दवा में 3 डी स्कैनिंग) जैसे डेटा के लिए किया जाता है। हालांकि, ऐसे नेटवर्क बहुत व्यापक रूप से उपयोग नहीं किए जाते हैं, और कल्पना करने के लिए बहुत अधिक कठिन है।

इससे पहले, हमने कहा कि ए न्यूरॉन्स का एक समूह है। हम इसमें अधिक सटीक होंगे: A क्या है?
पारंपरिक दृढ़ परतों में, A न्यूरॉन्स का एक समानांतर बंडल है, सभी न्यूरॉन्स समान इनपुट सिग्नल प्राप्त करते हैं और विभिन्न कार्यों की गणना करते हैं।

उदाहरण के लिए, दो-आयामी दृढ़ परत में, एक न्यूरॉन क्षैतिज किनारों, दूसरे, ऊर्ध्वाधर किनारों और एक तीसरे हरे-लाल रंग विरोधाभासों का पता लगा सकता है।



लेख 'नेटवर्क इन नेटवर्क' (लिन एट अल। (2013)) एक नई परत का प्रस्ताव करता है, "Mlpconv"। इस मॉडल में, ए के कई स्तर न्यूरॉन्स हैं, अंतिम परत के साथ इस क्षेत्र के लिए उच्च स्तर के कार्य प्राप्त होते हैं। लेख में, मॉडल प्रभावशाली संदर्भों को प्राप्त करता है, कई नए डेटा स्तर को संदर्भ डेटासेट में सेट करता है।



इस प्रकाशन के प्रयोजनों के लिए, हम मानक संकेंद्रित परतों पर ध्यान केंद्रित करेंगे।

संवादी तंत्रिका नेटवर्क परिणाम

2012 में, एलेक्स क्रेजेव्स्की, इल्या सुतस्क्वर, और ज्योफ हिंटन ने उस समय (क्रिजेव्स्की एट अल।) (2012) में ज्ञात समाधानों की तुलना में मान्यता की गुणवत्ता में एक महत्वपूर्ण सुधार हासिल किया।

प्रगति कई दृष्टिकोणों के संयोजन का परिणाम थी। ग्राफिक प्रोसेसर का उपयोग एक बड़े (2012 के मानकों), गहरे तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए किया गया था। एक नई प्रकार की न्यूरॉन (ReLU) और एक नई तकनीक का उपयोग "ओवरफिटिंग" (ड्रॉपऑउट) नामक समस्या को कम करने के लिए किया गया था। हमने बड़ी संख्या में छवि श्रेणियों (इमेजनेट) के साथ एक बड़े डेटा सेट का उपयोग किया। और निश्चित रूप से, यह एक दृढ़ तंत्रिका नेटवर्क था।
नीचे दिखाया गया आर्किटेक्चर गहरा था। इसमें 5 कन्वेन्शनल लेयर्स, 3 अल्टरनेटिंग पूलिंग और तीन पूरी तरह से कनेक्टेड लेयर्स हैं।



क्रिएज़हव्स्की एट अल से। (2012)
नेटवर्क को हजारों विभिन्न श्रेणियों में फ़ोटो को वर्गीकृत करने के लिए प्रशिक्षित किया गया है।

Krizhevsky एट अल। मॉडल 63% मामलों में सही उत्तर देने में सक्षम था। इसके अलावा, 5 सर्वश्रेष्ठ उत्तरों में से सही उत्तर, 85% पूर्वानुमान हैं!



आइए हम बताएं कि नेटवर्क का पहला स्तर क्या पहचानता है।

याद दिलाएं कि दो जीपीयू के बीच दृढ़ परतों को विभाजित किया गया था। जानकारी प्रत्येक परत के आगे और पीछे नहीं जाती है। यह पता चलता है कि हर बार जब मॉडल शुरू होता है, तो दोनों पक्ष विशेषज्ञ होते हैं।



पहली दृढ़ परत द्वारा प्राप्त फिल्टर। ऊपरी आधा एक GPU पर एक परत से मेल खाती है, दूसरे पर निचला आधा। क्रिएज़हव्स्की एट अल से। (2012)
एक तरफ न्यूरॉन्स काले और सफेद रंग पर ध्यान केंद्रित करते हैं, विभिन्न झुकावों और आकारों के किनारों का पता लगाना सीखते हैं। दूसरी ओर, न्यूरॉन्स, रंग और बनावट के विशेषज्ञ हैं, रंग विरोधाभासों और पैटर्न का पता लगाते हैं। याद रखें कि न्यूरॉन्स को बेतरतीब ढंग से प्रारंभिक किया जाता है। एक भी व्यक्ति नहीं गया और उन्हें बॉर्डर डिटेक्टर के रूप में सेट किया, या उन्हें इस तरह से विभाजित किया। छवि वर्गीकरण नेटवर्क का प्रशिक्षण देते समय यह हुआ।

ये उल्लेखनीय परिणाम (और समय के आसपास अन्य रोमांचक परिणाम) सिर्फ शुरुआत थे। उनके द्वारा जल्दी से कई अन्य कार्यों का पालन किया गया जो संशोधित दृष्टिकोणों का परीक्षण करते थे और धीरे-धीरे परिणामों में सुधार करते थे या उन्हें अन्य क्षेत्रों में लागू करते थे।
कंप्यूटर दृष्टि और आधुनिक पैटर्न मान्यता में संवेगात्मक तंत्रिका नेटवर्क एक महत्वपूर्ण उपकरण हैं।

दृढ़ तंत्रिका नेटवर्क का औपचारिककरण

निविष्टियाँ {xn} और आउटपुट {yn}: के साथ एक आयामी आयामी परत पर विचार करें:



इनपुट के संदर्भ में परिणामों का वर्णन करना अपेक्षाकृत आसान है:

yn = A (x, x + 1, ...)

उदाहरण के लिए, ऊपर के उदाहरण में:

y0 = A (x0, X1)
y1 = A (X1, x2)

इसी तरह, अगर हम इनपुट {xn, m} और आउटपुट {yn, m} के साथ द्वि-आयामी दृढ़ परत पर विचार करते हैं:



नेटवर्क को मूल्यों के दो-आयामी मैट्रिक्स द्वारा दर्शाया जा सकता है।

निष्कर्ष

सजा ऑपरेशन एक शक्तिशाली उपकरण है। गणित में, विभिन्‍न विभिन्‍न प्रसंगों में, विभिन्‍न विभेद समीकरणों के अध्‍ययन से लेकर संभाव्यता के सिद्धांत तक संकल्‍पना प्रचालन होता है। आंशिक रूप से पीडीई में इसकी भूमिका के कारण, भौतिक विज्ञान में दृढ़ विश्वास महत्वपूर्ण है। कंप्यूटर ग्राफिक्स और सिग्नल प्रोसेसिंग जैसे कई एप्लिकेशन क्षेत्रों में भी कन्वेंशन एक महत्वपूर्ण भूमिका निभाता है।