न्यूरल नेटवर्क्स और डीप लर्निंग, अध्याय 4: विजुअल प्रूफ जो कि न्यूरल नेटवर्क्स किसी भी फ़ंक्शन की गणना कर सकता है

इस अध्याय में, मैं सार्वभौमिकता प्रमेय की एक सरल और अधिकतर दृश्य व्याख्या देता हूं। इस अध्याय में सामग्री का पालन करने के लिए, आपको पिछले वाले को पढ़ने की ज़रूरत नहीं है। यह एक स्वतंत्र निबंध के रूप में संरचित है। यदि आपके पास एनएस की सबसे बुनियादी समझ है, तो आपको स्पष्टीकरणों को समझने में सक्षम होना चाहिए।


तंत्रिका नेटवर्क के बारे में सबसे आश्चर्यजनक तथ्यों में से एक यह है कि वे किसी भी फ़ंक्शन की गणना कर सकते हैं। अर्थात्, मान लें कि कोई व्यक्ति आपको किसी प्रकार का जटिल और घुमावदार कार्य देता है f (x):



और इस फ़ंक्शन की परवाह किए बिना, इस तरह के एक तंत्रिका नेटवर्क की गारंटी है कि किसी भी इनपुट x के लिए मान f (x) (या इसके करीब कुछ सन्निकटन) इस नेटवर्क का आउटपुट होगा, अर्थात:



यह तब भी काम करता है, जब यह कई चर f = f (x ₁ , ..., x _m ) और कई मानों का एक फ़ंक्शन है। उदाहरण के लिए, यहाँ एक नेटवर्क है जो m = 3 इनपुट और n = 2 आउटपुट के साथ एक फ़ंक्शन की गणना कर रहा है:



यह परिणाम बताता है कि तंत्रिका नेटवर्क की एक निश्चित सार्वभौमिकता है। कोई फर्क नहीं पड़ता कि हम किस फ़ंक्शन की गणना करना चाहते हैं, हम जानते हैं कि एक तंत्रिका नेटवर्क है जो ऐसा कर सकता है।

इसके अलावा, यदि हम आवक और जावक न्यूरॉन्स के बीच एक परत तक नेटवर्क को सीमित करते हैं, तो भी सार्वभौमिकता प्रमेय रखती है - तथाकथित एक छिपी हुई परत में। तो एक बहुत ही सरल वास्तुकला वाले नेटवर्क भी बेहद शक्तिशाली हो सकते हैं।

सार्वभौमिकता प्रमेय तंत्रिका नेटवर्क का उपयोग करने वाले लोगों के लिए अच्छी तरह से जाना जाता है। लेकिन यद्यपि यह ऐसा है, इस तथ्य की समझ इतनी व्यापक नहीं है। और इसके लिए अधिकांश स्पष्टीकरण बहुत तकनीकी रूप से जटिल हैं। उदाहरण के लिए, इस परिणाम को साबित करने वाले पहले पत्रों में से एक में हाहन - बानाच प्रमेय , रेज़्ज़ प्रतिनिधित्व प्रमेय और कुछ फूरियर विश्लेषण का उपयोग किया गया था। यदि आप एक गणितज्ञ हैं, तो आपके लिए इस प्रमाण को समझना आसान है, लेकिन अधिकांश लोगों के लिए यह इतना आसान नहीं है। यह एक अफ़सोस की बात है, क्योंकि सार्वभौमिकता के मूल कारण सरल और सुंदर हैं।

इस अध्याय में, मैं सार्वभौमिकता प्रमेय की एक सरल और अधिकतर दृश्य व्याख्या देता हूं। हम इसे अंतर्निहित विचारों के माध्यम से कदम से कदम मिलेंगे। आप समझेंगे कि तंत्रिका नेटवर्क वास्तव में किसी फ़ंक्शन की गणना क्यों कर सकते हैं। आप इस परिणाम की कुछ सीमाओं को समझेंगे। और आप समझेंगे कि परिणाम गहरे एनएस के साथ कैसे जुड़ा हुआ है।

इस अध्याय में सामग्री का पालन करने के लिए, आपको पिछले वाले को पढ़ने की ज़रूरत नहीं है। यह एक स्वतंत्र निबंध के रूप में संरचित है। यदि आपके पास एनएस की सबसे बुनियादी समझ है, तो आपको स्पष्टीकरणों को समझने में सक्षम होना चाहिए। लेकिन मैं कभी-कभी ज्ञान अंतराल को भरने में मदद करने के लिए पिछले सामग्री के लिंक प्रदान करूंगा।

सार्वभौमिकता प्रमेय अक्सर कंप्यूटर विज्ञान में पाए जाते हैं, इसलिए कभी-कभी हम यह भी भूल जाते हैं कि वे कितने अद्भुत हैं। लेकिन यह अपने आप को याद दिलाने के लायक है: किसी भी मनमाने कार्य की गणना करने की क्षमता वास्तव में आश्चर्यजनक है। लगभग कोई भी प्रक्रिया जिसकी आप कल्पना कर सकते हैं, किसी फ़ंक्शन की गणना करने के लिए कम की जा सकती है। एक संक्षिप्त मार्ग पर आधारित संगीत रचना का नाम खोजने के कार्य पर विचार करें। इसे एक फ़ंक्शन गणना माना जा सकता है। या चीनी पाठ को अंग्रेजी में अनुवाद करने के कार्य पर विचार करें। और इसे एक फ़ंक्शन गणना माना जा सकता है (वास्तव में, कई फ़ंक्शन, चूंकि किसी एकल पाठ के अनुवाद के लिए कई स्वीकार्य विकल्प हैं)। या फिल्म के कथानक का विवरण और mp4 फ़ाइल के आधार पर अभिनय की गुणवत्ता उत्पन्न करने के कार्य पर विचार करें। यह भी, एक निश्चित फ़ंक्शन की गणना के रूप में माना जा सकता है (पाठ अनुवाद विकल्पों के बारे में की गई टिप्पणी यहां भी सही है)। सार्वभौमिकता का मतलब है कि, सिद्धांत रूप में, एनएस इन सभी कार्यों, और कई अन्य लोगों को प्रदर्शन कर सकते हैं।

बेशक, केवल इस तथ्य से कि हम जानते हैं कि चीनी से अंग्रेजी में अनुवाद करने में सक्षम एनएस कहते हैं, यह पालन नहीं करता है कि हमारे पास इस तरह के नेटवर्क को बनाने या यहां तक ​​कि पहचानने के लिए अच्छी तकनीक है। यह प्रतिबंध बुलियन योजनाओं जैसे मॉडल के लिए पारंपरिक सार्वभौमिकता प्रमेयों पर भी लागू होता है। लेकिन, जैसा कि हमने पहले ही इस पुस्तक में देखा है, एनएस में सीखने के कार्यों के लिए शक्तिशाली एल्गोरिदम हैं। लर्निंग एल्गोरिदम और बहुमुखी प्रतिभा का संयोजन एक आकर्षक मिश्रण है। अब तक, पुस्तक में, हमने प्रशिक्षण एल्गोरिदम पर ध्यान केंद्रित किया है। इस अध्याय में, हम बहुमुखी प्रतिभा पर ध्यान केंद्रित करेंगे और इसका क्या मतलब है।

दो टोटके

यह समझाने से पहले कि सार्वभौमिकता प्रमेय क्यों सच है, मैं अनौपचारिक बयान में निहित दो चालों का उल्लेख करना चाहता हूं "एक तंत्रिका नेटवर्क किसी भी फ़ंक्शन की गणना कर सकता है"।

सबसे पहले, इसका मतलब यह नहीं है कि किसी भी फ़ंक्शन की सही गणना करने के लिए नेटवर्क का उपयोग किया जा सकता है। हमें केवल उतना ही अच्छा सन्निकटन मिल सकता है, जितनी हमें आवश्यकता है। छिपे हुए न्यूरॉन्स की संख्या में वृद्धि करके, हम सन्निकटन में सुधार करते हैं। उदाहरण के लिए, मैंने पहले तीन छिपे हुए न्यूरॉन्स का उपयोग करके एक निश्चित फ़ंक्शन f (x) की गणना करने वाले नेटवर्क को चित्रित किया था। अधिकांश कार्यों के लिए, तीन न्यूरॉन्स का उपयोग करके, केवल एक कम गुणवत्ता वाला सन्निकटन प्राप्त किया जा सकता है। छिपे हुए न्यूरॉन्स की संख्या में वृद्धि करके (कहते हैं, पाँच तक), हम आमतौर पर एक बेहतर सन्निकटन प्राप्त कर सकते हैं:



और छिपे हुए न्यूरॉन्स की संख्या को और बढ़ाकर स्थिति में सुधार करना।

इस कथन को स्पष्ट करने के लिए, मान लें कि हमें एक फ़ंक्शन f (x) दिया गया, जिसे हम कुछ आवश्यक सटीकता के साथ गणना करना चाहते हैं।> 0। एक गारंटी है कि पर्याप्त संख्या में छिपे हुए न्यूरॉन्स का उपयोग करते समय, हम हमेशा एक एनएस खोज सकते हैं जिसका आउटपुट g (x) समीकरण को रोकता है। g (x) (f (x) | <ε किसी भी x के लिए। दूसरे शब्दों में, किसी भी संभावित इनपुट मूल्य के लिए वांछित सटीकता के साथ सन्निकटन प्राप्त किया जाएगा।

दूसरी पकड़ यह है कि वर्णित विधि द्वारा किए जा सकने वाले कार्य एक निरंतर वर्ग के हैं। यदि फ़ंक्शन बाधित होता है, अर्थात, यह अचानक तेज कूदता है, तो सामान्य स्थिति में एनएस की मदद से अनुमानित करना असंभव होगा। और यह आश्चर्य की बात नहीं है, क्योंकि हमारे एनएस इनपुट डेटा के निरंतर कार्यों की गणना करते हैं। हालांकि, भले ही जिस फ़ंक्शन की हमें वास्तव में गणना करने की आवश्यकता है वह बंद है, सन्निकटन अक्सर काफी निरंतर होता है। यदि ऐसा है, तो हम एनएस का उपयोग कर सकते हैं। व्यवहार में, यह सीमा आमतौर पर महत्वपूर्ण नहीं है।

नतीजतन, सार्वभौमिकता प्रमेय का एक अधिक सटीक कथन यह होगा कि एक छिपी हुई परत के साथ एनएस का उपयोग किसी भी वांछित सटीकता के साथ किसी भी निरंतर कार्य को अनुमानित करने के लिए किया जा सकता है। इस अध्याय में, हम एक के बजाय दो छिपी परतों का उपयोग करते हुए, इस प्रमेय का थोड़ा कम कठोर संस्करण साबित करते हैं। कार्यों में, मैं संक्षेप में बताऊंगा कि कैसे इस स्पष्टीकरण को छोटे बदलावों के साथ अनुकूलित किया जा सकता है, एक प्रमाण के लिए जो केवल एक छिपी हुई परत का उपयोग करता है।

एक इनपुट और एक आउटपुट मूल्य के साथ बहुमुखी प्रतिभा

यह समझने के लिए कि सार्वभौमिकता प्रमेय क्यों सच है, हम यह समझने के लिए शुरू करते हैं कि केवल एक इनपुट और एक आउटपुट आउटपुट के साथ एक एनएस सन्निकटन फ़ंक्शन कैसे बनाया जाए:



यह पता चला कि यह सार्वभौमिकता के कार्य का सार है। एक बार जब हम इस विशेष मामले को समझ लेते हैं, तो इसे कई इनपुट और आउटपुट मानों के साथ फ़ंक्शन तक विस्तारित करना काफी आसान होगा।

च को गिनने के लिए एक नेटवर्क का निर्माण कैसे करें, इसकी समझ बनाने के लिए, हम एक नेटवर्क की शुरुआत करते हैं जिसमें दो छिपे हुए न्यूरॉन्स के साथ एक एकल छिपी हुई परत होती है, और एक आउटपुट परत के साथ एक आउटपुट न्यूरॉन होता है:



यह कल्पना करने के लिए कि नेटवर्क घटक कैसे काम करते हैं, हम ऊपरी छिपे हुए न्यूरॉन पर ध्यान केंद्रित करते हैं। मूल लेख में आरेख में , आप "डब्ल्यू" पर क्लिक करके माउस के साथ वजन को अंतःक्रियात्मक रूप से बदल सकते हैं और तुरंत देख सकते हैं कि ऊपरी छिपे हुए न्यूरॉन परिवर्तनों की गणना कैसे की जाती है:



जैसा कि हमने किताब में पहले सीखा था, एक छिपा हुआ न्यूरॉन w (wx + b) गिनता है, जहाँ σ (z) + 1 / (1 + e ) ^z ) एक सिग्मॉइड है । अब तक, हमने इस बीजीय रूप का काफी बार उपयोग किया है। हालांकि, सार्वभौमिकता को साबित करने के लिए यह बेहतर होगा यदि हम इस बीजगणित को पूरी तरह से अनदेखा कर दें, और इसके बजाय हेरफेर करें और ग्राफ़ पर आकार का निरीक्षण करें। यह न केवल आपको बेहतर महसूस करने में मदद करेगा कि क्या हो रहा है, बल्कि हमें सिग्मॉइड के अलावा अन्य सक्रियण कार्यों के लिए लागू सार्वभौमिकता का प्रमाण भी देना चाहिए।

कड़ाई से बोलते हुए, मेरे द्वारा चुने गए दृश्य दृष्टिकोण को पारंपरिक रूप से सबूत नहीं माना जाता है। लेकिन मेरा मानना ​​है कि दृश्य दृष्टिकोण पारंपरिक प्रमाण की तुलना में अंतिम परिणाम की सच्चाई में अधिक अंतर्दृष्टि प्रदान करता है। और, ज़ाहिर है, इस तरह की समझ प्रमाण का वास्तविक उद्देश्य है। जिन साक्ष्यों का मैं प्रस्ताव करता हूँ, उनमें अंतराल कभी-कभी आएगा; मैं उचित, लेकिन हमेशा कठोर दृश्य प्रमाण नहीं दूंगा। यदि यह आपको परेशान करता है, तो इन अंतरालों को भरने के लिए अपने काम पर विचार करें। हालांकि, मुख्य लक्ष्य की दृष्टि न खोएं: यह समझने के लिए कि सार्वभौमिकता प्रमेय सत्य क्यों है।

इस प्रमाण के साथ शुरू करने के लिए, मूल आरेख में ऑफसेट बी पर क्लिक करें और इसे बड़ा करने के लिए दाईं ओर खींचें। आप देखेंगे कि ऑफसेट में वृद्धि के साथ, ग्राफ़ बाईं ओर चला जाता है, लेकिन आकार नहीं बदलता है।

फिर ऑफसेट को कम करने के लिए इसे बाईं ओर खींचें। आप देखेंगे कि ग्राफ़ आकार बदलने के बिना दाईं ओर बढ़ रहा है।

वजन 2-3 से कम करें। आप देखेंगे कि जैसे-जैसे वजन घटता है, वक्र सीधा होता है। ताकि वक्र ग्राफ़ से भाग न जाए, आपको ऑफसेट को सही करना पड़ सकता है।

अंत में, वजन को 100 से अधिक मानों तक बढ़ाएं। वक्र स्टिपर बन जाएगा, और अंत में कदम से संपर्क करेगा। ऑफसेट को समायोजित करने का प्रयास करें ताकि इसका कोण बिंदु x = 0.3 के क्षेत्र में हो। नीचे दिया गया वीडियो दिखाता है कि क्या होना चाहिए:



हम वजन को बढ़ाकर अपने विश्लेषण को बहुत सरल कर सकते हैं ताकि आउटपुट वास्तव में चरण फ़ंक्शन का एक अच्छा अनुमान हो। नीचे मैंने वजन w = 999 के लिए ऊपरी छिपे हुए न्यूरॉन के आउटपुट का निर्माण किया। यह एक स्थिर छवि है:



स्टेप फंक्शन्स का उपयोग करना सामान्य सिग्मॉइड की तुलना में थोड़ा आसान है। कारण यह है कि सभी छिपे हुए न्यूरॉन्स से योगदान आउटपुट परत में जोड़ा जाता है। स्टेप फ़ंक्शंस के एक समूह का योग विश्लेषण करना आसान है, लेकिन जब एक कर्व के रूप में वक्रों का एक गुच्छा जोड़ा जाता है, तो इसके बारे में बात करना अधिक कठिन होता है। इसलिए, यह मान लेना बहुत आसान होगा कि हमारे छिपे हुए न्यूरॉन्स स्टेप वाइज कार्य करते हैं। अधिक सटीक रूप से, हम कुछ बहुत बड़े मूल्य पर भार डब्ल्यू को ठीक करके, और फिर ऑफसेट के माध्यम से चरण की स्थिति निर्दिष्ट करते हैं। बेशक, एक आउटपुट के साथ एक चरण फ़ंक्शन के रूप में काम करना एक अनुमान है, लेकिन यह बहुत अच्छा है, और अब तक हम फ़ंक्शन को एक सच्चे चरण फ़ंक्शन के रूप में मानेंगे। बाद में, मैं इस अनुमान से विचलन के प्रभाव पर चर्चा करने के लिए लौटूंगा।

X का मान क्या है? दूसरे शब्दों में, कदम की स्थिति वजन और विस्थापन पर कैसे निर्भर करती है?

प्रश्न का उत्तर देने के लिए, इंटरेक्टिव चार्ट में वजन और ऑफसेट को बदलने का प्रयास करें। क्या आप समझ सकते हैं कि कदम की स्थिति w और b पर कैसे निर्भर करती है? थोड़ा अभ्यास करके, आप अपने आप को समझा सकते हैं कि इसकी स्थिति ख के आनुपातिक है और डब्ल्यू के विपरीत आनुपातिक है।

वास्तव में, कदम s = ,b / w पर है, जैसा कि देखा जाएगा कि क्या हम निम्नलिखित मूल्यों पर वजन और विस्थापन को समायोजित करते हैं:



यदि हम एक ही पैरामीटर के साथ छिपे हुए न्यूरॉन्स का वर्णन करते हैं तो हमारा जीवन बहुत सरल हो जाएगा, एस, अर्थात, कदम की स्थिति से, s = sb / w। निम्नलिखित इंटरैक्टिव आरेख में, आप बस एस बदल सकते हैं:



जैसा कि ऊपर उल्लेख किया गया है, हमने विशेष रूप से इनपुट पर एक वजन डब्ल्यू को एक बहुत बड़े मूल्य पर सौंपा है - बड़े पर्याप्त ताकि चरण फ़ंक्शन एक अच्छा सन्निकटन बन जाए। और हम आसानी से बायर्स b = .ws का चयन करके पैरामीटर किए गए न्यूरॉन को अपने सामान्य रूप में वापस बदल सकते हैं।

अब तक, हमने केवल बेहतर छिपे हुए न्यूरॉन के आउटपुट पर ध्यान केंद्रित किया है। आइए पूरे नेटवर्क के व्यवहार को देखें। मान लीजिए कि छिपे हुए न्यूरॉन्स चरण ₁ (ऊपरी न्यूरॉन) और एस ₂ (कम न्यूरॉन) के मापदंडों द्वारा परिभाषित कदम कार्यों की गणना करते हैं। उनका संबंधित आउटपुट वेट ₁ और डब्ल्यू _{2 है} । यहाँ हमारा नेटवर्क है:



दाईं ओर छिपी हुई परत के भारित आउटपुट w ₁ a ₁ + w ₂ a _{2 का} ग्राफ है। यहां ₁ और ₂ क्रमशः ऊपरी और निचले छिपे हुए न्यूरॉन्स के आउटपुट हैं। उन्हें "ए" द्वारा निरूपित किया जाता है, क्योंकि उन्हें अक्सर न्यूरोनल सक्रियण कहा जाता है।

वैसे, हम ध्यान दें कि पूरे नेटवर्क का आउटपुट w (w ₁ a ₁ + w ₂ a ₂ + b) है, जहां b आउटपुट न्यूरॉन का पूर्वाग्रह है। यह, जाहिर है, छिपी हुई परत के भारित आउटपुट के समान नहीं है, जिस ग्राफ का हम निर्माण कर रहे हैं। लेकिन अभी के लिए, हम छिपी हुई परत के संतुलित आउटपुट पर ध्यान केंद्रित करेंगे, और केवल बाद में हम इस बारे में सोचेंगे कि यह पूरे नेटवर्क के आउटपुट से कैसे संबंधित है।

मूल लेख में इंटरएक्टिव आरेख पर ऊपरी छिपे हुए न्यूरॉन के चरण ₁ को बढ़ाने और घटाने की कोशिश करें । देखें कि यह छिपी हुई परत के भारित आउटपुट को कैसे बदलता है। यह समझने के लिए विशेष रूप से उपयोगी है कि क्या होता है जब s ₁ s ₂ से अधिक हो। आप देखेंगे कि इन मामलों में ग्राफ आकार बदलता है, जैसा कि हम उस स्थिति से आगे बढ़ते हैं जिसमें ऊपरी छिपे हुए न्यूरॉन को पहले उस स्थिति में सक्रिय किया जाता है जिसमें निचले छिपे हुए न्यूरॉन को पहले सक्रिय किया जाता है।

इसी तरह, निचले छिपे हुए न्यूरॉन के एस ₂ चरण _में हेरफेर करने की कोशिश करें और देखें कि यह छिपे हुए न्यूरॉन्स के समग्र आउटपुट को कैसे बदलता है।

आउटपुट वज़न कम करने और बढ़ाने की कोशिश करें। ध्यान दें कि यह इसी छिपे हुए न्यूरॉन्स से योगदान को कैसे मापता है। यदि कोई वजन 0 के बराबर होता है तो क्या होता है?

अंत में, डब्ल्यू ₁ से 0.8 और डब्ल्यू ₂ से -0.8 सेट करने का प्रयास करें। परिणाम एक "फलाव" समारोह है, जिसमें ₁ एस पर एक शुरुआत, ₂ एस पर एक अंत और 0.8 की ऊंचाई है। उदाहरण के लिए, एक भारित आउटपुट इस तरह दिख सकता है:



बेशक, फलाव को किसी भी ऊंचाई तक बढ़ाया जा सकता है। चलो एक पैरामीटर का उपयोग करते हैं, एच, ऊंचाई को दर्शाते हुए। इसके अलावा, सादगी के लिए, मुझे "s ₁ = ..." और "w ₁ = ..." अंकन से छुटकारा मिलेगा।



फलाव की ऊंचाई कैसे बदलती है, यह देखने के लिए h मान को बढ़ाने और घटाने का प्रयास करें। एच को नकारात्मक बनाने की कोशिश करें। यह देखने के लिए चरणों के बिंदुओं को बदलने की कोशिश करें कि यह फलाव के आकार को कैसे बदलता है।

आप देखेंगे कि हम अपने न्यूरॉन्स का उपयोग न केवल ग्राफिक प्राइमेटिव्स के रूप में करते हैं, बल्कि प्रोग्रामर के लिए अधिक परिचित इकाइयों के रूप में भी करते हैं - प्रोग्रामिंग में एक और अगर-तब निर्देश जैसा कुछ:

यदि इनपुट> = कदम की शुरुआत:
भारित आउटपुट में 1 जोड़ें
बाकी:
भारित आउटपुट में 0 जोड़ें

अधिकांश भाग के लिए मैं ग्राफिक संकेतन से चिपका रहूंगा। हालांकि, कभी-कभी यह आपके लिए उपयोगी होगा कि क्या-तब-तब देखने के लिए स्विच करें और इन शर्तों में क्या हो रहा है, उस पर प्रतिबिंबित करें।

हम एक ही नेटवर्क पर एक साथ छिपे हुए न्यूरॉन्स के दो हिस्सों को जोड़कर हमारे फलाव की चाल का उपयोग कर सकते हैं:



यहां मैंने प्रत्येक जोड़ी में छिपे हुए न्यूरॉन्स के लिए एच मूल्यों को लिखकर वज़न गिरा दिया। दोनों एच मूल्यों के साथ खेलने की कोशिश करें और देखें कि यह ग्राफ़ को कैसे बदलता है। चरणों के बिंदुओं को बदलते हुए, टैब को स्थानांतरित करें।

अधिक सामान्य मामले में, इस विचार का उपयोग किसी भी ऊंचाई की चोटियों की वांछित संख्या प्राप्त करने के लिए किया जा सकता है। विशेष रूप से, हम अंतराल [0,1] को बड़ी संख्या में (N) उप-केंद्रों में विभाजित कर सकते हैं, और किसी भी वांछित ऊंचाई की चोटियों को प्राप्त करने के लिए छिपे हुए न्यूरॉन्स के N जोड़े का उपयोग कर सकते हैं। आइए देखें कि यह एन = 5 के लिए कैसे काम करता है। यह पहले से ही काफी न्यूरॉन्स है, इसलिए मैं थोड़ी संकीर्ण प्रस्तुति कर रहा हूं। जटिल आरेख के लिए क्षमा करें - मैं अतिरिक्त अमूर्तता के पीछे की जटिलता को छिपा सकता था, लेकिन यह मुझे लगता है कि यह तंत्रिका नेटवर्क को बेहतर ढंग से महसूस करने के लिए जटिलता के साथ थोड़ी पीड़ा के लायक है।



आप देखते हैं, हमारे पास पांच जोड़े छिपे हुए न्यूरॉन्स हैं। संबंधित जोड़े के चरणों के अंक 0.1 / 5, फिर 1 / 5.2 / 5, और इसी तरह, 4 / 5.5 / 5 तक स्थित हैं। ये मान निश्चित हैं - हमें ग्राफ़ पर समान चौड़ाई के पांच प्रोट्रूशियंस मिलते हैं।

न्यूरॉन्स के प्रत्येक जोड़े के साथ जुड़ा हुआ एक मूल्य एच है। याद रखें कि आउटपुट न्यूरॉन कनेक्शन में वज़न h और -h होता है। चार्ट पर मूल लेख में, आप एच मूल्यों पर क्लिक कर सकते हैं और उन्हें बाएं-दाएं स्थानांतरित कर सकते हैं। जैसे-जैसे ऊंचाई बदलती है, वैसे-वैसे ग्राफ बढ़ता है। आउटपुट वज़न को बदलकर, हम अंतिम फ़ंक्शन का निर्माण करते हैं!

आरेख पर, आप अभी भी ग्राफ़ पर क्लिक कर सकते हैं, और चरणों की ऊंचाई को ऊपर या नीचे खींच सकते हैं। जब आप इसकी ऊंचाई बदलते हैं, तो आप देखते हैं कि संबंधित एच की ऊंचाई कैसे बदलती है। आउटपुट वज़न + h और –h तदनुसार बदलता रहता है। दूसरे शब्दों में, हम सीधे एक फ़ंक्शन में हेरफेर करते हैं जिसका ग्राफ दाईं ओर दिखाया गया है और बाईं ओर एच के मूल्यों में इन परिवर्तनों को देखें। आप प्रोट्रूशियंस में से किसी एक पर माउस बटन को दबाए रख सकते हैं, और फिर माउस को बाएं या दाएं खींचें, और प्रोट्रूशंस वर्तमान ऊंचाई पर समायोजित हो जाएंगे।

यह काम पाने का समय है।

उस फ़ंक्शन को याद करें जिसे मैंने अध्याय की शुरुआत में आकर्षित किया था:



तब मैंने इसका उल्लेख नहीं किया था, लेकिन वास्तव में यह इस तरह दिखता है:

$$

$$f (x) = 0.2 + 0.4 x ^ 2 + 0.3x \ sin (15 x) + 0.05 \ cos (50 x) \ टैग {113}$$

इसका निर्माण x मानों के लिए 0 से 1 तक किया जाता है, और y अक्ष के साथ मान 0 से 1 तक भिन्न होता है।

जाहिर है, यह फ़ंक्शन nontrivial है। और आपको यह पता लगाना होगा कि तंत्रिका नेटवर्क का उपयोग करके इसकी गणना कैसे करें।

ऊपर हमारे तंत्रिका नेटवर्क में, हमने एक भारित संयोजन का विश्लेषण किया _{j जे} डब्ल्यू _जे में छिपे हुए न्यूरॉन आउटपुट का एक _जे । हम जानते हैं कि इस मूल्य पर महत्वपूर्ण नियंत्रण कैसे प्राप्त करें। लेकिन, जैसा कि मैंने पहले उल्लेख किया है, यह मान नेटवर्क आउटपुट के बराबर नहीं है। नेटवर्क का आउटपुट σ (of _j w _{j j} a + b) है, जहां b आउटपुट न्यूरॉन का विस्थापन है। क्या हम नेटवर्क आउटपुट पर सीधे नियंत्रण प्राप्त कर सकते हैं?

समाधान एक तंत्रिका नेटवर्क विकसित करना है जिसमें छिपी हुई परत का भारित आउटपुट समीकरण ⋅ x1 ,f (x) द्वारा दिया जाता है, जहां σ is1 function का व्युत्क्रम फलन होता है। यही है, हम चाहते हैं कि छिपी हुई परत का भारित आउटपुट इस तरह हो:



, f(x) ( 0).

– , , . , . , . . , , . – . , 0,40.



, Reset, . , h , 0,40 .

, , , f(x)! , , , .

, , . , .

, , w=1000.

b=−ws. , , s=0,2 b=−1000×0,2=−200.

h. , , , h, h= -0,2, , -0,2 0,2 . , .

, 0.

: , . , , .

, f(x)=0,2+0,4x ²+ 0.3sin (15x) + 0.05cos (50x) कुछ खास नहीं है। [0,1] से [0,1] के अंतराल पर किसी भी निरंतर कार्य के लिए एक समान प्रक्रिया का उपयोग किया जा सकता है। वास्तव में, हम अपने सिंगल-लेयर NS का उपयोग फंक्शन के लिए लुकअप टेबल बनाने के लिए करते हैं। और हम इस विचार को सार्वभौमिकता का एक सामान्यीकृत प्रमाण प्राप्त करने के लिए एक आधार के रूप में ले सकते हैं।

कई मापदंडों का कार्य

. , . .

, , :



x y, w ₁ w ₂ b . w ₂ 0 , w ₁ , b, , :



, w ₂ =0 y . , x – .

यह देखते हुए, आपको क्या लगता है कि जब हम डब्ल्यू ₁ से डब्ल्यू ₁ = 100 और डब्ल्यू ₂ अवकाश 0 का वजन बढ़ाते हैं, तो क्या होगा ? यदि यह आपके लिए तुरंत स्पष्ट नहीं है, तो इस मुद्दे के बारे में थोड़ा सोचें। फिर निम्न वीडियो देखें, जो दिखाता है कि क्या होगा:



, . , . , , . s _x ≡−b/w1.

, :



, x – w ₁ =1000 – w ₂ =0. – , x , x. , y, y (, w ₂ =1000), x 0, w ₁ =0:



, -, , y , y. x y, , . , y , y , x 0.

. , x. h –h, h – . :



h. , . .

, 0,30 . , . , 0,70, ?

, x. , y, y. , , y, 0 x. , :



! – y . , y, x, y , x – , . , , .

, , , x, y, h:



. x y , , . , .

h. , - , , x y.

« »:



, , :



, . - 2h h.

. , , if-then-else:

if  >= :  1 else:  0 

यह एक-इनपुट न्यूरॉन था। और हमें छिपे हुए न्यूरॉन्स के संयुक्त आउटपुट पर एक समान विचार लागू करने की आवश्यकता है:

  if     >= :  1 else:  0 

यदि हम सही दहलीज चुनते हैं - उदाहरण के लिए, 3h / 2, पठार की ऊंचाई और केंद्रीय टॉवर की ऊंचाई के बीच निचोड़ा हुआ - हम पठार को शून्य तक कुचल सकते हैं, और केवल एक टॉवर छोड़ सकते हैं।

कल्पना कीजिए कि यह कैसे करना है? निम्नलिखित नेटवर्क के साथ प्रयोग करने का प्रयास करें। अब हम पूरे नेटवर्क के आउटपुट की साजिश रच रहे हैं, न कि छिपी हुई परत के भारित आउटपुट की। इसका मतलब है कि हम छिपी हुई परत से भारित आउटपुट में ऑफसेट शब्द जोड़ते हैं, और सिग्मॉयड लागू करते हैं। क्या आप h और b के लिए मान प्राप्त कर सकते हैं जिसके लिए आपको एक टॉवर मिलता है? यदि आप इस बिंदु पर अटक जाते हैं, तो यहां दो युक्तियां दी गई हैं: (1) आउटगोइंग न्यूरॉन के लिए यदि तत्कालीन शैली में सही व्यवहार प्रदर्शित करने के लिए, हमें बड़े होने के लिए आने वाले भार (सभी एच या एच) की आवश्यकता है; (2) b का मान if-then-else थ्रेसहोल्ड के पैमाने को निर्धारित करता है।



डिफ़ॉल्ट मापदंडों के साथ, आउटपुट पिछले आरेख के एक चपटा संस्करण के समान है, एक टॉवर और पठार के साथ। वांछित व्यवहार प्राप्त करने के लिए, आपको h का मान बढ़ाने की आवश्यकता है। यह हमें यदि-तब-तब का थ्रेशोल्ड व्यवहार देगा। दूसरे, दहलीज को सही ढंग से सेट करने के लिए, किसी को b − 23h / 2 चुनना होगा।

यहाँ यह h = 10 के लिए कैसा दिखता है:


यहां तक ​​कि एच के अपेक्षाकृत मामूली मूल्यों के लिए, हमें एक अच्छा टॉवर फ़ंक्शन मिलता है। और, निश्चित रूप से, हम एच को और अधिक बढ़ाकर और पूर्वाग्रह को स्तर b = .3h / 2 पर रखकर एक शानदार रूप से सुंदर परिणाम प्राप्त कर सकते हैं।

चलो दो अलग-अलग टॉवर कार्यों को गिनने के लिए दो नेटवर्क को एक साथ गोंद करने का प्रयास करें। दो सबनेट की संबंधित भूमिकाओं को स्पष्ट करने के लिए, मैंने उन्हें अलग-अलग आयतों में रखा: उनमें से प्रत्येक ऊपर वर्णित तकनीक का उपयोग करके टॉवर फ़ंक्शन की गणना करता है। दाईं ओर का ग्राफ़ दूसरी छिपी हुई परत के भारित आउटपुट को दिखाता है, अर्थात, टॉवर फ़ंक्शंस का भारित संयोजन।



विशेष रूप से, यह देखा जा सकता है कि अंतिम परत में वजन को बदलकर, आप आउटपुट टावरों की ऊंचाई बदल सकते हैं।

एक ही विचार आपको जितने चाहें उतने टॉवर की गणना करने की अनुमति देता है। हम उन्हें मनमाने ढंग से पतला और लंबा बना सकते हैं। नतीजतन, हम गारंटी देते हैं कि दूसरी छिपी परत का भारित आउटपुट दो चर के किसी भी वांछित कार्य का अनुमान लगाता है:



विशेष रूप से, दूसरी छिपी परत के भारित आउटपुट को लगभग ⋅ by1, अच्छी तरह से बनाकर, हम गारंटी देते हैं कि हमारे नेटवर्क का आउटपुट वांछित फ़ंक्शन का एक अच्छा सन्निकटन होगा।

कई चर के कार्यों के बारे में क्या?

आइए तीन चर, x ₁ , x ₂ , x ₃ लेने का प्रयास करें। चार आयामों में टॉवर फ़ंक्शन की गणना करने के लिए निम्नलिखित नेटवर्क का उपयोग किया जा सकता है?



यहां x ₁ , x ₂ , x ₃ नेटवर्क इनपुट को दर्शाते हैं। एस ₁ , टी _1, और इतने पर - न्यूरॉन्स के लिए कदम अंक - यानी, पहली परत में सभी वजन बड़े हैं, और ऑफसेट को सौंपा गया है ताकि चरणों के अंक ₁ , टी ₁ , एस ₂ , ... दूसरी परत वैकल्पिक, + ​​में वजन हो। h, numberh, जहां h कुछ बहुत बड़ी संख्या है। आउटपुट ऑफ़सेट /5h / 2 है।

नेटवर्क तीन स्थितियों में 1 के बराबर एक फ़ंक्शन की गणना करता है: x ₁ , s ₁ और t _{1 के} बीच है; x ₂ s ₂ और t _{2 के} बीच है; x ₃ s ₃ और t _{3 के} बीच है। अन्य सभी स्थानों में नेटवर्क 0 है। यह एक टॉवर है जिसमें 1 प्रवेश स्थान का एक छोटा सा हिस्सा है, और 0 सब कुछ है।

इस तरह के बहुत सारे नेटवर्क को देखते हुए, हम जितने चाहें उतने टावरों को प्राप्त कर सकते हैं, और तीन चर के एक मनमाने ढंग से कार्य कर सकते हैं। एक ही विचार मीटर के आयामों में काम करता है। वांछित मानों को ठीक से निचोड़ने और पठार को हटाने के लिए केवल आउटपुट ऑफ़सेट (+m + 1/2) h को बदल दिया जाता है।

खैर, अब हम जानते हैं कि एनएस का उपयोग कैसे करें कि कई चर के वास्तविक कार्य को अनुमानित करें। वेक्टर फ़ंक्शंस f (x ₁ , ..., x _m )? R ^{n के बारे में} क्या? बेशक, इस तरह के एक समारोह को केवल n अलग वास्तविक कार्यों के रूप में माना जा सकता है f1 (x ₁ , ..., x _m ), f2 (x ₁ , ..., x _m ), और इसी तरह। और फिर हम सिर्फ एक साथ सभी नेटवर्क को गोंद करते हैं। इसलिए इसका पता लगाना आसान है।

कार्य

• हमने देखा कि कैसे एक मनमाना कार्य करने के लिए दो छिपे हुए परतों के साथ तंत्रिका नेटवर्क का उपयोग किया जाता है। क्या आप साबित कर सकते हैं कि यह एक छिपी हुई परत से संभव है? संकेत - केवल दो आउटपुट चर के साथ काम करने की कोशिश करें, और दिखाएं कि: (ए) न केवल एक्स या वाई कुल्हाड़ियों के साथ कदमों के कार्यों को प्राप्त करना संभव है, बल्कि एक मनमाना दिशा में भी; (बी) चरण (ए) से कई निर्माणों को जोड़ना, एक आयताकार टॉवर के बजाय एक दौर के कार्य को अनुमानित करना संभव है; © राउंड टावरों का उपयोग करते हुए, एक मनमाना फ़ंक्शन को अनुमानित करना संभव है। चरण © इस अध्याय में प्रस्तुत सामग्री का उपयोग थोड़ा नीचे करना आसान होगा।

सिग्माइड न्यूरॉन्स से परे जा रहे हैं

हमने सिद्ध किया है कि सिग्मॉइड न्यूरॉन्स का एक नेटवर्क किसी भी फ़ंक्शन की गणना कर सकता है। याद रखें कि एक सिग्मॉइड न्यूरॉन में, इनपुट x ₁ , x ₂ , ... आउटपुट को ∑ ( _{j j} w _j x _j + b) में बदल देते हैं, जहां w _j वजन _होते हैं, b पूर्वाग्रह है, और ig sigmoid है।



क्या होगा यदि हम एक अन्य प्रकार के न्यूरॉन को एक अलग सक्रियण फ़ंक्शन का उपयोग करते हुए देखते हैं, तो (z):



यही है, हम मानते हैं कि अगर एक न्यूरॉन में x ₁ , x ₂ , ... वेट ₁ , w ₂ , ... और बायस b इनपुट पर है, तो आउटपुट में s ( _{j j j j} x _{j j} + b) होगा।

हम इस सक्रियण फ़ंक्शन का उपयोग करने के लिए कदम उठा सकते हैं, जैसे सिग्मॉइड के मामले में। वजन बढ़ाने के लिए आरेख ( मूल लेख में ) का प्रयास करें, कहते हैं, w = 100:





सिग्मॉइड के मामले में, इस वजह से, सक्रियण फ़ंक्शन संपीड़ित होता है, और परिणामस्वरूप चरण फ़ंक्शन का एक बहुत अच्छा सन्निकटन हो जाता है। ऑफ़सेट्स को बदलने का प्रयास करें, और आप देखेंगे कि हम चरण के स्थान को किसी में भी बदल सकते हैं। इसलिए, हम किसी भी वांछित फ़ंक्शन की गणना करने के लिए पहले की समान सभी चाल का उपयोग कर सकते हैं।

काम करने के लिए इसमें (z) क्या गुण होने चाहिए? हमें यह मानने की आवश्यकता है कि s (z) को z → z और z → s के रूप में अच्छी तरह से परिभाषित किया गया है। ये सीमाएं हमारे चरण फ़ंक्शन द्वारा स्वीकार किए गए दो मान हैं। हमें यह मानने की भी जरूरत है कि ये सीमाएं अलग हैं। यदि वे अलग नहीं होते हैं, तो चरण काम नहीं करेंगे, बस एक फ्लैट शेड्यूल होगा! लेकिन अगर सक्रियण फ़ंक्शन s (z) इन गुणों को संतुष्ट करता है, तो इसके आधार पर न्यूरॉन्स गणना के लिए सार्वभौमिक रूप से उपयुक्त हैं।

कार्य

• इससे पहले पुस्तक में, हम एक अलग प्रकार के न्यूरॉन से मिले थे - एक सीधा रैखिक न्यूरॉन, या रेक्टिफ़ाइड रैखिक इकाई, ReLU। समझाएं कि ऐसे न्यूरॉन्स सार्वभौमिकता के लिए आवश्यक शर्तों को संतुष्ट क्यों नहीं करते हैं। बहुमुखी प्रतिभा के प्रमाण प्राप्त करें जो यह दर्शाते हैं कि कंप्यूटिंग के लिए ReLUs सार्वभौमिक रूप से उपयुक्त हैं।
• मान लीजिए कि हम सक्रियण फ़ंक्शन (z) = z के साथ रैखिक न्यूरॉन्स पर विचार कर रहे हैं। बताएं कि रैखिक न्यूरॉन्स सार्वभौमिकता की स्थितियों को संतुष्ट क्यों नहीं करते हैं। दिखाएँ कि ऐसे न्यूरॉन्स का उपयोग सार्वभौमिक कंप्यूटिंग के लिए नहीं किया जा सकता है।

चरण क्रिया को ठीक करें

कुछ समय के लिए, हमने मान लिया कि हमारे न्यूरॉन्स सटीक कदम कार्य करते हैं। यह एक अच्छा सन्निकटन है, लेकिन केवल एक सन्निकटन है। वास्तव में, विफलता का एक संकीर्ण अंतर है, जिसे निम्नलिखित ग्राफ में दिखाया गया है, जहां फ़ंक्शन एक चरण फ़ंक्शन की तरह व्यवहार नहीं करते हैं:



विफलता के इस दौर में, सार्वभौमिकता की मेरी व्याख्या काम नहीं करती है।

असफलता इतनी डरावनी नहीं है। पर्याप्त रूप से बड़े इनपुट वज़न सेट करके, हम इन अंतरालों को मनमाने ढंग से छोटा कर सकते हैं। हम उन्हें चार्ट पर आंख से अदृश्य की तुलना में बहुत छोटा बना सकते हैं। इसलिए शायद हमें इस समस्या के बारे में चिंता करने की ज़रूरत नहीं है।

फिर भी, मैं इसे हल करने के लिए कोई रास्ता निकालना चाहूंगा।

यह पता चला है कि इसे हल करना आसान है। आइए केवल एक इनपुट और आउटपुट के साथ एनएस कार्यों की गणना के लिए इस समाधान को देखें। एक ही विचार बड़ी संख्या में इनपुट और आउटपुट के साथ समस्या को हल करने के लिए काम करेगा।

विशेष रूप से, मान लें कि हम चाहते हैं कि हमारा नेटवर्क कुछ फ़ंक्शन f की गणना करे। पहले की तरह, हम नेटवर्क डिज़ाइन करके ऐसा करने का प्रयास करते हैं ताकि न्यूरॉन्स की छिपी परत का भारित आउटपुट ⋅ ⋅1 σf (x):



यदि हम ऊपर वर्णित तकनीक का उपयोग करते हैं, तो हम छिपे हुए न्यूरॉन्स को फलाव कार्यों के अनुक्रम का उत्पादन करने के लिए मजबूर करेंगे:



बेशक, मैंने विफलता के अंतराल के आकार को अतिरंजित किया, ताकि यह देखना आसान हो। यह स्पष्ट होना चाहिए कि यदि हम प्रोट्रूशियंस के इन सभी कार्यों को जोड़ते हैं, तो हमें विफलता के अंतराल को छोड़कर हर जगह ⋅ ⋅1 σf (x) का काफी अच्छा अनुमान मिलता है।

लेकिन, मान लें कि केवल वर्णित वर्णन का उपयोग करने के बजाय, हम अपने मूल उद्देश्य फ़ंक्शन के आधे हिस्से की गणना करने के लिए छिपे हुए न्यूरॉन्स के एक सेट का उपयोग करते हैं, अर्थात, instead ⋅1 (f (x) / 2। निस्संदेह, यह नवीनतम ग्राफ के स्केल किए गए संस्करण की तरह दिखेगा:



और, मान लीजिए कि हम एक और छिपे हुए न्यूरॉन्स का एक सेट बनाते हैं, जिसका अनुमान लगाने के लिए − ose1 (f (x) / 2 की गणना की जाती है, हालांकि, इसके आधार पर प्रोट्रूशियंस को उनकी आधी चौड़ाई से स्थानांतरित कर दिया जाएगा:



अब हमारे पास σ - 1 (f (x) / 2 के लिए दो अलग-अलग अनुमान हैं। यदि हम इन दो सन्निकटनओं को जोड़ते हैं, तो हम to - 1 (f (x) के लिए एक सामान्य सन्निकटन प्राप्त करते हैं। इस सामान्य सन्निकटन में अभी भी छोटे अंतराल में अशुद्धि होगी। लेकिन समस्या पहले से कम होगी - क्योंकि पहले सन्निकटन की विफलता के अंतराल में पड़ने वाले बिंदु दूसरे सन्निकटन की विफलता के अंतराल में नहीं गिरेंगे। इसलिए, इन अंतरालों में सन्निकटन लगभग 2 गुना बेहतर होगा।

हम फ़ंक्शन की ओवरलैपिंग सन्निकटन की बड़ी संख्या, एम, जोड़कर स्थिति में सुधार कर सकते हैं ⋅ - 1⋅f (x) / एम। यदि उनकी विफलता के सभी अंतराल पर्याप्त संकीर्ण हैं, तो कोई भी चालू उनमें से केवल एक में होगा। यदि आप एम की ओवरलैपिंग सन्निकटन की पर्याप्त संख्या का उपयोग करते हैं, तो परिणाम एक उत्कृष्ट सामान्य सन्निकटन है।

निष्कर्ष

यहाँ चर्चा की गई सार्वभौमिकता की व्याख्या को निश्चित रूप से तंत्रिका नेटवर्क का उपयोग करते हुए कार्यों की गणना करने का एक व्यावहारिक विवरण नहीं कहा जा सकता है! इस अर्थ में, यह नंद तर्क फाटकों और अधिक की बहुमुखी प्रतिभा का प्रमाण है। इसलिए, मैंने मूल रूप से इस डिज़ाइन को स्पष्ट करने में आसान बनाने की कोशिश की और इसके विवरणों को अनुकूलित किए बिना पालन करना आसान है। हालांकि, इस डिजाइन को अनुकूलित करने की कोशिश करना आपके लिए एक दिलचस्प और शिक्षाप्रद अभ्यास हो सकता है।

यद्यपि प्राप्त परिणाम का उपयोग सीधे NS बनाने के लिए नहीं किया जा सकता है, यह महत्वपूर्ण है क्योंकि यह NS का उपयोग करके किसी विशेष फ़ंक्शन की संगणना के प्रश्न को हटा देता है। इस तरह के प्रश्न का उत्तर हमेशा सकारात्मक होगा। इसलिए, यह पूछना सही है कि क्या कोई फ़ंक्शन कम्प्यूटेबल है, लेकिन इसकी गणना करने का सही तरीका क्या है।

हमारे सार्वभौमिक डिजाइन एक मनमाना फ़ंक्शन की गणना करने के लिए केवल दो छिपी हुई परतों का उपयोग करते हैं। जैसा कि हमने चर्चा की, एक ही छिपी परत के साथ एक ही परिणाम प्राप्त करना संभव है। इसे देखते हुए, आप आश्चर्यचकित हो सकते हैं कि हमें गहरी नेटवर्क की आवश्यकता क्यों है, अर्थात बड़ी संख्या में छिपे हुए लेयर वाले नेटवर्क। क्या हम इन नेटवर्क को उथले वाले से बदल नहीं सकते हैं जिनकी एक छिपी हुई परत है?

यद्यपि, सिद्धांत रूप में, यह संभव है, गहरे तंत्रिका नेटवर्क का उपयोग करने के लिए अच्छे व्यावहारिक कारण हैं। जैसा कि अध्याय 1 में वर्णित है, गहरी एनएस में एक पदानुक्रमित संरचना है जो उन्हें पदानुक्रमित ज्ञान का अध्ययन करने के लिए अच्छी तरह से अनुकूलित करने की अनुमति देती है, जो वास्तविक समस्याओं को हल करने के लिए उपयोगी हैं। अधिक विशेष रूप से, पैटर्न मान्यता जैसी समस्याओं को हल करते समय, एक ऐसी प्रणाली का उपयोग करना उपयोगी होता है जो न केवल व्यक्तिगत पिक्सेल को समझता है, बल्कि तेजी से जटिल अवधारणाओं को भी: सीमाओं से लेकर सरल ज्यामितीय आकृतियों और उससे परे, कई वस्तुओं को शामिल करने वाले जटिल दृश्यों तक। बाद के अध्यायों में हम इस तथ्य के पक्ष में साक्ष्य देखेंगे कि गहरे एनएसओ उथले लोगों की तुलना में ज्ञान के ऐसे पदानुक्रमों का अध्ययन करने में बेहतर होंगे। संक्षेप में: सार्वभौमिकता हमें बताती है कि एनएस किसी भी फ़ंक्शन की गणना कर सकता है; अनुभवजन्य साक्ष्य बताते हैं कि कई वास्तविक दुनिया की समस्याओं को हल करने के लिए उपयोगी कार्यों के अध्ययन के लिए गहरे एनएस को बेहतर रूप से अनुकूलित किया गया है।