तंत्रिका नेटवर्क के एक सामान्यीकृत सिद्धांत का आधार बनाया गया है

तंत्रिका नेटवर्क की जबरदस्त क्षमता कभी-कभी उनकी अप्रत्याशितता के बराबर होती है। अब गणितज्ञ यह समझने लगे हैं कि तंत्रिका नेटवर्क का आकार उसके काम को कैसे प्रभावित करता है।

जब हम एक गगनचुंबी इमारत का डिजाइन बनाते हैं, तो हम उम्मीद करते हैं कि अंत में यह सभी विशिष्टताओं को पूरा करेगा: कि टॉवर इस तरह के वजन का सामना करने में सक्षम होगा, साथ ही साथ एक निश्चित ताकत का भूकंप भी होगा।

हालांकि, आधुनिक दुनिया की सबसे महत्वपूर्ण तकनीकों में से एक, हम, वास्तव में, नेत्रहीन रूप से डिजाइन करते हैं। हम विभिन्न योजनाओं, अलग-अलग सेटिंग्स के साथ खेलते हैं, लेकिन जब तक हम सिस्टम का ट्रायल रन शुरू नहीं करते, हमें वास्तव में यह पता नहीं है कि यह क्या कर सकता है, या यह काम करने से मना कर देगा।

यह तंत्रिका नेटवर्क तकनीक के बारे में है जो सबसे आधुनिक आधुनिक कृत्रिम बुद्धिमत्ता प्रणालियों को रेखांकित करता है। तंत्रिका नेटवर्क धीरे-धीरे समाज के सबसे बुनियादी क्षेत्रों में आगे बढ़ रहे हैं: वे निर्धारित करते हैं कि हम सामाजिक नेटवर्क पर समाचार फ़ीड से दुनिया के बारे में क्या सीखते हैं, वे डॉक्टरों को निदान करने में मदद करते हैं , और यहां तक ​​कि प्रभावित करते हैं कि क्या एक अपराधी को जेल भेजा जाता है।

और "जो हम जानते हैं उसका सबसे अच्छा वर्णन यह कहना है कि हम व्यावहारिक रूप से कुछ भी नहीं जानते हैं कि तंत्रिका नेटवर्क वास्तव में कैसे काम करते हैं, और उनका वर्णन करने वाला सिद्धांत क्या होना चाहिए," टेक्सास विश्वविद्यालय के गणितज्ञ बोरिस गणिन ने कहा, और फेसबुक एआई रिसर्च में एक अतिथि विशेषज्ञ तंत्रिका नेटवर्क का अध्ययन कर रहा है।

वह स्थिति की तुलना अभी तक एक और क्रांतिकारी तकनीक के विकास से करता है: एक भाप इंजन। प्रारंभ में, भाप इंजन केवल पानी पंप कर सकते थे। फिर उन्होंने भाप इंजनों के लिए इंजन के रूप में काम किया, और आज तंत्रिका नेटवर्क शायद उसी स्तर पर पहुंच गए हैं। वैज्ञानिकों और गणितज्ञों ने ऊष्मप्रवैगिकी का एक सिद्धांत विकसित किया, जिसने उन्हें यह समझने की अनुमति दी कि वास्तव में किसी भी इंजन के अंदर क्या हो रहा है। और अंत में, इस तरह के ज्ञान ने हमें अंतरिक्ष में लाया।

गणेश ने कहा, "पहले तो महान इंजीनियरिंग उपलब्धियां थीं, फिर महान ट्रेनें थीं और फिर इसे रॉकेट से आगे बढ़ने के लिए सैद्धांतिक समझ मिली।"

तंत्रिका नेटवर्क डेवलपर्स के बढ़ते समुदाय में, एक गणितीय पूर्वाग्रह के साथ शोधकर्ताओं का एक छोटा समूह है, जो तंत्रिका नेटवर्क का एक सिद्धांत बनाने की कोशिश कर रहा है, जो यह समझा सकता है कि वे कैसे काम करते हैं और यह सुनिश्चित करते हैं कि एक विशिष्ट कॉन्फ़िगरेशन के तंत्रिका नेटवर्क बनाने के बाद, यह कुछ कार्य कर सकता है।

हालांकि काम एक प्रारंभिक चरण में है, लेकिन पिछले एक साल में, शोधकर्ताओं ने पहले से ही कई वैज्ञानिक पत्र प्रकाशित किए हैं जो तंत्रिका नेटवर्क के रूप और कामकाज के बीच संबंध का विस्तार से वर्णन करते हैं। काम में तंत्रिका नेटवर्क का पूर्ण वर्णन किया गया है, उनकी बहुत नींव तक। वह कारों को चलाने के लिए तंत्रिका नेटवर्क की क्षमता की पुष्टि करने से बहुत पहले दिखाती है कि संख्याओं को गुणा करने की उनकी क्षमता को साबित करना आवश्यक है।

सबसे अच्छा मस्तिष्क नुस्खा

तंत्रिका नेटवर्क मानव मस्तिष्क की नकल करने का प्रयास करते हैं - और अपने काम का वर्णन करने का एक तरीका यह कहना है कि वह छोटे सार को बड़े लोगों में विलय कर देता है। इस दृष्टिकोण से, विचारों की जटिलता को छोटे गर्भपात की संख्या से मापा जाता है जो उन्हें रेखांकित करते हैं, और निम्न-स्तरीय अमूर्त के संयोजन की संख्या उच्च-स्तरीय अमूर्त में - कुत्तों और पक्षियों के बीच अंतर का अध्ययन करने जैसे कार्यों में।

"अगर कोई व्यक्ति कुत्ते को पहचानना सीखता है, तो वह चार पैरों पर कुछ झबरा पहचानना सीखता है," कॉर्नेल विश्वविद्यालय में कंप्यूटर विज्ञान में स्नातक छात्र मैत्र रागु , जो कि Google ब्रेन टीम का सदस्य है। "आदर्श रूप से, हम चाहेंगे कि हमारे तंत्रिका नेटवर्क भी कुछ ऐसा ही करें।"


मैत्रा रागु

अमूर्तता मानव मस्तिष्क में एक प्राकृतिक तरीके से उत्पन्न होती है। तंत्रिका नेटवर्क को इसके लिए काम करना होगा। मस्तिष्क की तरह तंत्रिका नेटवर्क, "न्यूरॉन्स" नामक बिल्डिंग ब्लॉक्स से बने होते हैं, जो एक-दूसरे से विभिन्न तरीकों से जुड़े होते हैं। इसी समय, तंत्रिका नेटवर्क के न्यूरॉन्स, हालांकि मस्तिष्क न्यूरॉन्स की छवि में बने होते हैं, उन्हें पूरी तरह से नकल करने की कोशिश नहीं करते हैं। प्रत्येक न्यूरॉन एक विशेषता या विशेषताओं के संयोजन का प्रतिनिधित्व कर सकता है जिसे तंत्रिका नेटवर्क अमूर्त के प्रत्येक स्तर पर मानता है।

इन न्यूरॉन्स के संयोजन के लिए इंजीनियरों के पास कई विकल्प हैं। उन्हें यह तय करने की आवश्यकता है कि न्यूरॉन्स की एक तंत्रिका नेटवर्क की कितनी परतें होनी चाहिए (अर्थात, इसकी "गहराई" निर्धारित करें)। उदाहरण के लिए, एक तंत्रिका नेटवर्क जो छवियों को पहचानता है। छवि को सिस्टम की पहली परत में शामिल किया गया है। अगली परत पर, नेटवर्क में न्यूरॉन्स हो सकते हैं जो बस छवि के किनारों को पहचानते हैं। अगली परत लाइनों को जोड़ती है और घटता को परिभाषित करती है। अगला एक आकार और बनावट में घटता को जोड़ता है, और अंतिम प्रक्रिया आकृति और बनावट को तय करता है कि वह क्या देख रहा है: प्यारे विशाल!

“विचार यह है कि प्रत्येक परत पिछले एक के कई पहलुओं को जोड़ती है। एक वृत्त कई स्थानों पर एक वक्र है, एक वक्र कई स्थानों पर एक रेखा है, ” डेविड रोल्निक , पेन्सिलवेनिया विश्वविद्यालय के एक गणितज्ञ कहते हैं।

इंजीनियरों को प्रत्येक परत की "चौड़ाई" भी चुननी होती है, जो नेटवर्क में अमूर्तता के प्रत्येक स्तर पर विचार करने वाली विभिन्न विशेषताओं की संख्या के अनुरूप होती है। छवि मान्यता के मामले में, परतों की चौड़ाई लाइनों के प्रकार, घटता या आकार के अनुरूप होगी जो तंत्रिका नेटवर्क प्रत्येक स्तर पर विचार करेगा।

तंत्रिका नेटवर्क की गहराई और चौड़ाई के अलावा, परतों में और उनके बीच न्यूरॉन्स को जोड़ने की विधि का विकल्प है, और प्रत्येक कनेक्शन के लिए वजन का एक विकल्प है।

यदि आप एक विशिष्ट कार्य पूरा करने की योजना बना रहे हैं, तो आप कैसे जानते हैं कि कौन सा तंत्रिका नेटवर्क वास्तुकला इसे सबसे अच्छे तरीके से प्रदर्शित कर सकता है? काफी सामान्य नमूना नियम हैं। छवि मान्यता के साथ समस्याओं के लिए, प्रोग्रामर आमतौर पर "दृढ़" तंत्रिका नेटवर्क का उपयोग करते हैं, परतों के बीच लिंक की प्रणाली जिसमें परत से परत तक दोहराया जाता है। एक प्राकृतिक भाषा - भाषण मान्यता या भाषा पीढ़ी को संसाधित करने के लिए - प्रोग्रामर ने पाया है कि आवर्तक तंत्रिका नेटवर्क सबसे उपयुक्त हैं। उनमें न्यूरॉन्स को न केवल पड़ोसी परतों से न्यूरॉन्स के साथ जोड़ा जा सकता है।

हालांकि, इन सामान्य सिद्धांतों के बाहर, प्रोग्रामर को ज्यादातर प्रायोगिक साक्ष्य पर निर्भर रहना पड़ता है: वे केवल 1,000 विभिन्न तंत्रिका नेटवर्क चलाते हैं और देखते हैं कि कौन सा काम बेहतर है।

"व्यवहार में, इन विकल्पों को अक्सर परीक्षण और त्रुटि के द्वारा बनाया जाता है," गणिन ने कहा। "यह एक जटिल तरीका है, क्योंकि असीम रूप से कई चुनाव होते हैं, और कोई भी नहीं जानता है कि कौन सा सबसे अच्छा होगा।"

सबसे अच्छा विकल्प परीक्षण और त्रुटि विधि पर कम भरोसा करना होगा, और एक विशेष तंत्रिका नेटवर्क वास्तुकला आपको क्या दे सकता है इसकी पूर्व-मौजूदा समझ पर। हाल ही में प्रकाशित कई वैज्ञानिक पत्रों ने इस क्षेत्र को इस दिशा में आगे बढ़ाया है।

“यह काम एक उपयुक्त तंत्रिका नेटवर्क डिजाइन करने के लिए एक रेसिपी बुक की तरह कुछ बनाने के उद्देश्य से है। यदि आप जानते हैं कि आप इसके साथ क्या हासिल करना चाहते हैं, तो आप सही नुस्खा चुन सकते हैं, ”रोलनिक ने कहा।

लसो लाल भेड़

तंत्रिका नेटवर्क वास्तुकला की सबसे सैद्धांतिक सैद्धांतिक गारंटी में से एक तीन दशक पहले दिखाई दी थी। 1989 में, एक कंप्यूटर वैज्ञानिक ने यह साबित कर दिया कि अगर एक तंत्रिका नेटवर्क में केवल एक कम्प्यूटेशनल परत होती है, जिसमें एक असीमित संख्या में न्यूरॉन्स और उनके बीच असीमित संख्या में कनेक्शन हो सकते हैं, तो तंत्रिका नेटवर्क किसी भी कार्य को करने में सक्षम होगा।

यह कमोबेश सामान्य कथन था, जो सहज और विशेष रूप से उपयोगी नहीं था। यह कहने के समान है कि यदि आप एक छवि में असीमित संख्या में रेखाओं को परिभाषित कर सकते हैं, तो आप सभी वस्तुओं को सिर्फ एक परत के साथ भेद कर सकते हैं। सिद्धांत रूप में, यह पूरा हो सकता है, लेकिन इसे व्यवहार में लाने का प्रयास करें।

आज, शोधकर्ता ऐसे विस्तृत और सपाट नेटवर्क को "अभिव्यंजक" कहते हैं, क्योंकि सिद्धांत रूप में वे संभावित इनपुट डेटा (जैसे छवि) और आउटपुट (जैसे छवि विवरण) के बीच संबंधों का एक समृद्ध सेट कवर कर सकते हैं। इसी समय, इन नेटवर्कों को प्रशिक्षित करना बेहद कठिन है, अर्थात, वास्तव में उन्हें इस डेटा को देना असंभव है। उन्हें किसी भी कंप्यूटर की तुलना में अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है।


बोरिस गणिन

हाल ही में, शोधकर्ता यह समझने की कोशिश कर रहे हैं कि आप विपरीत दिशा में जाकर कितनी दूर तक तंत्रिका नेटवर्क प्राप्त कर सकते हैं - उन्हें संकरा (कम न्यूरॉन्स प्रति परत) और गहरा (अधिक परतें) बना सकते हैं। आप केवल 100 अलग-अलग लाइनों को पहचान सकते हैं, लेकिन इनमें से 100 लाइनों को 50 घटों में बदलने के लिए आवश्यक कनेक्शनों को 10 अलग-अलग आकृतियों में जोड़ा जा सकता है, आप अधिकांश वस्तुओं को पहचानने के लिए सभी आवश्यक बिल्डिंग ब्लॉक प्राप्त कर सकते हैं।

पिछले साल उन्होंने जो काम पूरा किया, उसमें एमआइटी के रोलनिक और मैक्स टेगमार्क ने साबित किया कि गहराई बढ़ाने और चौड़ाई कम करने से, समान रूप से कम संख्या में न्यूरॉन्स के साथ समान कार्य करना संभव है। उन्होंने दिखाया कि यदि आप जिस स्थिति में अनुकरण करते हैं, उसमें 100 इनपुट चर होते हैं, तो आप एक ही परत में ^2,100 न्यूरॉन्स या दो परतों में 2,10 न्यूरॉन्स का उपयोग करके समान विश्वसनीयता प्राप्त कर सकते हैं। उन्होंने पाया कि छोटे भागों को लेने और उन्हें अमूर्तता के उच्च स्तर पर संयोजित करने के बजाय एक ही बार में सभी स्तरों को कवर करने की कोशिश करने के फायदे थे।

रोलनिक ने कहा, "तंत्रिका नेटवर्क की गहराई की अवधारणा कई सरल चरणों का प्रदर्शन करके कुछ जटिल व्यक्त करने की संभावना से जुड़ी है।" "यह एक विधानसभा लाइन की तरह दिखता है।"

रोलनिक और टेगमार्क ने तंत्रिका नेटवर्क को एक सरल कार्य करने के लिए मजबूर करके गहराई की उपयोगिता साबित की: बहुपद कार्यों। (ये प्राकृतिक डिग्री के लिए उठाए गए चर के साथ समीकरण हैं, उदाहरण के लिए, y = x ³ + 1)। उन्होंने नेटवर्क को प्रशिक्षित किया, उन्हें समीकरणों के उदाहरण और उनके गुणन के परिणाम दिखाए। फिर उन्होंने तंत्रिका नेटवर्क को समीकरणों के गुणन के परिणाम की गणना करने के लिए कहा जो उन्होंने पहले नहीं देखा था। डीपियर न्यूरल नेटवर्क ने सीखा कि छोटे लोगों की तुलना में बहुत कम न्यूरॉन्स के साथ यह कैसे किया जाता है।

जबकि गुणा करने के लिए हमारी दुनिया को उल्टा करने की संभावना नहीं है, रोल्निक का कहना है कि काम में एक महत्वपूर्ण विचार का वर्णन किया गया था: "अगर एक उथले तंत्रिका नेटवर्क भी गुणा नहीं कर सकता है, तो आपको इसे किसी और चीज़ पर भरोसा नहीं करना चाहिए।"


डेविड रोलनिक

अन्य शोधकर्ता न्यूनतम पर्याप्त चौड़ाई के मुद्दे की जांच कर रहे हैं। सितंबर के अंत में, जेसी जॉनसन , पूर्व में ओक्लाहोमा विश्वविद्यालय के एक गणितज्ञ थे, और अब दवा कंपनी सनोफी के लिए काम करने वाले एक शोधकर्ता ने साबित कर दिया कि कुछ बिंदु पर कोई भी गहराई चौड़ाई की कमी की भरपाई नहीं कर सकती है।

इसे समझने के लिए, मैदान पर मेमनों की कल्पना करें, लेकिन उन्हें पंक रॉक मेमने होने दें: उनमें से प्रत्येक को कई रंगों में से एक में चित्रित किया जाएगा। तंत्रिका नेटवर्क को एक ही रंग की सभी भेड़ों के चारों ओर एक सीमा खींचनी चाहिए। संक्षेप में, यह कार्य छवियों के वर्गीकरण के समान है: एक तंत्रिका नेटवर्क में छवियों का एक सेट होता है (जो कि यह एक बहुआयामी स्थान में बिंदुओं के रूप में प्रदर्शित होता है), और इसे समान समूह बनाने की आवश्यकता होती है।

जॉनसन ने साबित किया कि परतों की चौड़ाई छोटी होने पर, या इनपुट डेटा की मात्रा के बराबर होने पर, एक तंत्रिका नेटवर्क इस कार्य के साथ सामना नहीं करेगा। हमारी प्रत्येक भेड़ को दो इनपुट डेटा द्वारा वर्णित किया जा सकता है: क्षेत्र, x और y पर इसके स्थान के निर्देशांक। फिर तंत्रिका नेटवर्क प्रत्येक भेड़ को रंग से चिह्नित करता है और उसी रंग की भेड़ के चारों ओर एक सीमा खींचता है। इस मामले में, समस्या को हल करने के लिए आपको प्रति परत कम से कम तीन न्यूरॉन्स की आवश्यकता होती है।

अधिक विशेष रूप से, जॉनसन ने दिखाया कि यदि चर की संख्या के लिए चौड़ाई का अनुपात पर्याप्त नहीं है, तो तंत्रिका नेटवर्क बंद छोरों को खींचने में सक्षम नहीं होगा - और एक तंत्रिका नेटवर्क को ऐसे लूप को आकर्षित करना होगा यदि, उदाहरण के लिए, सभी लाल भेड़ें चरागाह के बीच में जमा हुई थीं। "यदि कोई भी परत इनपुट माप की संख्या से अधिक मोटी नहीं है, तो फ़ंक्शन परतों की संख्या की परवाह किए बिना कुछ रूप नहीं बना सकता है," जॉनसन ने कहा।

इस तरह के काम से तंत्रिका नेटवर्क के सिद्धांत के नाभिक का निर्माण शुरू होता है। अब तक, शोधकर्ताओं ने वास्तुकला और कार्यक्षमता के बीच संबंध के बारे में केवल सबसे सरल बयान देने में सक्षम हैं - और ये बयान तंत्रिका नेटवर्क द्वारा हल किए गए कार्यों की संख्या की तुलना में बहुत कम हैं।

इसलिए, यद्यपि तंत्रिका नेटवर्क का सिद्धांत निकट भविष्य में अपने डिजाइन की प्रक्रिया को बदलने में सक्षम नहीं होगा, लेकिन कंप्यूटर कैसे प्रशिक्षित किए जाते हैं, इसके एक नए सिद्धांत के लिए ब्लूप्रिंट बनाया जा रहा है - और इसके परिणाम अंतरिक्ष में जाने वाले व्यक्ति की तुलना में भी अधिक मजबूत होंगे।