आईबीएम एक neuromorphic चिप पर काम करने के लिए एक दृढ़ तंत्रिका नेटवर्क को अनुकूलित किया

IBM के अनुसार, TrueNorth सटीकता आज की सबसे अच्छी छवि मान्यता और आवाज पहचान प्रणाली से मिलती है, लेकिन यह कम ऊर्जा का भी उपयोग करती है और तेज होती है। कंपनी की अनुसंधान टीम को भरोसा है कि न्यूरोमोर्फिक माइक्रोक्रिस्केट के साथ दृढ़ नेटवर्क का संयोजन हमें अधिक उन्नत स्मार्ट कार और स्मार्टफोन बनाने की अनुमति देगा, जो किसी व्यक्ति के वॉयस कमांड को सही ढंग से पहचानता है, भले ही वह मुंह से बोलता हो। आइए यह पता लगाने की कोशिश करें कि ट्रू नॉर्थ के फायदे और नुकसान क्या हैं, और यह कहां पाया गया।

मानव मस्तिष्क में लगभग 86 बिलियन न्यूरॉन्स होते हैं - कोशिकाएं जो सिनेप्स की प्रक्रियाओं के माध्यम से हजारों अन्य न्यूरॉन्स से जुड़ती हैं। एक न्यूरॉन कई अन्य लोगों से संकेत प्राप्त करता है, और जब उत्तेजना एक निश्चित सीमा तक पहुंचती है, तो यह आसपास के न्यूरॉन्स को अपना संकेत भेजकर "सक्रिय" करता है। मस्तिष्क, विशेष रूप से, मजबूत बांडों को समायोजित करके सीखता है। जब क्रियाओं का क्रम दोहराया जाता है, उदाहरण के लिए, अभ्यास के माध्यम से, सहवर्ती सिनैप्स मजबूत हो जाते हैं, और पाठ या कौशल ने नेटवर्क में "फिट" सीखा।

1940 के दशक में, वैज्ञानिकों ने गणितीय रूप से न्यूरॉन्स को मॉडल करना शुरू कर दिया, और 50 के दशक में, उन्होंने न्यूरॉन्स और कंप्यूटर के नेटवर्क बनाए। कृत्रिम न्यूरॉन्स और सिनैप्स मस्तिष्क की तुलना में बहुत सरल हैं, लेकिन समान सिद्धांतों पर काम करते हैं। कई साधारण इकाइयां - न्यूरॉन्स - इकाइयों के मूल्यों के आधार पर अपने संख्यात्मक मूल्यों के साथ "सिनेप्स" के माध्यम से दूसरों से जुड़े हुए हैं।

संवेदी तंत्रिका नेटवर्क (CNN) एक विशेष प्रकार का नेटवर्क है जिसने पिछले कुछ वर्षों में लोकप्रियता हासिल की है। CNNs प्रोत्साहन से महत्वपूर्ण विशेषताएं निकालते हैं - आमतौर पर तस्वीरें। उदाहरण के लिए, एक कुत्ते की तस्वीर लें। इसे न्यूरॉन्स की एक परत के रूप में दर्शाया जा सकता है, जहां एक न्यूरॉन की सक्रियता छवि में एक पिक्सेल का प्रतिनिधित्व करती है। अगली परत पर, प्रत्येक न्यूरॉन पहली परत के एक सेट से इनपुट प्राप्त करेगा और सक्रिय करेगा यदि यह इस सेट में एक विशिष्ट पैटर्न का पता लगाता है, एक फिल्टर के रूप में कार्य करता है।

बाद की परतों में, न्यूरॉन्स पैटर्न में पैटर्न की तलाश करेंगे, और इसी तरह। एक परत के भीतर, फिल्टर कुछ संरचनाओं के प्रति संवेदनशील हो सकते हैं। पहले आंकड़ों की सीमाओं तक, फिर पंजे तक, फिर कुत्तों तक, जब तक कि नेटवर्क कुत्ते और टोस्टर के बीच अंतर को निर्धारित नहीं कर सकता।

अब, इस तरह की गणना महंगी हैं। यह देखते हुए कि मानव मस्तिष्क में अरबों न्यूरॉन्स और ट्रिलियन ऑफ सिनैप्स हैं, प्रत्येक की नकल अभी तक संभव नहीं है। यहां तक ​​कि मस्तिष्क के एक छोटे से हिस्से का अनुकरण करने के लिए प्रत्येक इनपुट तत्व के लिए लाखों गणनाओं की आवश्यकता होगी, जिसके लिए भारी प्रसंस्करण शक्ति की आवश्यकता होती है। सबसे बड़े आधुनिक सीएनएन में लाखों न्यूरॉन्स और अरबों सिनैप्स हो सकते हैं, लेकिन अब और नहीं।

केंद्रीय प्रोसेसर का शास्त्रीय कंप्यूटिंग आर्किटेक्चर, जो एक समय में एक निर्देश को संसाधित करने के लिए डिज़ाइन किया गया है, सीएनएन द्वारा लगाए जाने वाले कार्यों के लिए उपयुक्त नहीं है। इसलिए, वैज्ञानिकों ने समानांतर कंप्यूटिंग की ओर रुख किया, जो एक साथ कई प्रक्रियाएं कर सकता है। आधुनिक तंत्रिका नेटवर्क ग्राफिक्स प्रोसेसर का उपयोग करते हैं, जो आमतौर पर वीडियो गेम और सीएडी के ग्राफिक्स की गणना करते हैं। वास्तुकला और गणितीय गणना की समानता के कारण, वीडियो कार्ड गहरी सीखने के लिए उपयुक्त हैं।

लेकिन फिर भी, हार्डवेयर मस्तिष्क के रूप में प्रभावी रूप से गहन सीखने का सामना नहीं करता है, जो एक कार चला सकता है और साथ ही एक स्वायत्त वाहनों के भविष्य के बारे में बात करता है, जबकि एक प्रकाश बल्ब की तुलना में कम ऊर्जा की खपत होती है।

1980 के दशक में, इंजीनियर कार्वर मीड ने "न्यूरोमोर्फिक प्रोसेसर" शब्द का उपयोग कंप्यूटर चिप्स का वर्णन करने के लिए किया जो एक मस्तिष्क की तरह काम करते हैं। उनके काम ने इस क्षेत्र की नींव रखी। यद्यपि शब्द "न्यूरोमॉर्फिक" अब समाधानों की एक विस्तृत श्रृंखला पर लागू होता है, वे सभी हार्डवेयर स्तर पर तंत्रिका नेटवर्क के संचालन के तंत्र को दोहराने की कोशिश करते हैं, जो पारंपरिक प्रोसेसर मुठभेड़ में आने वाली बाधाओं से बचते हैं।

तेजी से और कुशल मशीन सीखने की आवश्यकता को देखते हुए, यूएस डिपार्टमेंट ऑफ डिफेंस एडवांस्ड प्रोजेक्ट्स ऑफिस (इसके संक्षिप्त DARPA द्वारा बेहतर रूप से जाना जाता है) ने सक्रिय रूप से स्केल किए जा सकने वाले न्यूरोमाफिक मशीनों को विकसित करने के लिए 2008 से आईबीएम एचआरएल लैबोरेट्रीज कॉर्पोरेट लैब को सक्रिय रूप से वित्त पोषित किया है।

TrueNorth

2014 में, आईबीएम ने साइंस पत्रिका के कवर पर अपना TrueNorth चिप पेश किया । तब से, कंपनी अमेरिकी ऊर्जा विभाग, वायु सेना, और सेना से वित्तीय सहायता के साथ TrueNorth- आधारित सिस्टम विकसित कर रही है। ऐसी एक चिप में एक लाख "न्यूरॉन्स" होते हैं, जिनमें से प्रत्येक को डिजिटल ट्रांजिस्टर के एक समूह द्वारा दर्शाया जाता है, और 256 मिलियन "सिंकैप्स" - चिप्स के बीच वायर्ड कनेक्शन।

दो कार्यों के कारण पारंपरिक चिप्स की तुलना में न्यूरोमॉर्फिक आर्किटेक्चर अधिक कुशल हो जाते हैं। सबसे पहले, इस तरह की एक चिप, मस्तिष्क की तरह, "चमक" के माध्यम से संचार करती है - एक न्यूरॉन से अवरोही न्यूरॉन्स को भेजी गई जानकारी का एक आयामी पैकेट। सिग्नल सरल होते हैं (चाहे फ्लैश हो या न हो) और कभी-कभी तभी प्रसारित होते हैं जब न्यूरॉन एक पैकेट पहुंचाता है। दूसरे, मस्तिष्क की तरह ही, प्रसंस्करण और स्मृति न्यूरॉन्स और सिनेप्स में स्थित हैं। एक पारंपरिक कंप्यूटर पर, डेटा प्रोसेसिंग यूनिट लगातार व्यक्तिगत मेमोरी क्षेत्रों से जानकारी निकालता है, संचालन करता है, और फिर स्मृति को नई जानकारी देता है। इससे कई धीमी और ऊर्जा खपत वाली गतिविधियाँ होती हैं।

TrueNorth सिस्टम काफी लचीला है, क्योंकि इसे विभिन्न आकारों और आकृतियों के नेटवर्क को लागू करने के लिए प्रोग्राम किया जा सकता है और कई चिप्स को "तोड़" दिया जा सकता है। अपने वैज्ञानिक कार्य में, आईबीएम की टीम ने सड़क पर एक वीडियो शॉट में लोगों, साइकिल और कारों की पहचान करने के लिए एक न्यूरोमाफिक चिप का इस्तेमाल किया। एक तुलनात्मक प्रयोग से पता चला कि एक पारंपरिक माइक्रोप्रोसेसर पर चल रहे TrueNorth सॉफ्टवेयर ने इस कार्य के लिए 176 हजार गुना अधिक ऊर्जा का उपयोग किया।

आईबीएम परियोजना का एक महत्वपूर्ण हिस्सा न केवल एक चिप, बल्कि सॉफ्टवेयर भी था। कंपनी ने एक सिम्युलेटर, एक नई प्रोग्रामिंग भाषा और एल्गोरिदम और अनुप्रयोगों का एक पुस्तकालय बनाया है। कंपनी ने तब शैक्षणिक, राष्ट्रीय और कॉर्पोरेट प्रयोगशालाओं में 160 से अधिक शोधकर्ताओं को ये उपकरण प्रदान किए। TrueNorth का डिज़ाइन 2011 में पूरा हुआ, और 2012 में कन्टेन्यूअल न्यूरल नेटवर्क क्रांति ImageNet चैलेंज के हिस्से के रूप में हुई । तो कुछ लोग आश्चर्यचकित होने लगे कि क्या ट्रू नॉर्थ चिप्स इन नेटवर्क को संभाल सकती है।

CNN backpropagation पद्धति का उपयोग करता है। हर बार नेटवर्क एक गलती करता है, इसकी धारणा और सही उत्तर के बीच अंतर की गणना की जाती है। त्रुटि वापस प्रसार एल्गोरिथ्म प्रत्येक न्यूरॉन को अंतिम परत में मानता है और गणना करता है कि इस न्यूरॉन के आउटपुट में कितना बदलाव कुल त्रुटि को कम करेगा। फिर वह पिछले न्यूरॉन्स पर वापस लौटता है और गणना करता है कि प्रत्येक आने वाले सिंकैप्स की ताकत में कितना बदलाव कुल त्रुटि को कम करेगा।

यह पता लगाना आवश्यक है कि क्या सिनैप्टिक ताकत बढ़ाई या घटाई जानी चाहिए, इसलिए एल्गोरिथ्म प्रत्येक वजन को सही दिशा में समायोजित करता है। इसके बाद, एल्गोरिथ्म नई तौल का उपयोग करके एक नई त्रुटि की गणना करता है और पूरी प्रक्रिया को दोहराता है। ऐसे कई चरणों के बाद, एक प्रक्रिया में कमी घटती है जिसे ग्रेडिएंट डीसेंट कहा जाता है।

TrueNorth को शुरुआत में बैक-प्रोपगेशन एरर एल्गोरिथ्म के साथ असंगत माना गया था, क्योंकि धीरे-धीरे वंश को छोटे वजन समायोजन और छोटे सुधार के लिए दृष्टि की आवश्यकता होती है। TrueNorth केवल तीन अलग-अलग वजन मूल्यों का उपयोग करके अपनी दक्षता को अधिकतम करता है: -1, 0 और 1, और न्यूरॉन से आउटपुट 0 या 1 है। कोई ग्रेडिएंट नहीं हैं, केवल असतत कदम हैं।

टीम की प्रमुख उपलब्धियों में से एक स्पंदित तंत्रिका नेटवर्क के साथ बैकप्रोपेगैग एल्गोरिथ्म के प्रदर्शन के तरीकों की एक श्रृंखला थी। शोधकर्ताओं ने एक हार्डवेयर सन्निकटन का उपयोग करने के लिए प्रोग्राम किए गए चिप के सॉफ़्टवेयर मॉडल को प्रशिक्षित करके इस समस्या को हल किया जो क्रमिक वंश के साथ संगत है।

एक अन्य मुख्य विकास एक चिप पर न्यूरॉन्स के लिए कई कनेक्शनों के लिए सीएनएन की मैपिंग थी, जिसमें प्रति न्यूरॉन केवल 256 कनेक्शन शामिल हैं। यह एक साथ काम करने वाले कुछ न्यूरॉन्स के जोड़ों को असाइन करके हासिल किया गया था, जो इनपुट और आउटपुट के माध्यम से एक न्यूरॉन में संयुक्त होते हैं।

TrueNorth के काफी उच्च प्रदर्शन के बावजूद, यह गहरे तंत्रिका नेटवर्क और CNN की विशेषताओं को ध्यान में रखे बिना बनाया गया था, इसलिए इसमें अन्य प्रणालियों की तुलना में नुकसान है। उदाहरण के लिए, काम करने के लिए 30 हजार न्यूरॉन्स के नेटवर्क के लिए, 8 चिप्स (8 मिलियन न्यूरॉन्स) की आवश्यकता होती है। इसके अलावा, TrueNorth एक पूरी तरह से डिजिटल चिप है जब कुछ में एनालॉग घटक होते हैं। उनका काम अधिक अप्रत्याशित है, लेकिन फिर भी अधिक कुशल है। और यद्यपि प्रत्येक TrueNorth चिप को 4096 "कोर" में विभाजित किया गया है, जो समानांतर में काम करते हैं, प्रत्येक कोर में 256 न्यूरॉन्स केवल क्रमिक रूप से और एक समय में अपडेट किए जाते हैं।

TrueNorth कोर में न्यूरॉन्स की अनुक्रमिक प्रसंस्करण एक अड़चन पैदा कर सकती है, लेकिन यह नियमितता भी प्रदान करती है। इसका मतलब है कि चिप के व्यवहार को डेस्कटॉप कंप्यूटर पर उच्च सटीकता के साथ अनुकरण किया जा सकता है। इसी समय, चिप सार्वभौमिक है - यह कई अलग-अलग प्रकार के नेटवर्क का समर्थन कर सकता है, और आईबीएम के मुख्य मस्तिष्क वैज्ञानिक धर्मेंद्र मोधा के नेतृत्व में चिप निर्माण टीम का वर्तमान लक्ष्य, कई अलग-अलग नेटवर्क को एक साथ काम करने के लिए तैनात करना है - कंपोज़िंग प्राप्त करना।

भविष्य की योजना

संयोजकता प्राप्त करने के अलावा, मोधा टीम विभिन्न शिक्षण विधियों की खोज करने के लिए प्रतिबद्ध है। वैज्ञानिक यह भी ध्यान देते हैं कि उनके काम में वर्णित तरीकों को ट्रू नॉर्थ के अलावा न्यूरोमॉर्फिक चिप्स पर भी लागू किया जा सकता है। इसके अलावा, नए शिक्षण विधियों के अलावा, टीम अधिक कट्टरपंथी उपलब्धियों के बारे में सोचती है। यूएस डिपार्टमेंट ऑफ एनर्जी ऑन न्यूरोमॉर्फिक कंप्यूटिंग की 2015 की एक रिपोर्ट के अनुसार, वर्तमान में दुनिया की लगभग 5-15% ऊर्जा किसी न किसी रूप में डाटा प्रोसेसिंग और ट्रांसमिशन में खपत होती है। साथ ही, विभाग नेटवर्क की गति, दक्षता और दोष सहनशीलता को बढ़ाना चाहता है। इस रिपोर्ट ने आईबीएम टीम को नई भौतिक संपत्तियों के साथ विकासशील सामग्रियों के बारे में सोचने के लिए प्रेरित किया।

वैश्विक लक्ष्य स्मार्टफोन, घरों और कारों में चिप्स के साथ विशाल डेटा केंद्रों को बदलना है जो अपने लिए "सोच" सकते हैं: वार्तालाप करें, वैज्ञानिक और चिकित्सा खोजें करें, कार, रोबोट या कृत्रिम अंग बनाएं। आदर्श रूप से, ये चिप्स और भी बड़ी सफलता प्राप्त कर सकते हैं, उदाहरण के लिए, दुनिया में भूख की समस्या को हल करना।

कई शोध प्रयोगशालाएं ट्रू नॉर्थ का पहले से ही सक्रिय रूप से उपयोग कर रही हैं। अगस्त 2016 में, सैमसंग ने एक ऐसी प्रणाली का प्रदर्शन किया जो 2000 फ्रेम प्रति सेकंड की गति से तीन आयामों में 3 डी पर्यावरण मानचित्र बनाने के लिए एक वीडियो स्ट्रीम का उपयोग करता है, एक तिहाई वाट की खपत करता है। कंपनी ने हाथ के इशारों से टेलीविजन को नियंत्रित करने के लिए इस प्रणाली का उपयोग किया।

लॉरेंस लिवरमोर नेशनल लेबोरेटरी में 16-चिप ट्रू नोर्थ बोर्ड है जो साइबर सुरक्षा और अमेरिकी परमाणु सुरक्षा को बढ़ाने के लिए उपयोग किया जाता है। वायु सेना अनुसंधान प्रयोगशाला, जो मानव रहित हवाई वाहनों के लिए स्वायत्त नेविगेशन प्रदान करने के लिए TrueNorth का उपयोग करती है, ने हाल ही में 64 चिप्स की एक सरणी की कोशिश करने की घोषणा की।