कंप्यूटर ने कैसे सीखा कि छवियों को आश्चर्यजनक रूप से कैसे पहचाना जाए

2012 से महत्वपूर्ण वैज्ञानिक कार्यों ने छवि मान्यता सॉफ्टवेयर के क्षेत्र को बदल दिया

आज, मैं उदाहरण के लिए, Google फ़ोटो खोल सकता हूं, "समुद्र तट" लिख सकता हूं, और विभिन्न समुद्र तटों से अपनी तस्वीरों का एक गुच्छा देख सकता हूं जो मैंने पिछले दशक में देखे थे। और मैंने कभी भी अपनी तस्वीरों पर हस्ताक्षर नहीं किए - Google उनकी सामग्री के आधार पर उन समुद्र तटों को पहचानता है। यह प्रतीत होता है कि उबाऊ सुविधा "गहरी विस्मयादिबोधक तंत्रिका नेटवर्क" नामक एक तकनीक पर आधारित है, जो कार्यक्रमों को पिछली पीढ़ियों की प्रौद्योगिकियों के लिए दुर्गम एक जटिल विधि का उपयोग करके छवियों को समझने की अनुमति देती है।

हाल के वर्षों में, शोधकर्ताओं ने पाया है कि सॉफ्टवेयर सटीकता बेहतर हो जाती है क्योंकि वे गहरे तंत्रिका नेटवर्क (एनएस) का निर्माण करते हैं और उन्हें कभी बड़े डेटा सेट पर प्रशिक्षित करते हैं। इसने कंप्यूटिंग शक्ति के लिए एक अतुलनीय आवश्यकता पैदा की, और एनवीडिया और एएमडी जैसे जीपीयू निर्माताओं को समृद्ध किया। कुछ साल पहले, Google ने नेशनल असेंबली के लिए अपने विशेष चिप्स विकसित किए, जबकि अन्य कंपनियां इसके साथ बने रहने की कोशिश कर रही हैं।

टेस्ला में, उदाहरण के लिए, एक गहरे सीखने के विशेषज्ञ आंद्रेई कर्पति को ऑटोपायलट प्रोजेक्ट का प्रमुख नियुक्त किया गया है। ऑटोपायलट के भविष्य के संस्करणों में एनएस के काम में तेजी लाने के लिए अब ऑटोमेकर अपनी खुद की चिप विकसित कर रहा है। या Apple को लें: A11 और A12 चिप, नवीनतम iPhones के लिए केंद्रीय, एक न्यूरल इंजन " न्यूरल प्रोसेसर " है जो एनएस को गति देता है और छवि और आवाज पहचान अनुप्रयोगों को बेहतर काम करने की अनुमति देता है।

इस लेख के लिए मैंने जिन विशेषज्ञों का साक्षात्कार लिया, वे एक विशिष्ट नौकरी के लिए गहरी सीखने की उछाल की शुरुआत को ट्रैक करते हैं: एलेक्सनेट, जिसका नाम मुख्य लेखक एलेक्स क्रेजेव्स्की के नाम पर रखा गया है। रक्षा पर एक विशेषज्ञ और पुस्तक " हाउ स्मार्ट कार्स थिंक " के लेखक सीन गेरिश ने कहा, "मेरा मानना ​​है कि 2012 एक ऐतिहासिक वर्ष था जब एलेक्सनेट काम से बाहर आया था।"

2012 तक, मॉस्को क्षेत्र की दुनिया में गहरे तंत्रिका नेटवर्क (जीएनएस) थोड़ा पीछे थे। लेकिन फिर टोरंटो विश्वविद्यालय के क्रिझाव्स्की और उनके सहयोगियों ने छवि मान्यता के लिए प्रतिष्ठित प्रतियोगिता में भाग लिया, और उनका कार्यक्रम नाटकीय रूप से सटीकता से आगे बढ़ गया, जो इससे पहले विकसित हुआ था। लगभग तुरंत, एसटीएस छवि मान्यता में अग्रणी तकनीक बन गई। इस तकनीक का उपयोग करने वाले अन्य शोधकर्ताओं ने जल्द ही मान्यता सटीकता में और सुधार का प्रदर्शन किया।

इस लेख में, हम गहरी सीख में होंगे। मैं समझाऊंगा कि एनएस क्या है, उन्हें कैसे प्रशिक्षित किया जाता है, और उन्हें ऐसे कंप्यूटिंग संसाधनों की आवश्यकता क्यों होती है। और फिर मैं समझाऊंगा कि क्यों एक निश्चित प्रकार के एनएस - गहरे कनवल्शन नेटवर्क - छवियों को इतनी अच्छी तरह समझते हैं। चिंता न करें, कई चित्र होंगे।

एक न्यूरॉन के साथ एक सरल उदाहरण

एक "तंत्रिका नेटवर्क" की अवधारणा आपको अस्पष्ट लग सकती है, तो आइए एक सरल उदाहरण से शुरू करते हैं। मान लीजिए आप चाहते हैं कि नेशनल असेंबली यह तय करे कि हरे, पीले और लाल ट्रैफिक सिग्नल के आधार पर कार चलाना है या नहीं। एनएस एकल न्यूरॉन के साथ इस समस्या को हल कर सकता है।



एक न्यूरॉन इनपुट डेटा (1 - ऑन, 0 - ऑफ) प्राप्त करता है, उचित वजन से गुणा करता है, और वजन के सभी मूल्यों को जोड़ता है। तब न्यूरॉन एक ऑफसेट जोड़ता है जो न्यूरॉन के "सक्रियण" के लिए थ्रेशोल्ड मान को परिभाषित करता है। इस मामले में, यदि आउटपुट सकारात्मक है, तो हम मानते हैं कि न्यूरॉन सक्रिय हो गया है - और इसके विपरीत। न्यूरॉन असमानता के बराबर है "हरा - लाल - 0.5> 0"। यदि यह सच हो जाता है - अर्थात, हरे रंग की है और लाल रंग की नहीं है - तो कार को जाना चाहिए।

वास्तविक एनएस में, कृत्रिम न्यूरॉन्स एक और कदम उठाते हैं। एक भारित इनपुट को जोड़कर और एक ऑफसेट जोड़कर, न्यूरॉन एक nonlinear सक्रियण फ़ंक्शन का उपयोग करता है। अक्सर उपयोग किया जाने वाला एक सिग्मॉइड, एक एस-आकार का फ़ंक्शन होता है, हमेशा 0 से 1 तक का मूल्य देता है।

सक्रियण फ़ंक्शन का उपयोग करने से हमारे सरल ट्रैफ़िक लाइट मॉडल का परिणाम नहीं बदलेगा (हमें केवल 0.5 का थ्रेशोल्ड मान का उपयोग करने की आवश्यकता है, 0 नहीं)। लेकिन एनएस के लिए अधिक जटिल कार्यों को मॉडल करने के लिए सक्रियण कार्यों की गैर-शुद्धता आवश्यक है। सक्रियण फ़ंक्शन के बिना, प्रत्येक मनमाने ढंग से जटिल NS को इनपुट डेटा के एक रैखिक संयोजन में घटाया जाता है। एक रैखिक समारोह वास्तविक दुनिया में जटिल घटनाओं का अनुकरण नहीं कर सकता है। Nonlinear सक्रियण फ़ंक्शन NS को किसी गणितीय फ़ंक्शन को अनुमानित करने की अनुमति देता है।

नेटवर्क उदाहरण

बेशक, किसी फ़ंक्शन को अनुमानित करने के कई तरीके हैं। एनएस इस तथ्य से बाहर है कि हम जानते हैं कि कैसे उन्हें थोड़ा बीजगणित, डेटा का एक गुच्छा और कंप्यूटिंग शक्ति के समुद्र का उपयोग करके "ट्रेन" करना है। किसी विशिष्ट कार्य के लिए NS को विकसित करने के लिए प्रोग्रामर को निर्देश देने के बजाय, हम एक ऐसे सॉफ्टवेयर का निर्माण कर सकते हैं, जो काफी सामान्य NS के साथ शुरू होता है, चिह्नित उदाहरणों के एक समूह का अध्ययन करता है, और फिर NS को बदलता है ताकि यह यथासंभव अधिक से अधिक उदाहरणों के लिए सही लेबल प्रदान करे। उम्मीद यह है कि अंतिम एनएस डेटा को सारांशित करेगा और उन उदाहरणों के लिए सही लेबल का उत्पादन करेगा जो पहले डेटाबेस में नहीं थे।

इस लक्ष्य के लिए अग्रणी प्रक्रिया एलेक्सनेट से बहुत पहले शुरू हुई थी। 1986 में, शोधकर्ताओं की तिकड़ी ने बैकप्रोपेगेशन पर एक ऐतिहासिक कार्य प्रकाशित किया, एक ऐसी तकनीक जिसने जटिल एनएस के गणितीय सीखने को एक वास्तविकता बनाने में मदद की।

यह कल्पना करने के लिए कि बैकप्रॉपैगैशन कैसे काम करता है, आइए माइकल नील्सन द्वारा बताए गए एक साधारण एनएस को अपने उत्कृष्ट ऑनलाइन जीओ टेक्स्टबुक में देखें । नेटवर्क का उद्देश्य 28x28 पिक्सेल के रिज़ॉल्यूशन में हाथ से लिखी संख्या की छवि को संसाधित करना है और सही ढंग से निर्धारित करना है कि क्या संख्या 0, 1, 2, आदि लिखी गई है।

प्रत्येक छवि 28 * 28 = 784 इनपुट मात्रा है, जिनमें से प्रत्येक 0 से 1 तक की वास्तविक संख्या है, यह दर्शाता है कि पिक्सेल कितना हल्का या गहरा है। नीलसन ने इस तरह का NA बनाया:



केंद्र में और दाएं कॉलम में प्रत्येक सर्कल पिछले अनुभाग में हमारी जांच की गई एक न्यूरॉन के समान है। प्रत्येक न्यूरॉन इनपुट का एक भारित औसत लेता है, एक ऑफसेट जोड़ता है, और एक सक्रियण फ़ंक्शन लागू करता है। बाईं ओर मंडलियां न्यूरॉन्स नहीं हैं, वे नेटवर्क के इनपुट डेटा का प्रतिनिधित्व करते हैं। और यद्यपि तस्वीर केवल 8 इनपुट सर्कल दिखाती है, वास्तव में उनमें से 784 हैं - प्रत्येक पिक्सेल के लिए।

दाईं ओर 10 न्यूरॉन्स में से प्रत्येक को अपनी स्वयं की संख्या "ट्रिगर" करना चाहिए: शीर्ष तब चालू करना चाहिए जब एक हस्तलिखित 0 इनपुट है (और केवल इस मामले में), दूसरा जब नेटवर्क एक हस्तलिखित 1 (और केवल यह) देखता है, और इसी तरह।

प्रत्येक न्यूरॉन पिछली परत के प्रत्येक न्यूरॉन से इनपुट को मानता है। तो बीच में 15 न्यूरॉन्स में से प्रत्येक 784 इनपुट मान प्राप्त करता है। इन 15 न्यूरॉन्स में से प्रत्येक में 784 इनपुट मूल्यों में से प्रत्येक के लिए एक वजन पैरामीटर है। इसका मतलब है कि केवल इस परत में 15 * 784 = 11 760 वजन पैरामीटर हैं। इसी तरह, आउटपुट परत में 10 न्यूरॉन्स होते हैं, जिनमें से प्रत्येक को मध्य परत के सभी 15 न्यूरॉन्स से इनपुट प्राप्त होता है, जो एक और 15 * 10 = 150 वजन मापदंडों को जोड़ता है। इसके अलावा, नेटवर्क में 25 विस्थापन चर हैं - 25 न्यूरॉन्स में से प्रत्येक के लिए एक।

तंत्रिका नेटवर्क प्रशिक्षण

प्रशिक्षण का लक्ष्य इन 11,935 मापदंडों को ठीक-ठीक करना है ताकि वांछित आउटपुट न्यूरॉन - और केवल इसे अधिकतम किया जा सके - जब नेटवर्क एक हस्तलिखित अंक की छवि देता है। हम छवियों के प्रसिद्ध सेट MNIST के साथ ऐसा कर सकते हैं, जहां 28x28 पिक्सल के संकल्प के साथ 60,000 चिह्नित चित्र हैं।


MNIST सेट से 60,000 छवियों में से 160

नील्सन दर्शाता है कि नियमित रूप से अजगर कोड की 74 लाइनों का उपयोग करके नेटवर्क को कैसे प्रशिक्षित किया जाए - बिना किसी पुस्तकालयों के एमओ के लिए। इन 11,935 मापदंडों में से प्रत्येक के लिए यादृच्छिक मूल्यों को चुनने से सीखना शुरू होता है, वजन और ऑफसेट। फिर कार्यक्रम छवियों के उदाहरणों से गुजरता है, उनमें से प्रत्येक के साथ दो चरणों से गुजर रहा है:

1. आगे का प्रसार कदम इनपुट छवि और वर्तमान मापदंडों के आधार पर नेटवर्क आउटपुट की गणना करता है।
2. बैकप्रोपैजेशन चरण सही आउटपुट डेटा से परिणाम के विचलन की गणना करता है और नेटवर्क मापदंडों को बदलता है ताकि इस छवि में इसकी दक्षता में थोड़ा सुधार हो सके।

एक उदाहरण है। मान लीजिए कि नेटवर्क को निम्न चित्र प्राप्त हुआ है:



यदि यह अच्छी तरह से कैलिब्रेट किया गया है, तो पिन "7" को 1 पर जाना चाहिए, और अन्य नौ निष्कर्षों को 0. पर जाना चाहिए। लेकिन, बता दें कि इसके बजाय, आउटपुट "0" पर नेटवर्क 0.8 का मान देता है। यह बहुत ज्यादा है! प्रशिक्षण एल्गोरिथ्म "0" के लिए जिम्मेदार न्यूरॉन के इनपुट वजन को बदलता है ताकि अगली बार यह छवि संसाधित होने पर यह 0 के करीब हो जाए।

इसके लिए, बैकप्रॉपैगमेंट एल्गोरिथ्म प्रत्येक इनपुट वजन के लिए एक त्रुटि ढाल की गणना करता है। यह एक माप है कि इनपुट भार में दिए गए बदलाव के लिए आउटपुट त्रुटि कैसे बदल जाएगी। तब एल्गोरिथ्म प्रत्येक इनपुट वजन को बदलने के लिए कितना ढाल - यह तय करने के लिए ढाल का उपयोग करता है, जितना बड़ा ढाल, उतना ही मजबूत परिवर्तन।

दूसरे शब्दों में, प्रशिक्षण प्रक्रिया "इनपुट" आउटपुट लेयर के न्यूरॉन्स को उन इनपुट्स (मध्य परत में न्यूरॉन्स) पर कम ध्यान देने के लिए देती है जो उन्हें गलत उत्तर की ओर धकेलते हैं, और उन इनपुट्स को जो सही दिशा में धकेलते हैं।

एल्गोरिथ्म अन्य सभी आउटपुट न्यूरॉन्स के लिए इस चरण को दोहराता है। यह न्यूरॉन्स "1", "2", "3", "4", "5", "6", "8" और "9" (लेकिन "7") के लिए इनपुट वज़न को कम करता है ताकि इनका मूल्य कम किया जा सके। आउटपुट न्यूरॉन्स। आउटपुट मान जितना अधिक होगा, इनपुट वजन के संबंध में आउटपुट त्रुटि का ग्रेडिएंट उतना ही अधिक होगा - और उसका वजन कम होगा।

और इसके विपरीत, एल्गोरिथ्म आउटपुट "7" के लिए इनपुट डेटा का वजन बढ़ाता है, जिससे अगली बार न्यूरॉन का उत्पादन अधिक होता है, जब यह छवि दी जाती है। फिर, बड़े मान वाले इनपुट्स अधिक वजन बढ़ाएंगे, जो अगली बार इन इनपुटों पर अधिक ध्यान देते हुए आउटपुट न्यूरॉन "7" बनाएंगे।

फिर, एल्गोरिथ्म को मध्य परत के लिए समान गणना करनी चाहिए: प्रत्येक इनपुट वजन को एक दिशा में बदलें जो नेटवर्क त्रुटियों को कम करेगा - फिर से, आउटपुट "7" को 1 के करीब लाएगा, और शेष 0. के लिए। लेकिन प्रत्येक मध्य न्यूरॉन का एक कनेक्शन है सभी 10 दिनों के लिए, जो दो पहलुओं में मामलों को जटिल करता है।

सबसे पहले, प्रत्येक औसत न्यूरॉन के लिए त्रुटि ढाल न केवल इनपुट मूल्य पर निर्भर करता है, बल्कि अगली परत में त्रुटि ग्रेडिएंट पर भी निर्भर करता है। एल्गोरिथ्म को बैकप्रॉपैगैशन कहा जाता है क्योंकि नेटवर्क की बाद की परतों के त्रुटि ग्रेडिएंट विपरीत दिशा में प्रचार करते हैं और पहले की परतों में ग्रेडिएंट्स की गणना करने के लिए उपयोग किए जाते हैं।

इसके अलावा, प्रत्येक मध्य न्यूरॉन सभी दस दिनों के लिए एक इनपुट है। इसलिए, प्रशिक्षण एल्गोरिथ्म में त्रुटि ढाल की गणना करना है, जो दर्शाता है कि एक निश्चित इनपुट वजन में बदलाव सभी आउटपुट के लिए औसत त्रुटि को प्रभावित करता है।

Backpropagation एक पहाड़ी पर चढ़ने का एक एल्गोरिथ्म है: प्रत्येक पास किसी दिए गए चित्र के लिए आउटपुट मानों को सही मानों के करीब लाता है, लेकिन केवल थोड़े से। एल्गोरिथ्म जितने अधिक उदाहरणों को देखता है, उतने ही ऊंचे पहाड़ी पर चढ़ता है, जो मापदंडों के अनुकूलतम सेट की ओर बढ़ता है, जो कि अधिकतम प्रशिक्षण उदाहरणों को सही ढंग से वर्गीकृत करता है। उच्च सटीकता प्राप्त करने के लिए, हजारों उदाहरणों की आवश्यकता होती है, और एल्गोरिथ्म को इस सेट में प्रत्येक छवि के माध्यम से चक्र करने की आवश्यकता हो सकती है दर्जनों बार इसकी प्रभावशीलता बढ़ने से पहले।

नीलसन दिखाता है कि अजगर में इन 74 लाइनों को कैसे लागू किया जाए। हैरानी की बात है कि इस तरह के एक सरल कार्यक्रम से प्रशिक्षित एक नेटवर्क MNIST डेटाबेस से 95% से अधिक हस्तलिखित संख्याओं को पहचान सकता है। अतिरिक्त सुधार के साथ, एक साधारण दो-परत नेटवर्क 98% से अधिक संख्या को पहचान सकता है।

निर्णायक एलेक्सनेट

आप सोच सकते हैं कि 1980 के दशक में बैकप्रोपेगेशन के विषय का विकास होने वाला था, और नेशनल असेंबली के आधार पर एमओ में तेजी से प्रगति को जन्म दिया - लेकिन ऐसा नहीं हुआ। 1990 के दशक और 2000 के दशक की शुरुआत में, कुछ लोगों ने इस तकनीक पर काम किया, लेकिन 2010 की शुरुआत तक नेशनल असेंबली में दिलचस्पी नहीं बढ़ी।

यह इमेजनेट प्रतियोगिता , स्टैनफोर्ड फे फे ली, एक आईटी विशेषज्ञ द्वारा आयोजित एक वार्षिक एमओ प्रतियोगिता का पता लगाया जा सकता है। प्रत्येक वर्ष प्रतिद्वंद्वियों को प्रशिक्षण के लिए एक लाख से अधिक छवियों का एक ही सेट दिया जाता है, जिनमें से प्रत्येक को मैन्युअल रूप से 1000 से अधिक की श्रेणियों में लेबल किया जाता है - दमकल और मशरूम से लेकर चीता तक। प्रतिभागियों के सॉफ़्टवेयर को अन्य छवियों को वर्गीकृत करने की संभावना पर आंका जाता है जो सेट में नहीं थे। एक कार्यक्रम कुछ अनुमान दे सकता है, और इसका काम सफल माना जाता है यदि पहले पांच अनुमानों में से कम से कम एक व्यक्ति द्वारा लगाए गए निशान से मेल खाता है।

प्रतियोगिता 2010 में शुरू हुई, और पहले दो वर्षों में गहरी एनएस ने इसमें कोई बड़ी भूमिका नहीं निभाई। सर्वश्रेष्ठ टीमों ने विभिन्न एमओ तकनीकों का उपयोग किया, और काफी औसत परिणाम प्राप्त किए। 2010 में, टीम 28 के बराबर त्रुटियों के प्रतिशत के साथ जीती। 2011 में - 25% की त्रुटि के साथ।

और फिर 2012 आ गया। टोरंटो विश्वविद्यालय की एक टीम ने एक बोली लगाई - बाद में प्रमुख लेखक, एलेक्स क्रेजेव्स्की के सम्मान में एलेक्सनेट को डब किया - और प्रतिद्वंद्वियों को बहुत पीछे छोड़ दिया। गहरे एनएस का उपयोग करके, टीम ने 16% त्रुटि दर हासिल की। निकटतम प्रतियोगी के लिए, यह आंकड़ा 26 था।

लिखावट मान्यता के लिए लेख में वर्णित एनएस में दो परतें, 25 न्यूरॉन्स और लगभग 12,000 पैरामीटर हैं। एलेक्सनेट बहुत बड़ा और अधिक जटिल था: आठ प्रशिक्षित परतें, 650,000 न्यूरॉन्स और 60 मिलियन पैरामीटर।

इस आकार के एनएस को प्रशिक्षित करने के लिए शक्तिशाली प्रसंस्करण शक्ति की आवश्यकता होती है, और एलेक्सनेट को बड़े GPU के साथ उपलब्ध बड़े पैमाने पर समानांतरकरण का लाभ उठाने के लिए डिज़ाइन किया गया था। शोधकर्ताओं ने पता लगाया कि नेटवर्क के प्रशिक्षण के काम को दो GPU में कैसे विभाजित किया जाए, जिससे शक्ति दोगुनी हो गई। और फिर भी, तंग अनुकूलन के बावजूद, 2012 में उपलब्ध हार्डवेयर पर नेटवर्क प्रशिक्षण में 5-6 दिन लगे (3 जीबी मेमोरी वाले एनवीडिया जीटीएक्स 580 की एक जोड़ी पर)।

यह समझने के लिए एलेक्सनेट के परिणामों के उदाहरणों का अध्ययन करना उपयोगी है कि यह सफलता कितनी गंभीर थी। यहां एक वैज्ञानिक पेपर से एक चित्र है जो चित्रों के उदाहरण और उनके वर्गीकरण द्वारा नेटवर्क के पहले पांच अनुमान दिखाता है:



एलेक्सनेट पहली तस्वीर में टिक को पहचानने में सक्षम था, हालांकि इसमें कोने से केवल एक छोटा रूप है। सॉफ्टवेयर ने न केवल तेंदुए की सही पहचान की, बल्कि अन्य करीबी विकल्प भी दिए - एक जगुआर, चीता, हिम तेंदुआ, मिस्र के ताऊ। एलेक्सनेट ने हॉर्नबीम की तस्वीर को "एगारिक" के रूप में टैग किया। बस "मशरूम" नेटवर्क का दूसरा संस्करण था।

"त्रुटियां" एलेक्सनेट भी प्रभावशाली हैं। उसने एक डेलमेटियन के साथ फोटो को चिह्नों के एक झुंड के पीछे खड़ा किया, जिसे "डेलमेटियन" कहा गया, हालांकि आधिकारिक लेबल "" बेरी। " एलेक्सनेट ने माना कि फोटो में किसी तरह की बेरी थी - पहले पांच विकल्पों में से "अंगूर" और "बल्डबेरी" थे - यह केवल चेरी को नहीं पहचानता था। एक पेड़ पर बैठे मेडागास्कर नींबू की एक तस्वीर में, एलेक्सनेट ने पेड़ों पर रहने वाले छोटे स्तनधारियों की एक सूची दी। मुझे लगता है कि कई लोगों ने (खुद सहित) गलत हस्ताक्षर यहां लगाए होंगे।

कार्य की गुणवत्ता प्रभावशाली थी, और यह प्रदर्शित किया कि सॉफ्टवेयर साधारण वस्तुओं को उनके झुकाव और वातावरण की एक विस्तृत श्रृंखला में पहचानने में सक्षम है। जीएनएस जल्दी से छवि मान्यता के लिए सबसे लोकप्रिय तकनीक बन गई, और तब से एमओ की दुनिया ने इसे नहीं छोड़ा है।

ImageNet के प्रायोजकों ने लिखा , "GO के आधार पर 2012 की सफलता के मद्देनजर, 2013 की प्रतियोगिता में भाग लेने वाले अधिकांश प्रतिभागी गहरे गहन नेटवर्क में बदल गए।" बाद के वर्षों में, यह प्रवृत्ति जारी रही, और बाद में विजेताओं ने बुनियादी तकनीकों के आधार पर काम किया, जो पहले एलेक्सनेट टीम द्वारा लागू किया गया था। 2017 तक, प्रतिद्वंद्वियों ने गहरे एनएस का उपयोग करते हुए, त्रुटि दर को तीन से कम कर दिया। कार्य की जटिलता को देखते हुए, कंप्यूटर को कुछ लोगों से बेहतर तरीके से हल करने के लिए कुछ हद तक सीखा है।


विभिन्न वर्षों में छवियों के वर्गीकरण में त्रुटियों का प्रतिशत

कन्वेंशन नेटवर्क: एक अवधारणा

तकनीकी रूप से, एलेक्सनेट एक संवादात्मक एनएस था। इस खंड में, मैं समझाऊंगा कि विवादास्पद तंत्रिका नेटवर्क (SNA) क्या करता है, और यह तकनीक आधुनिक पैटर्न मान्यता एल्गोरिदम के लिए गंभीर रूप से महत्वपूर्ण क्यों हो गई है।

हस्तलिपि पहचान के लिए पहले से चर्चा की गई सरल नेटवर्क पूरी तरह से जुड़ा हुआ था: पहली परत का प्रत्येक न्यूरॉन दूसरी परत के प्रत्येक न्यूरॉन के लिए एक इनपुट था। ऐसी संरचना 28x28 पिक्सेल छवियों में संख्या की पहचान के साथ सरल कार्यों पर काफी अच्छी तरह से काम करती है। लेकिन यह अच्छी तरह से पैमाने पर नहीं है।

MNIST हस्तलिखित अंक डेटाबेस में, सभी वर्ण केंद्रित हैं। यह सीखने को बहुत सरल करता है, क्योंकि, कहते हैं, सात में हमेशा ऊपर और दाएं कई अंधेरे पिक्सेल होंगे, और निचले बाएं कोने हमेशा सफेद होते हैं। शून्य हमेशा मध्य में एक सफेद धब्बा होगा और किनारों पर गहरे पिक्सेल होंगे। एक सरल और पूरी तरह से जुड़ा हुआ नेटवर्क ऐसे पैटर्न को काफी आसानी से पहचान सकता है।

लेकिन मान लीजिए कि आप एक ऐसी एन एस संख्या को पहचानने में सक्षम बनाना चाहते हैं जो बड़ी छवि पर कहीं भी स्थित हो। पूरी तरह से जुड़ा हुआ नेटवर्क इस कार्य के साथ ही काम नहीं करेगा, क्योंकि इसमें छवि के विभिन्न हिस्सों में स्थित रूपों में समान विशेषताओं को पहचानने का प्रभावी तरीका नहीं है। यदि आपके प्रशिक्षण डेटासेट में अधिकांश सेवेंस ऊपरी बाएं कोने में स्थित हैं, तो आपका नेटवर्क छवि के किसी अन्य हिस्से की तुलना में ऊपरी बाएं कोने में सेवन्स को पहचानने में बेहतर होगा।

सैद्धांतिक रूप से, इस समस्या को यह सुनिश्चित करके हल किया जा सकता है कि आपके सेट में प्रत्येक संभावित पदों में प्रत्येक अंक के कई उदाहरण हैं। लेकिन व्यवहार में यह संसाधनों की भारी बर्बादी होगी। बढ़ती छवि आकार और नेटवर्क की गहराई के साथ, लिंक की संख्या - और वजन मापदंडों की संख्या - विस्फोटक रूप से बढ़ेगी। पर्याप्त सटीकता प्राप्त करने के लिए आपको बहुत अधिक प्रशिक्षण छवियों (और कंप्यूटिंग शक्ति) की आवश्यकता होगी।

जब एक तंत्रिका नेटवर्क किसी छवि के एक स्थान में स्थित आकृति को पहचानना सीखता है, तो उसे इस ज्ञान को छवि के अन्य भागों में उसी आकार को पहचानने में सक्षम होना चाहिए। SNA इस समस्या का एक सुरुचिपूर्ण समाधान प्रदान करता है।

एआई के शोधकर्ता जय टेंग ने कहा, "यह ऐसा है जैसे आप एक स्टैंसिल लेंगे और इसे छवि के सभी स्थानों पर संलग्न करेंगे।" - आपके पास एक कुत्ते की तस्वीर के साथ एक स्टैंसिल है, और आप पहले इसे छवि के ऊपरी दाएं कोने में संलग्न करते हैं यह देखने के लिए कि क्या वहां कोई कुत्ता है? यदि नहीं, तो आप स्टैंसिल को थोड़ा सा हिला रहे हैं। और इसलिए पूरी छवि के लिए। इससे कोई फर्क नहीं पड़ता कि कुत्ते की तस्वीर कहां है। स्टैंसिल उसके साथ मेल खाएगा। आपको कुत्तों के अपने वर्गीकरण को सीखने के लिए नेटवर्क के प्रत्येक भाग की आवश्यकता नहीं है। "

कल्पना कीजिए कि हमने एक बड़ी छवि ली और इसे 28x28 पिक्सेल वर्ग में विभाजित किया। फिर हम एक पूरी तरह से जुड़े नेटवर्क के प्रत्येक वर्ग को खिला सकते हैं जो हम पहले लिखी गई लिखावट को पहचानते हैं। यदि आउटपुट "7" कम से कम एक वर्ग में सक्रिय है, तो यह एक संकेत होगा कि पूरी छवि में एक सात है। यह वही है जो दृढ़ नेटवर्क करता है।

एलेक्सनेट में काम करने वाले नेटवर्क कितने विश्वसनीय हैं

दृढ़ नेटवर्क में, ऐसे "स्टेंसिल" को फीचर डिटेक्टर के रूप में जाना जाता है, और वे जिस क्षेत्र का अध्ययन करते हैं उसे ग्रहणशील क्षेत्र के रूप में जाना जाता है। रियल फ़ीचर डिटेक्टर 28 पिक्सल के साथ एक वर्ग की तुलना में बहुत छोटे क्षेत्रों के साथ काम करते हैं। एलेक्सनेट में, पहले कंफर्टेबल लेयर में फीचर डिटेक्टर आकार में 11x11 पिक्सल के ग्रहणशील क्षेत्र के साथ काम करते थे। बाद की परतों में, ग्रहणशील क्षेत्र 3-5 इकाई चौड़े थे।

ट्रैवर्सल के दौरान, इनपुट छवि के संकेतों का डिटेक्टर संकेतों के एक नक्शे का उत्पादन करता है: एक दो-आयामी जाली, जिस पर यह ध्यान दिया जाता है कि डिटेक्टर छवि के विभिन्न हिस्सों में कितनी दृढ़ता से सक्रिय हुआ था। संकेंद्रित परतों में आमतौर पर एक से अधिक डिटेक्टर होते हैं, और उनमें से प्रत्येक विभिन्न पैटर्न की तलाश में छवि को स्कैन करता है। एलेक्सनेट के 96 फ़ीचर डिटेक्टर थे, जिसमें 96 फ़ीचर कार्ड थे।



इसे बेहतर ढंग से समझने के लिए, नेटवर्क को प्रशिक्षित करने के बाद 96 एलेक्सनेट फर्स्ट लेयर डिटेक्टरों में से प्रत्येक द्वारा अध्ययन किए गए पैटर्न के एक दृश्य प्रतिनिधित्व पर विचार करें। क्षैतिज या ऊर्ध्वाधर लाइनों की तलाश में डिटेक्टर हैं, प्रकाश से अंधेरे तक, शतरंज के पैटर्न और कई अन्य रूपों में संक्रमण।

एक रंग छवि को आमतौर पर प्रत्येक पिक्सेल के लिए तीन नंबरों के साथ एक पिक्सेल मानचित्र के रूप में दर्शाया जाता है: लाल, हरे और नीले रंग का मान। एलेक्सनेट की पहली परत इस दृश्य को ले जाती है और इसे 96 संख्याओं का उपयोग करके दृश्य में बदल देती है। इस छवि के प्रत्येक "पिक्सेल" में 96 मान हैं, जो प्रत्येक फीचर डिटेक्टर के लिए है।

इस उदाहरण में, 96 मानों में से पहला इंगित करता है कि क्या छवि के कुछ बिंदु इस पैटर्न से मेल खाते हैं:



दूसरा मान इंगित करता है कि क्या कुछ छवि बिंदु इस तरह के पैटर्न के साथ मेल खाता है:



तीसरा मान इंगित करता है कि क्या कुछ छवि बिंदु इस तरह के पैटर्न के साथ मेल खाता है:



और इसी तरह पहली एलेक्सनेट परत में 93 फीचर डिटेक्टरों के लिए। पहली परत छवि का एक नया प्रतिनिधित्व उत्पन्न करती है, जहां प्रत्येक पिक्सेल 96 आयामों में एक वेक्टर है (मैं बाद में समझाऊंगा कि यह प्रतिनिधित्व 4 गुना कम हो गया है)।

यह एलेक्सनेट की पहली परत है। फिर चार और अधिक दृढ़ परतें हैं, जिनमें से प्रत्येक इनपुट के रूप में पिछले एक का आउटपुट लेता है।

जैसा कि हमने देखा, पहली परत बुनियादी पैटर्न, जैसे क्षैतिज और ऊर्ध्वाधर रेखाओं, प्रकाश से अंधेरे और घटता तक के बदलावों का खुलासा करती है। दूसरा स्तर उन्हें थोड़ा और जटिल रूपों को पहचानने के लिए बिल्डिंग ब्लॉक के रूप में उपयोग करता है। उदाहरण के लिए, दूसरी परत में एक सुविधा डिटेक्टर हो सकता है जो पहले लेयर के आउटपुट डिटेक्टरों के संयोजन का उपयोग करके हलकों का पता लगाता है जो घटता पाते हैं। दूसरी परत से सुविधाओं को जोड़कर तीसरी परत और भी जटिल आकार पाती है। चौथा और पाँचवाँ और भी जटिल पैटर्न पाते हैं।

शोधकर्ता मैथ्यू जेइलर और रॉब फर्गस ने 2014 में एक उत्कृष्ट कार्य प्रकाशित किया , जो कि इमेजनेट के समान पांच-परत वाले तंत्रिका नेटवर्क द्वारा मान्यता प्राप्त पैटर्न की कल्पना करने के लिए बहुत उपयोगी तरीके प्रदान करता है।

उनके काम से लिए गए अगले स्लाइड शो में, पहली को छोड़कर, प्रत्येक तस्वीर में दो हिस्से हैं। दाईं ओर आपको उन थंबनेल के उदाहरण दिखाई देंगे, जिन्होंने एक विशेष सुविधा डिटेक्टर को दृढ़ता से सक्रिय किया है। वे नौ में एकत्र किए जाते हैं - और प्रत्येक समूह अपने स्वयं के डिटेक्टर से मेल खाता है। बाईं ओर एक मानचित्र है जो वास्तव में दिखा रहा है कि इस थंबनेल में कौन से पिक्सेल मैच के लिए सबसे अधिक जिम्मेदार हैं। यह पांचवीं परत पर विशेष रूप से स्पष्ट है, क्योंकि वहाँ फीचर डिटेक्टर हैं जो कुत्तों, लोगो, पहियों, और इतने पर दृढ़ता से प्रतिक्रिया करते हैं।


पहली परत - सरल पैटर्न और रूपों


दूसरी परत - उत्तम संरचना दिखाने के लिए शुरू


तीसरी परत ऐसी कार के पहिये, मधुकोष या यहां तक कि लोगों को छाया के रूप में अधिक जटिल आकार, को पहचान सकते हैं पर डिटेक्टरों संकेत


चौथी परत जटिल रूपों को भेदने में सक्षम है, जैसे कि कुत्तों के चेहरे या पक्षियों के पैर।


पांचवीं परत बहुत जटिल रूप दे सकती है।

छवियों को देखकर, आप देख सकते हैं कि प्रत्येक बाद की परत तेजी से जटिल पैटर्न को कैसे पहचानने में सक्षम है। पहली परत सरल पैटर्न को पहचानती है जो कुछ भी पसंद नहीं है। दूसरा बनावट और सरल आकृतियों को पहचानता है। तीसरी परत तक, पहिए और लाल-नारंगी गोले (टमाटर, भिंडी, कुछ और) जैसे पहचानने योग्य रूप दिखाई देते हैं।

पहली परत में, ग्रहणशील क्षेत्र का पक्ष 11 है, और बाद के लोगों में, तीन से पांच तक। लेकिन याद रखें, बाद की परतें पहले के परतों द्वारा उत्पन्न फीचर मैप को पहचानती हैं, इसलिए उनका प्रत्येक "पिक्सेल" मूल छवि के कई पिक्सेल को दर्शाता है। इसलिए, प्रत्येक परत के ग्रहणशील क्षेत्र में पिछली परतों की तुलना में पहली छवि का एक बड़ा हिस्सा शामिल होता है। यह इस कारण का हिस्सा है कि बाद की परतों में थंबनेल पहले की तुलना में अधिक जटिल दिखते हैं।

नेटवर्क की पांचवीं, अंतिम परत तत्वों की प्रभावशाली बड़ी रेंज को पहचानने में सक्षम है। उदाहरण के लिए, इस छवि को देखें जिसे मैंने पांचवें परत के अनुरूप छवि के ऊपरी दाएं कोने से चुना है:



दाईं ओर की नौ तस्वीरें एक जैसी नहीं हो सकती हैं। लेकिन अगर आप बाईं ओर नौ हीटमैप को देखेंगे, तो आप देखेंगे कि यह फीचर डिटेक्टर तस्वीरों के अग्रभूमि में मौजूद वस्तुओं पर ध्यान केंद्रित नहीं करता है। इसके बजाय, वह उनमें से प्रत्येक की पृष्ठभूमि में घास पर ध्यान केंद्रित करता है!

जाहिर है, एक घास डिटेक्टर उपयोगी है यदि आप जिन श्रेणियों की पहचान करने की कोशिश कर रहे हैं उनमें से एक "घास" है, लेकिन यह कई अन्य श्रेणियों के लिए उपयोगी हो सकता है। पांच संकेंद्रित परतों के बाद, एलेक्सनेट की तीन परतें पूरी तरह से जुड़ी हुई हैं, जैसे कि हस्तलिपि पहचान के लिए हमारा नेटवर्क। ये परतें पांच संकेंद्रित परतों द्वारा जारी किए गए प्रत्येक फ़ीचर नक्शे की जांच करती हैं, जो 1000 संभावित श्रेणियों में से एक में छवि को वर्गीकृत करने की कोशिश कर रहा है।

इसलिए अगर पृष्ठभूमि में घास है, तो एक उच्च संभावना के साथ छवि में एक जंगली जानवर होगा। दूसरी ओर, अगर पृष्ठभूमि में घास है, तो घर में फर्नीचर की एक छवि होने की संभावना कम है। ये और अन्य पांचवीं परत फीचर डिटेक्टर फोटो की संभावित सामग्री के बारे में एक टन जानकारी प्रदान करते हैं। नेटवर्क की अंतिम परतें इस जानकारी को संश्लेषित करती हैं ताकि तस्वीर में आम तौर पर दर्शाए गए तथ्य के बारे में तथ्य-समर्थित अनुमान प्रदान किया जा सके।

क्या अलग-अलग परतों को अलग बनाता है: आम इनपुट वज़न

हमने देखा है कि कन्वेन्शन लेयर्स पर फ़ीचर डिटेक्टर प्रभावशाली पैटर्न पहचान को दर्शाते हैं, लेकिन अभी तक मैंने यह नहीं बताया है कि वास्तव में कन्वेन्शनल नेटवर्क कैसे काम करते हैं।

दृढ़ परत (एसएस) में न्यूरॉन्स होते हैं। वे, किसी भी न्यूरॉन्स की तरह, इनपुट पर एक भारित औसत लेते हैं और सक्रियण फ़ंक्शन का उपयोग करते हैं। पैरामीटर को वापस प्रसार तकनीकों का उपयोग करके प्रशिक्षित किया जाता है।

लेकिन, पिछले एनएस के विपरीत, एसएस पूरी तरह से जुड़ा नहीं है। प्रत्येक न्यूरॉन पिछली परत से न्यूरॉन्स के एक छोटे से अंश से इनपुट प्राप्त करता है। और, महत्वपूर्ण रूप से, दृढ़ नेटवर्क न्यूरॉन्स में सामान्य इनपुट वजन होता है।

आइए पहले एलेक्सनेट एसएस के पहले न्यूरॉन को अधिक विस्तार से देखें। इस परत के ग्रहणशील क्षेत्र का आकार 11x11 पिक्सेल है, इसलिए पहला न्यूरॉन छवि के एक कोने में 11x11 पिक्सेल के वर्ग का अध्ययन करता है। इस न्यूरॉन को इस 121 पिक्सेल से इनपुट प्राप्त होता है, और प्रत्येक पिक्सेल के तीन मूल्य होते हैं - लाल, हरा और नीला। इसलिए, सामान्य तौर पर, न्यूरॉन में 363 इनपुट पैरामीटर होते हैं। किसी भी न्यूरॉन की तरह, यह 363 मापदंडों का भारित औसत लेता है, और उनके लिए एक सक्रियण फ़ंक्शन लागू करता है। और, चूंकि इनपुट पैरामीटर 363 हैं, इसलिए वजन मापदंडों को भी 363 की आवश्यकता होती है।

पहली परत का दूसरा न्यूरॉन पहले जैसा है। वह 11x11 पिक्सेल के वर्गों का भी अध्ययन करता है, लेकिन उसके ग्रहणशील क्षेत्र को पहले के सापेक्ष चार पिक्सेल द्वारा स्थानांतरित किया जाता है। दो क्षेत्रों में 7 पिक्सेल का ओवरलैप है, इसलिए नेटवर्क दो वर्गों के जंक्शन में गिर गए दिलचस्प पैटर्न की दृष्टि नहीं खोता है। दूसरा न्यूरॉन 11x11 वर्ग का वर्णन करते हुए 363 पैरामीटर भी लेता है, उनमें से प्रत्येक को वजन से गुणा करता है, सक्रियण फ़ंक्शन को जोड़ता है और लागू करता है।

लेकिन 363 वज़न के एक अलग सेट का उपयोग करने के बजाय, दूसरा न्यूरॉन पहले के समान वज़न का उपयोग करता है। पहले न्यूरॉन के शीर्ष बाएं पिक्सेल दूसरे के शीर्ष बाएँ पिक्सेल के समान भार का उपयोग करता है। इसलिए, दोनों न्यूरॉन्स एक ही पैटर्न की तलाश कर रहे हैं; उनके ग्रहणशील क्षेत्रों को बस एक दूसरे के सापेक्ष 4 पिक्सेल स्थानांतरित कर दिया जाता है।

स्वाभाविक रूप से, दो से अधिक न्यूरॉन्स होते हैं: 55x55 जाली में 3025 न्यूरॉन्स होते हैं। उनमें से प्रत्येक पहले दो के रूप में 363 वजन के समान सेट का उपयोग करता है। एक साथ, सभी न्यूरॉन्स एक फीचर डिटेक्टर बनाते हैं जो वांछित पैटर्न के लिए तस्वीर को "स्कैन" करता है, जो कहीं भी स्थित हो सकता है।

याद रखें कि पहली एलेक्सनेट परत में 96 फ़ीचर डिटेक्टर होते हैं। मैंने जिन 3025 न्यूरॉन्स का उल्लेख किया है, वे इन 96 डिटेक्टरों में से एक हैं। शेष 95 में से प्रत्येक 3025 न्यूरॉन्स का एक अलग समूह है। 3025 न्यूरॉन्स के प्रत्येक समूह में 363 वज़न के एक सामान्य सेट का उपयोग किया जाता है - हालांकि, 95 समूहों में से प्रत्येक के लिए यह अपना है।

एचएफ को उसी बैकप्रॉपैगैशन का उपयोग करके प्रशिक्षित किया जाता है जो पूरी तरह से जुड़े नेटवर्क के लिए उपयोग किया जाता है, लेकिन दृढ़ संरचना संरचना सीखने की प्रक्रिया को अधिक कुशल और प्रभावी बनाती है।

रक्षा और प्राधिकरण के विशेषज्ञ सीन गेरिश ने कहा, "दृढ़ संकल्प का उपयोग करने से मापदंडों का पुन: उपयोग किया जा सकता है।" यह नेटवर्क द्वारा सीखने वाले इनपुट वेट की संख्या को काफी कम कर देता है, जो इसे कम प्रशिक्षण उदाहरणों के साथ बेहतर परिणाम देने की अनुमति देता है।

छवि के एक हिस्से पर सीखने से छवि के अन्य हिस्सों में समान पैटर्न की बेहतर पहचान होती है। यह नेटवर्क को बहुत कम प्रशिक्षण उदाहरणों पर उच्च प्रदर्शन प्राप्त करने की अनुमति देता है।

लोगों को जल्दी से गहरी दृढ़ नेटवर्क की शक्ति का एहसास हुआ।

एलेक्सनेट का काम मॉस्को क्षेत्र के शैक्षणिक समुदाय में एक सनसनी बन गया, लेकिन आईटी उद्योग में इसका महत्व जल्दी से समझ में आ गया। Google को विशेष रूप से उसकी दिलचस्पी थी।

2013 में, Google ने लेखकों एलेक्सनेट द्वारा स्थापित एक स्टार्टअप का अधिग्रहण किया। Google फ़ोटो में एक नई फ़ोटो खोज सुविधा जोड़ने के लिए कंपनी ने इस तकनीक का उपयोग किया। "हमने उन्नत शोध किया और इसे छह महीने बाद परिचालन में लाया," गूगल के चक रोसेनबर्ग ने लिखा।

इस बीच, 2013 में, यह बताया गया कि Google किस तरह से Google स्ट्रीट व्यू की तस्वीरों से पतों को पहचानने के लिए GSS का उपयोग करता है। "हमारी प्रणाली ने हमें इन चित्रों से लगभग 100 मिलियन भौतिक पते निकालने में मदद की," लेखकों ने लिखा।

शोधकर्ताओं ने पाया कि एनएस की प्रभावशीलता बढ़ती गहराई के साथ बढ़ती है। "हमने पाया कि एसएनए की गहराई के साथ इस दृष्टिकोण की प्रभावशीलता बढ़ जाती है, और हमने जिन आर्किटेक्चर को प्रशिक्षित किया है उनमें से सबसे अच्छे परिणाम दिखाते हैं," Google स्ट्रीट व्यू टीम ने लिखा। "हमारे प्रयोगों का सुझाव है कि गहरे आर्किटेक्चर अधिक सटीकता का उत्पादन कर सकते हैं, लेकिन दक्षता में मंदी के साथ।"

इसलिए एलेक्सनेट के बाद, नेटवर्क और गहरा होने लगा। Google टीम ने 2014 में प्रतियोगिता में एक बोली लगाई - 2012 में एलेक्सनेट के जीतने के दो साल बाद। यह भी एक गहरे SNA पर आधारित था, लेकिन गोलगेज ने 22 परतों के एक बहुत गहरे नेटवर्क का उपयोग करके एक त्रुटि दर प्राप्त की 6.7% - यह एलेक्सनेट के 16% की तुलना में एक बड़ा सुधार था।

लेकिन एक ही समय में, गहरे नेटवर्क ने केवल प्रशिक्षण डेटा के बड़े सेट के साथ बेहतर काम किया। इसलिए, गिरीश का कहना है कि इमेजनेट डेटासेट और प्रतियोगिता ने एसएनए की सफलता में प्रमुख भूमिका निभाई। याद रखें कि ImageNet प्रतियोगिता में, प्रतिभागियों को एक मिलियन चित्र दिए जाते हैं और उन्हें 1,000 श्रेणियों में क्रमबद्ध करने के लिए कहा जाता है।

"यदि आपके पास प्रशिक्षण के लिए एक लाख छवियां हैं, तो प्रत्येक वर्ग में 1,000 छवियां शामिल हैं," गेरिश ने कहा। इतने बड़े डेटासेट के बिना, उन्होंने कहा, "आपके पास नेटवर्क के प्रशिक्षण के लिए बहुत सारे विकल्प होंगे।"

हाल के वर्षों में, विशेषज्ञ गहन और अधिक सटीक नेटवर्क के प्रशिक्षण के लिए बड़ी मात्रा में डेटा एकत्र करने पर ध्यान केंद्रित कर रहे हैं। यही कारण है कि रोबोट कारों को विकसित करने वाली कंपनियां सार्वजनिक सड़कों पर चलने पर ध्यान केंद्रित करती हैं - इन यात्राओं की छवियां और वीडियो मुख्यालय को भेजे जाते हैं और कॉर्पोरेट एनएस को प्रशिक्षित करने के लिए उपयोग किया जाता है।

कम्प्यूटिंग डीप लर्निंग बूम

इस तथ्य की खोज कि गहरे नेटवर्क और बड़े डेटासेट एनएस के प्रदर्शन में सुधार कर सकते हैं, ने अधिक से अधिक कंप्यूटिंग शक्ति के लिए एक अतृप्त प्यास पैदा की है। एलेक्सनेट की सफलता के मुख्य घटकों में से एक यह विचार था कि एनएस प्रशिक्षण में मैट्रिक्स प्रशिक्षण का उपयोग किया जाता है, जिसे अच्छी तरह से समानांतर जीपीयू पर कुशलतापूर्वक प्रदर्शन किया जा सकता है।

एक शोधकर्ता जेई टेन ने कहा, "एनएस अच्छी तरह से समानांतर हैं।" ग्राफिक्स कार्ड - वीडियो गेम के लिए जबरदस्त समानांतर प्रसंस्करण शक्ति प्रदान करना - एनएस के लिए उपयोगी साबित हुआ है।

"जीपीयू के काम का केंद्रीय हिस्सा, बहुत तेज मैट्रिक्स गुणा, नेशनल असेंबली के काम का केंद्रीय हिस्सा निकला," टेन ने कहा।

यह सब GPU, Nvidia और AMD के अग्रणी निर्माताओं के लिए सफल रहा है। दोनों कंपनियों ने विशेष रूप से MO एप्लिकेशन की आवश्यकताओं के अनुरूप नए चिप्स विकसित किए हैं, और अब AI एप्लिकेशन इन कंपनियों के GPU बिक्री के एक महत्वपूर्ण हिस्से के लिए जिम्मेदार हैं।

2016 में, Google ने नेशनल असेंबली को संचालित करने के लिए डिज़ाइन की गई एक विशेष चिप, टेन्सर प्रोसेसिंग यूनिट (TPU) बनाने की घोषणा की। कंपनी के एक प्रतिनिधि ने पिछले साल लिखा था , "हालांकि 2006 में Google विशेष-उद्देश्य एकीकृत सर्किट (ASIC) बनाने की संभावना पर विचार कर रहा था, 2013 में यह स्थिति तत्काल बन गई।" "ऐसा तब था जब हमने महसूस किया था कि कंप्यूटिंग शक्ति के लिए नेशनल असेंबली की तेजी से बढ़ती जरूरतों के लिए हमें अपने पास मौजूद डेटा सेंटरों की संख्या दोगुनी करनी पड़ सकती है।"

पहले, केवल Google की स्वयं की सेवाओं की TPUs तक पहुंच थी, लेकिन बाद में कंपनी ने क्लाउड कंप्यूटिंग प्लेटफॉर्म के माध्यम से सभी को इस तकनीक का उपयोग करने की अनुमति दी।

बेशक, एआई चिप्स पर काम करने वाली Google एकमात्र कंपनी नहीं है। बस कुछ उदाहरण: iPhone चिप्स के नवीनतम संस्करणों में एक "तंत्रिका कोर" है जिसे एनएस के साथ संचालन के लिए अनुकूलित किया गया है। इंटेल GO के लिए अनुकूलित चिप्स की अपनी लाइन विकसित कर रहा है । टेस्ला ने हाल ही में एनवीडिया से अपने स्वयं के एनएस चिप्स के पक्ष में चिप्स की अस्वीकृति की घोषणा की। अमेज़न भी अपने एआई चिप्स पर काम कर रहा है ।

क्यों गहरे तंत्रिका नेटवर्क को समझना मुश्किल है

मैंने समझाया कि तंत्रिका नेटवर्क कैसे काम करते हैं, लेकिन मैंने यह नहीं बताया कि वे इतनी अच्छी तरह से क्यों काम करते हैं। यह स्पष्ट नहीं है कि वास्तव में मैट्रिक्स गणना की विशाल मात्रा एक कंप्यूटर सिस्टम को एक चीता से जगुआर और करंट से बुजुर्ग को अलग करने की अनुमति देती है।

शायद नेशनल असेंबली का सबसे उल्लेखनीय गुण यह है कि वे ऐसा नहीं करते हैं। वार्तालाप एनएस को हाइफ़न को समझने की अनुमति देता है - वे बता सकते हैं कि छवि के ऊपरी दाएं कोने से छवि किसी अन्य छवि के ऊपरी बाएं कोने में छवि के समान है या नहीं।

लेकिन साथ ही, एसएनए का ज्यामिति के बारे में कोई विचार नहीं है। यदि वे 45 डिग्री घुमाए गए या दोगुने हैं, तो वे दो चित्रों की समानता को नहीं पहचान सकते। SNA वस्तुओं के त्रि-आयामी संरचना को समझने की कोशिश नहीं करता है, और विभिन्न प्रकाश व्यवस्था की स्थितियों को ध्यान में नहीं रख सकता है।

लेकिन एक ही समय में, एनएस आगे और पीछे दोनों तरफ से ली गई कुत्तों की तस्वीरों को पहचान सकते हैं, और इससे कोई फर्क नहीं पड़ता कि कुत्ते छवि के एक छोटे हिस्से पर कब्जा कर रहे हैं, या एक बड़ा। वे इसे कैसे करते हैं? यह पता चला है कि यदि पर्याप्त डेटा है, तो प्रत्यक्ष गणना के साथ एक सांख्यिकीय दृष्टिकोण कार्य के साथ सामना कर सकता है। SNA को इसलिए डिज़ाइन नहीं किया गया है कि यह "कल्पना" कर सकता है कि किसी विशेष छवि को अलग कोण से या अलग-अलग स्थितियों में कैसे देखा जाएगा, लेकिन पर्याप्त संख्या में लेबल किए गए उदाहरणों के साथ, यह सरल पुनरावृत्ति द्वारा छवि के सभी संभावित बदलावों को सीख सकता है।

इस बात के प्रमाण हैं कि लोगों की दृश्य प्रणाली एक समान तरीके से काम करती है। कुछ चित्रों को देखें - पहले ध्यान से अध्ययन करें, और फिर दूसरा खोलें।


पहला फोटो



छवि के निर्माता ने किसी की तस्वीर ली और उसकी आंखों और मुंह को उलट दिया। जब आप इसे उल्टा देखते हैं तो तस्वीर अपेक्षाकृत सामान्य लगती है, क्योंकि इस स्थिति में आंखों और मुंह को देखने के लिए मानव दृश्य प्रणाली का उपयोग किया जाता है। लेकिन अगर आप चित्र को सही अभिविन्यास में देखते हैं, तो आप तुरंत देख सकते हैं कि चेहरा अजीब रूप से विकृत है।

इससे पता चलता है कि मानव दृश्य प्रणाली एनएस के समान क्रूड पैटर्न मान्यता तकनीकों पर आधारित है। यदि हम किसी ऐसी चीज को देखते हैं जो लगभग हमेशा एक अभिविन्यास में दिखाई देती है - मानव आंख - हम इसे उसके सामान्य अभिविन्यास में बेहतर पहचान सकते हैं।

एनएस अच्छी तरह से उन पर उपलब्ध सभी संदर्भों का उपयोग करके छवियों को पहचानते हैं। उदाहरण के लिए, कारें आमतौर पर सड़कों पर चलती हैं। कपड़े आमतौर पर एक महिला के शरीर पर पहने जाते हैं या एक कोठरी में लटकाए जाते हैं। विमान आमतौर पर आकाश के खिलाफ गोली मारते हैं या वे रनवे पर शासन करते हैं। कोई भी विशेष रूप से एनएस को इन सहसंबंधों को नहीं सिखाता है, लेकिन पर्याप्त संख्या में लेबल किए गए उदाहरणों के साथ, नेटवर्क स्वयं उन्हें सीख सकता है।

2015 में, Google के शोधकर्ताओं ने एनएस को बेहतर ढंग से समझने की कोशिश की, "उन्हें पीछे की तरफ चलाना।" एनएस प्रशिक्षण के लिए चित्रों का उपयोग करने के बजाय, उन्होंने चित्रों को बदलने के लिए प्रशिक्षित एनएस का उपयोग किया। उदाहरण के लिए, उन्होंने यादृच्छिक शोर वाली छवि के साथ शुरुआत की, और फिर धीरे-धीरे इसे बदल दिया ताकि यह एनएस के आउटपुट न्यूरॉन्स में से एक को सक्रिय रूप से सक्रिय कर दे - वास्तव में, उन्होंने एनएस से उन श्रेणियों में से एक को "आकर्षित" करने के लिए कहा, जिसे पहचानना सिखाया गया था। एक दिलचस्प मामले में, उन्होंने NS को उन चित्रों को उत्पन्न करने के लिए मजबूर किया जो NS सक्रिय करते हैं, डम्बल पहचानने के लिए प्रशिक्षित होते हैं।



"निश्चित रूप से, यहां डम्बल हैं, लेकिन डंबल की एक भी छवि पूरी नहीं होती है कि एक मांसल पेशी रोल उन्हें उठाने की उपस्थिति के बिना पूरा होता है," Google शोधकर्ताओं ने लिखा है।

पहली नज़र में यह अजीब लग रहा है, लेकिन वास्तव में यह इतना अलग नहीं है कि लोग क्या करते हैं। यदि हमें चित्र में कोई छोटी या धुंधली वस्तु दिखाई देती है, तो हम यह समझने के लिए उसके परिवेश में एक सुराग ढूंढते हैं कि वहाँ क्या हो सकता है। लोग, स्पष्ट रूप से, चित्रों के बारे में अलग-अलग बात करते हैं, उनके आसपास की दुनिया की एक जटिल वैचारिक समझ का उपयोग करते हैं। लेकिन अंत में, एसटीएस छवियों को अच्छी तरह से पहचानता है, क्योंकि वे उन पर चित्रित पूरे संदर्भ का पूरा लाभ उठाते हैं, और यह बहुत अलग नहीं है कि लोग इसे कैसे करते हैं।