नया साल करीब आ रहा है, 2010 जल्द ही समाप्त हो जाएगा, जिससे दुनिया को तंत्रिका नेटवर्क का सनसनीखेज पुनर्जागरण मिलेगा। मैं एक सरल विचार से नींद से परेशान और वंचित था: "तंत्रिका नेटवर्क के विकास की गति का अनुमान कैसे लगाया जा सकता है?" "जो अतीत को जानता है वह भविष्य को जानता है"। अलग-अलग एल्गोरिदम ने कितनी जल्दी उड़ान भरी? इस क्षेत्र में प्रगति की गति का मूल्यांकन कोई कैसे कर सकता है और अगले दशक में प्रगति की गति का अनुमान लगा सकता है।



यह स्पष्ट है कि आप विभिन्न क्षेत्रों में लेखों की संख्या की मोटे तौर पर गणना कर सकते हैं। विधि आदर्श नहीं है, आपको उप-डोमेन को ध्यान में रखने की आवश्यकता है, लेकिन सामान्य तौर पर आप कोशिश कर सकते हैं। मैं एक विचार देता हूं, Google विद्वान (बैचनॉर्म) पर यह काफी वास्तविक है! आप नए डेटासेट पर विचार कर सकते हैं, आप नए कोर्स कर सकते हैं। आपका विनम्र नौकर, कई विकल्पों के माध्यम से हल किया गया , Google रुझान (बैचनॉर्म) पर बसा।

मेरे सहयोगियों और मैंने मुख्य एमएल / डीएल प्रौद्योगिकियों से अनुरोध लिया, उदाहरण के लिए, बैच सामान्यीकरण , जैसा कि ऊपर की तस्वीर में है, लेख के प्रकाशन की तिथि को एक डॉट के साथ जोड़ा, और विषय की लोकप्रियता को दूर करने के लिए काफी समय मिला। लेकिन उन सभी के लिए नहीं, रास्ता गुलाबों से भरा हुआ है, टेक-ऑफ इतना स्पष्ट और सुंदर है, जैसे चमगादड़। कुछ शर्तें, जैसे नियमितीकरण या स्किप कनेक्शन, डेटा शोर के कारण बिलकुल नहीं बनाई जा सकती हैं। लेकिन सामान्य तौर पर, हम रुझानों को इकट्ठा करने में कामयाब रहे।

कौन परवाह करता है कि क्या हुआ - कटौती में आपका स्वागत है!

इसके बजाय परिचय या छवि मान्यता के बारे में

तो! प्रारंभिक डेटा काफी शोर थे, कभी-कभी तेज चोटियां थीं।
स्रोत: आंद्रेई करपाती ट्विटर - छात्रों को विशाल तंत्रिका नेटवर्क पर एक व्याख्यान सुनने के लिए एक विशाल दर्शकों की गलियों में खड़ा है

परंपरागत रूप से, एंड्रे करपाटी के लिए पौराणिक CS231n का व्याख्यान देने के लिए यह पर्याप्त था : एक तेज चोटी कैसे चल रही है, इस अवधारणा के लोकप्रियकरण के साथ 750 लोगों के लिए दृश्य मान्यता के लिए संवादात्मक तंत्रिका नेटवर्क । इसलिए, डेटा को एक साधारण बॉक्स-फ़िल्टर के साथ बाहर निकाला गया था (सभी चिकनी बाहरी को धुरी पर चिकना के रूप में चिह्नित किया गया है)। चूंकि हम लोकप्रियता की वृद्धि दर की तुलना करने में रुचि रखते थे - चौरसाई के बाद, सभी डेटा सामान्य हो गए थे। यह बहुत मजेदार निकला। यहाँ ImageNet पर प्रतिस्पर्धा करने वाले मुख्य आर्किटेक्चर का एक ग्राफ है:


स्रोत: इसके बाद - Google रुझान के अनुसार लेखक की गणना

ग्राफ बहुत स्पष्ट रूप से दिखाता है कि एलेक्सनेट द्वारा सनसनीखेज प्रकाशन के बाद, जिसने 2012 के अंत में तंत्रिका नेटवर्क के वर्तमान प्रचार के दलिया को पीसा था, लगभग दो वर्षों के लिए यह ढेर के जोर के बावजूद अलग हो गया था कि विशेषज्ञों का केवल एक अपेक्षाकृत संकीर्ण चक्र शामिल हो गया था । यह विषय केवल 2014-2015 की सर्दियों में आम जनता के लिए गया था। इस बात पर ध्यान दें कि 2017 से समय-समय पर शेड्यूल कैसा हो जाता है: आगे हर वसंत में चोटियां मिलती हैं। मनोचिकित्सा में, इसे स्प्रिंग एक्ससेर्बेशन कहा जाता है ... यह एक निश्चित संकेत है कि अब यह शब्द ज्यादातर छात्रों द्वारा उपयोग किया जाता है, और लोकप्रियता के चरम की तुलना में एलेक्सनेट में रुचि कम हो जाती है।

इसके अलावा, 2014 की दूसरी छमाही में, वीजीजी दिखाई दिया। वैसे, वीजीजी ने मेरे पूर्व छात्र करेन सिमोनियन के अध्ययन के पर्यवेक्षक के साथ सह-लेखक किया, अब Google DeepMind ( AlphaGo , AlphaZero , आदि) में काम कर रहा है। 3 वर्ष पर मॉस्को स्टेट यूनिवर्सिटी में अध्ययन करते हुए, करेन ने एक अच्छा मोशन एस्टीमेशन एल्गोरिदम लागू किया, जो 12 साल से 2-वर्षीय छात्रों के लिए एक संदर्भ के रूप में सेवा कर रहा है। इसके अलावा, वहाँ कार्य कुछ हद तक समान हैं। की तुलना करें:


स्रोत: मोशन एस्टीमेशन कार्यों (लेखक सामग्री) और वीजीजी -56 के लिए नुकसान समारोह

बाईं ओर आपको माप की न्यूनतम संख्या के लिए इनपुट डेटा के आधार पर एक nontrivial सतह में सबसे गहरा बिंदु खोजने की आवश्यकता है (कई स्थानीय minima संभव हैं), और दाईं ओर आपको न्यूनतम गणना के साथ एक कम बिंदु खोजने की आवश्यकता है (और स्थानीय minima का एक गुच्छा भी है, और सतह भी डेटा पर निर्भर करती है) । बाईं ओर, हमें अनुमानित गति वेक्टर, और दाईं ओर, प्रशिक्षित नेटवर्क मिलता है। और अंतर यह है कि बाईं ओर केवल रंग स्थान का एक अंतर्निहित माप है, और दाईं ओर सैकड़ों करोड़ से माप की एक जोड़ी है। खैर, दाईं ओर कम्प्यूटेशनल जटिलता परिमाण के 12 आदेश हैं (!)। उस तरह थोड़ा सा ... लेकिन दूसरे साल, यहां तक ​​कि एक साधारण कार्य के साथ, जैसे कि ... [सेंसरशिप द्वारा काट दिया गया]। और पिछले 15 वर्षों में अज्ञात कारणों से कल के स्कूली बच्चों की प्रोग्रामिंग का स्तर स्पष्ट रूप से गिर गया है। उनका कहना है: "आप इसे अच्छी तरह से करेंगे, वे आपको दीपमंडी ले जाएंगे!" कोई कह सकता है कि "वीजीजी का आविष्कार करें", लेकिन "वे दीपमंडी में ले जाएंगे" किसी कारण से बेहतर तरीके से प्रेरित होते हैं। यह, जाहिर है, क्लासिक का एक आधुनिक उन्नत एनालॉग है "आप सूजी खाएंगे, आप एक अंतरिक्ष यात्री बन जाएंगे"। हालांकि, हमारे मामले में, अगर हम देश में बच्चों की संख्या और कॉस्मोनॉट वाहिनी के आकार की गणना करते हैं, तो संभावना लाखों गुना अधिक है, क्योंकि हम में से दो पहले से ही हमारी प्रयोगशाला से दीपमाइंड पर काम करते हैं।

नेक्स्ट रेनेट , लेयर की संख्या के लिए बार को तोड़कर छह महीने के बाद बंद करना शुरू कर देता है। और अंत में, DenseNet, जो प्रचार की शुरुआत में आई थी, ResNet की तुलना में लगभग तुरंत, यहां तक ​​कि कूलर से भी दूर ले गई।

यदि हम लोकप्रियता के बारे में बात कर रहे हैं, तो मैं नेटवर्क की विशेषताओं और प्रदर्शन के बारे में कुछ शब्द जोड़ना चाहूंगा, जिस पर लोकप्रियता भी निर्भर करती है। यदि आप देखते हैं कि नेटवर्क पर संचालन की संख्या के आधार पर ImageNet वर्ग की भविष्यवाणी कैसे की जाती है, तो लेआउट इस तरह होगा (उच्चतर और बाईं ओर - बेहतर):


स्रोत: प्रतिनिधि डीप न्यूरल नेटवर्क आर्किटेक्चर का बेंचमार्क विश्लेषण

टाइप एलेक्सनेट अब एक केक नहीं है, और वे रेसनेट पर आधारित नेटवर्क पर राज करते हैं। हालांकि, यदि आप मेरे दिल के करीब एफपीएस के व्यावहारिक मूल्यांकन को देखते हैं, तो आप स्पष्ट रूप से देख सकते हैं कि वीजीजी यहां इष्टतम के करीब है, और सामान्य तौर पर, संरेखण काफ़ी बदलता है। Pareto- इष्टतम लिफाफे पर एलेक्सनेट अप्रत्याशित रूप से शामिल है (क्षैतिज पैमाने लघुगणक है, ऊपर और दाईं ओर बेहतर है):


स्रोत: प्रतिनिधि डीप न्यूरल नेटवर्क आर्किटेक्चर का बेंचमार्क विश्लेषण

कुल:

• आने वाले वर्षों में, तंत्रिका नेटवर्क त्वरक की प्रगति के कारण उच्च संभावना वाले आर्किटेक्चर का संरेखण काफी बदल जाएगा, जब कुछ आर्किटेक्चर बास्केट में जाते हैं और कुछ अचानक बंद हो जाते हैं, बस इसलिए कि नए हार्डवेयर पर लेटना बेहतर होता है। उदाहरण के लिए, उल्लेखित लेख में , NVIDIA टाइटन एक्स पास्कल और एनवीआईडीआई जेटसन TX1 बोर्ड पर एक तुलना की जाती है, और लेआउट बिल्कुल बदल जाता है। इसी समय, टीपीयू, एनपीयू और अन्य की प्रगति अभी शुरू हुई है।
  
• एक प्रैक्टिशनर के रूप में, मैं मदद नहीं कर सकता, लेकिन ध्यान दें कि ImageNet पर तुलना ImageNet-1k पर डिफ़ॉल्ट रूप से की जाती है, और ImageNet-22k पर नहीं, केवल इसलिए कि ज्यादातर ImageNet-1k पर अपने नेटवर्क को प्रशिक्षित करते हैं, जहां 22 गुना कम कक्षाएं होती हैं (यह) दोनों आसान और तेज)। ImageNet-22k पर स्विच करना, जो कई व्यावहारिक अनुप्रयोगों के लिए अधिक प्रासंगिक है, संरेखण को भी बदल देगा (उन लोगों के लिए जो 1k - बहुत से तेज होते हैं)।
  

प्रौद्योगिकी और वास्तुकला में गहरा

हालांकि, वापस प्रौद्योगिकी के लिए। खोज शब्द के रूप में ड्रॉपआउट शब्द काफी शोर है, लेकिन 5 गुना विकास स्पष्ट रूप से तंत्रिका नेटवर्क से जुड़ा हुआ है। और इसमें रुचि में गिरावट Google पेटेंट और नए तरीकों के आगमन के साथ सबसे अधिक संभावना है। कृपया ध्यान दें कि मूल लेख के प्रकाशन में लगभग डेढ़ साल का समय बीत चुका है।


हालांकि, अगर हम लोकप्रियता में वृद्धि से पहले की अवधि के बारे में बात करते हैं, तो डीएल में पहले स्थानों में से एक स्पष्ट रूप से आवर्तक नेटवर्क और LSTM द्वारा लिया गया है:


लोकप्रियता के मौजूदा चरम से 20 साल पहले, और अब, उनके उपयोग के साथ, मशीन अनुवाद और जीनोम विश्लेषण में नाटकीय रूप से सुधार हुआ है, और निकट भविष्य में (यदि आप मेरे क्षेत्र से लेते हैं), YouTube, नेटफ्लिक्स ट्रैफ़िक एक ही दृश्य गुणवत्ता के साथ दो बार गिर जाएगा। यदि आप इतिहास के पाठों को सही ढंग से सीखते हैं, तो यह स्पष्ट है कि लेखों के वर्तमान शाफ्ट से विचारों का हिस्सा केवल 20 वर्षों के बाद "हटा" देगा। एक स्वस्थ जीवन शैली का नेतृत्व करें, अपना ख्याल रखें, और आप इसे व्यक्तिगत रूप से देखेंगे!

अब वादा किए गए प्रचार के करीब। GANs ने इस तरह से लिया उतार:


यह स्पष्ट रूप से देखा जा सकता है कि लगभग एक साल तक पूरी तरह से चुप्पी थी और केवल 2016 में, 2 साल बाद, एक तेज वृद्धि शुरू हुई (परिणामों में उल्लेखनीय सुधार हुआ)। एक साल बाद हुए इस टेकऑफ ने सनसनीखेज डीपफेक दिया, जो हालांकि 1.5 साल का भी था। यही है, यहां तक ​​कि बहुत ही आशाजनक प्रौद्योगिकियों को एक विचार से अनुप्रयोगों तक पहुंचने के लिए महत्वपूर्ण समय की आवश्यकता होती है जो हर कोई उपयोग कर सकता है।

यदि आप देखते हैं कि मूल लेख में जीएएन को किस चित्रों से बनाया गया है और स्टाइलगैन के साथ क्या बनाया जा सकता है, तो यह काफी स्पष्ट हो जाता है कि इस तरह की चुप्पी क्यों थी। 2014 में, केवल विशेषज्ञ यह मूल्यांकन कर सकते थे कि यह कितना ठंडा था - संक्षेप में, एक अन्य नेटवर्क को नुकसान फ़ंक्शन के रूप में और उन्हें एक साथ प्रशिक्षित करें। और 2019 में, हर स्कूली बच्चे की सराहना कर सकता है कि यह कितना अच्छा है (पूरी तरह से समझे बिना कि यह कैसे किया जाता है):



आज तंत्रिका नेटवर्क द्वारा सफलतापूर्वक हल की गई बहुत सारी समस्याएं हैं, आप सबसे अच्छे नेटवर्क ले सकते हैं और प्रत्येक दिशा के लिए लोकप्रियता ग्राफ बना सकते हैं, शोर और चोटियों की खोज से निपट सकते हैं, आदि। पेड़ पर अपने विचारों को न फैलाने के लिए, हम इस चयन को विभाजन एल्गोरिदम के विषय के साथ समाप्त करेंगे, जहाँ पिछले वर्ष में आधे / अधूरे आक्षेप और एएसपीपी के विचारों ने एल्गोरिथम बेंचमार्क में खुद के लिए काफी निकाल दिया है।


यह भी ध्यान दिया जाना चाहिए कि यदि लोकप्रियता के उदय के लिए दीपलाव 1 एक वर्ष से अधिक "प्रतीक्षा" किया गया, तो दीपलाब 2 को एक वर्ष में हटा दिया गया, और दीपलाब 3 को लगभग तुरंत। यानी सामान्य तौर पर, हम समय के साथ ब्याज की वृद्धि में तेजी लाने के बारे में बात कर सकते हैं (अच्छी तरह से, या प्रतिष्ठित लेखकों की प्रौद्योगिकियों में रुचि के विकास में तेजी लाने के बारे में)।

इस सबने मिलकर निम्नलिखित वैश्विक समस्या का निर्माण किया - विषय पर प्रकाशनों की संख्या में विस्फोटक वृद्धि:


स्रोत: बहुत सारे मशीन लर्निंग पेपर?

इस वर्ष हमें प्रति दिन लगभग 150-200 लेख मिलते हैं, यह देखते हुए कि सभी arXiv-e पर प्रकाशित नहीं होते हैं। अपने स्वयं के उप-क्षेत्र में आज भी लेख पढ़ना पूरी तरह से असंभव है। नतीजतन, कई दिलचस्प विचार निश्चित रूप से नए प्रकाशनों के मलबे के नीचे दब जाएंगे, जो उनके "टेक-ऑफ" के समय को प्रभावित करेगा। हालांकि, इस क्षेत्र में कार्यरत सक्षम विशेषज्ञों की संख्या में विस्फोटक वृद्धि भी समस्या का मुकाबला करने की बहुत कम उम्मीद है।

कुल:

• इमेजनेट और डीपमाइंड की गेमिंग सफलताओं के पीछे की कहानी के अलावा, GANs ने तंत्रिका नेटवर्क के लोकप्रियकरण की एक नई लहर को जन्म दिया है। उनके साथ, कैमरे का उपयोग किए बिना अभिनेताओं को "शूट" करना वास्तव में संभव था। और क्या अधिक होगा! इस सूचनात्मक शोर के तहत, कम सोनोरस, लेकिन काफी कामकाजी प्रसंस्करण और मान्यता प्रौद्योगिकियों को वित्तपोषित किया जाएगा।
  
• जैसा कि बहुत सारे प्रकाशन हैं, हम लेखों के त्वरित विश्लेषण के लिए नए तंत्रिका नेटवर्क विधियों के उद्भव के लिए तत्पर हैं, क्योंकि केवल वे ही हमें बचाएंगे (मजाक के एक अंश के साथ एक मजाक!)।
  

काम रोबोट, खुश आदमी

अब 2 साल से, ऑटोएमएल समाचार पत्रों के पन्नों से लोकप्रियता हासिल कर रहा है। यह सब परंपरागत रूप से ImageNet के साथ शुरू हुआ, जिसमें, टॉप -1 सटीकता में, वह दृढ़ता से पहला स्थान लेने लगा:


ऑटोएमएल का सार बहुत सरल है, डेटा वैज्ञानिकों का एक शताब्दी पुराना सपना इसमें सच हो गया है - एक तंत्रिका नेटवर्क के लिए हाइपर मापदंडों का चयन करने के लिए। एक धमाके के साथ विचार का स्वागत किया गया:

नीचे ग्राफ पर हम एक दुर्लभ स्थिति देखते हैं, जब NASNet और अमीबानेट पर प्रारंभिक लेखों के प्रकाशन के बाद, वे लगभग तुरंत (पिछले विषय में एक बड़ी रुचि प्रभावित होती है) पिछले विचारों के मानकों से लोकप्रियता हासिल करना शुरू करते हैं:


सुखद चित्र कुछ बिंदुओं से खराब हो गया है। सबसे पहले, AutoML के बारे में कोई भी बातचीत वाक्यांश के साथ शुरू होती है: "यदि आपके पास GPU dofigalion है ..."। और यही समस्या है। Google, निश्चित रूप से, दावा करता है कि उनके क्लाउड ऑटोएमएल के साथ यह आसानी से हल हो गया है, मुख्य बात यह है कि आपके पास पर्याप्त पैसा है , लेकिन हर कोई इस दृष्टिकोण से सहमत नहीं है। दूसरे, यह अपूर्ण रूप से अब तक काम करता है। दूसरी ओर, गणों को याद करते हुए, पांच साल अभी तक नहीं हुए हैं, और यह विचार ही बहुत आशाजनक है।

किसी भी स्थिति में, ऑटोएमएल का मुख्य टेक-ऑफ तंत्रिका नेटवर्क के लिए हार्डवेयर त्वरक की अगली पीढ़ी के साथ शुरू होगा और वास्तव में, बेहतर एल्गोरिदम के साथ।


स्रोत: लेखक की सामग्री दिमित्री कोनोवल्चुक द्वारा छवि

कुल: वास्तव में, डेटा वैज्ञानिकों के पास शाश्वत अवकाश नहीं होगा, निश्चित रूप से, क्योंकि बहुत लंबे समय तक डेटा के साथ एक बड़ा सिरदर्द बना रहेगा। लेकिन नए साल और 2020 की शुरुआत से पहले, सपने क्यों नहीं?

औजारों के बारे में कुछ शब्द

अनुसंधान की प्रभावशीलता उपकरणों पर बहुत निर्भर है। यदि एलेक्सनेट को प्रोग्राम करने के लिए, आपको गैर-तुच्छ प्रोग्रामिंग की आवश्यकता होती है, तो आज इस तरह के नेटवर्क को नए फ्रेमवर्क में कई लाइनों में एकत्र किया जा सकता है।


यह स्पष्ट रूप से देखा जाता है कि लहरों में लोकप्रियता कैसे बदल रही है। आज, सबसे लोकप्रिय ( पेपर्सविथकोड के अनुसार ) PyTorch है । और एक बार लोकप्रिय कैफ खूबसूरती से बहुत आसानी से निकल जाता है। (नोट: विषय और सॉफ़्टवेयर का अर्थ है कि Google का विषय फ़िल्टरिंग का उपयोग साजिश रचते समय किया गया था।)

खैर, जब से हमने विकास के साधनों को छुआ है, यह नेटवर्क निष्पादन में तेजी लाने के लिए पुस्तकालयों का उल्लेख करने योग्य है:


विषय में सबसे पुराना है (सम्मान NVIDIA) cuDNN , और, सौभाग्य से डेवलपर्स के लिए, पिछले कुछ वर्षों में पुस्तकालयों की संख्या में कई बार वृद्धि हुई है, और उनकी लोकप्रियता की शुरुआत बिल्कुल स्पष्ट हो गई है। और ऐसा लगता है कि यह सब सिर्फ शुरुआत है।

कुल: यहां तक ​​कि पिछले 3 वर्षों में, उपकरण बेहतर के लिए गंभीरता से बदल गए हैं। और 3 साल पहले, आज के मानकों के अनुसार, वे बिल्कुल भी नहीं थे। प्रगति बहुत अच्छी है!

वादा किया तंत्रिका नेटवर्क संभावनाएँ

लेकिन मज़ा बाद में शुरू होता है। इस गर्मी में, एक अलग बड़े लेख में, मैंने विस्तार से वर्णन किया कि क्यों सीपीयू और यहां तक ​​कि GPU भी तंत्रिका नेटवर्क के साथ काम करने के लिए पर्याप्त कुशल नहीं हैं, क्यों अरबों डॉलर नए चिप्स के विकास में बह रहे हैं, और क्या संभावनाएं हैं। मैं खुद को नहीं दोहराऊंगा। नीचे पिछले पाठ का एक सामान्यीकरण और जोड़ है।

शुरू करने के लिए, आपको परिचित वॉन न्यूमैन आर्किटेक्चर (जिसमें वे निश्चित रूप से गणना की जा सकती हैं, लेकिन कम कुशलता से) में तंत्रिका नेटवर्क गणना और गणना के बीच के अंतर को समझने की आवश्यकता है:


स्रोत: लेखक की सामग्री दिमित्री कोनोवल्चुक द्वारा छवि

पिछली बार, मुख्य चर्चा FPGA / ASIC के आस-पास हुई थी, और गलत गणना लगभग किसी का ध्यान नहीं गई थी, इसलिए हम उन पर अधिक विस्तार से ध्यान दें। अगली पीढ़ियों के चिप्स को कम करने की बड़ी संभावनाएं गलत तरीके से पढ़ने की क्षमता में हैं (और स्थानीय स्तर पर गुणांक डेटा को स्टोर करने की क्षमता)। मोटे करना, वास्तव में, सटीक अंकगणित में भी उपयोग किया जाता है, जब नेटवर्क वेट को पूर्णांकों में परिवर्तित कर दिया जाता है, लेकिन एक नए स्तर पर। एक उदाहरण के रूप में, एकल-बिट योजक पर विचार करें (उदाहरण काफी सार है):


स्रोत: एक उच्च गति और कम शक्ति 8 बिट x 8 बिट गुणक डिजाइन का उपयोग करते हुए उपन्यास दो ट्रांजिस्टर (2T) XOR गेट्स

उसे 6 ट्रांजिस्टर की आवश्यकता है (अलग-अलग दृष्टिकोण हैं, आवश्यक ट्रांजिस्टर की संख्या अधिक और कम हो सकती है, लेकिन सामान्य तौर पर, कुछ ऐसा)। 8 बिट्स के लिए, लगभग 48 ट्रांजिस्टर की आवश्यकता होती है। इस मामले में, एनालॉग योजक को केवल 2 (दो!) ट्रांजिस्टर की आवश्यकता होती है, अर्थात। 24 गुना कम:


स्रोत: एनालॉग मल्टीप्लायर (विश्लेषण और एनालॉग एकीकृत सर्किट के डिजाइन)

यदि सटीकता अधिक है (उदाहरण के लिए, डिजिटल 10 या 16 बिट्स के बराबर), तो अंतर और भी अधिक होगा। इससे भी अधिक दिलचस्प गुणा के साथ स्थिति है! यदि एक डिजिटल 8-बिट मल्टीप्लेक्स को लगभग 400 ट्रांजिस्टर की आवश्यकता होती है, तो एक एनालॉग 6, यानी। 67 गुना (!) कम। बेशक, "एनालॉग" और "डिजिटल" ट्रांजिस्टर सर्किटरी के दृष्टिकोण से काफी अलग हैं, लेकिन यह विचार स्पष्ट है - अगर हम एनालॉग गणना की सटीकता बढ़ाने के लिए प्रबंधन करते हैं, तो हम आसानी से उस स्थिति तक पहुंच जाते हैं जब हमें मैग्नेटिक कम ट्रांजिस्टर के दो आदेशों की आवश्यकता होती है। और बिंदु आकार को कम करने में इतना अधिक नहीं है (जो कि "मूर के नियम की मंदी" के संबंध में महत्वपूर्ण है), लेकिन बिजली की खपत को कम करने में, जो मोबाइल प्लेटफार्मों के लिए महत्वपूर्ण है। और डेटा सेंटरों के लिए यह अतिश्योक्तिपूर्ण नहीं होगा।


स्रोत: आईबीएम मशीन लर्निंग में तेजी लाने के लिए एनालॉग चिप्स के बारे में सोचता है

यहां सफलता की कुंजी सटीकता में कमी होगी, और फिर से यहां आईबीएम सबसे आगे है:


स्रोत: आईबीएम रिसर्च ब्लॉग: प्रशिक्षण दीप लर्निंग सिस्टम के लिए 8-बिट परिशुद्धता

वे पहले से ही तंत्रिका नेटवर्क के लिए विशेष ASIC में लगे हुए हैं, जो GPU पर 10 गुना से अधिक श्रेष्ठता दिखाते हैं, और आने वाले वर्षों में 100 गुना श्रेष्ठता प्राप्त करने की योजना बनाते हैं। यह बहुत उत्साहजनक लग रहा है, हम वास्तव में इसके लिए तत्पर हैं, क्योंकि, मैं दोहराता हूं, यह मोबाइल उपकरणों के लिए एक सफलता होगी।

इस बीच, स्थिति इतनी जादुई नहीं है, हालांकि गंभीर सफलताएं हैं। यहाँ तंत्रिका नेटवर्क के वर्तमान मोबाइल हार्डवेयर त्वरक का एक दिलचस्प परीक्षण है (चित्र क्लिक करने योग्य है, और वह फिर से लेखक की आत्मा को गर्म करता है, प्रति सेकंड चित्रों में भी):


स्रोत: मोबाइल एआई त्वरक का प्रदर्शन विकास: फ्लोट इंसेप्शन- V3 मॉडल (TensorFlow Lite और NNAPI का उपयोग करके FP16 मॉडल) के लिए छवि थ्रूपुट

ग्रीन मोबाइल चिप्स को इंगित करता है, नीला सीपीयू को इंगित करता है, नारंगी जीपीयू को इंगित करता है। यह स्पष्ट रूप से देखा गया है कि वर्तमान मोबाइल चिप्स, और सबसे पहले, हुआवेई के टॉप-एंड चिप, पहले से ही सीपीयू से दस गुना बड़े (और बिजली की खपत) से आगे निकल रहे हैं। और यह मजबूत है! GPU के साथ, अब तक सब कुछ इतना जादुई नहीं है, लेकिन कुछ और होगा। आप एक अलग वेबसाइट http://ai-benchmark.com/ पर अधिक विस्तार से परिणामों को देख सकते हैं, वहां परीक्षण अनुभाग पर ध्यान दें, उन्होंने तुलना के लिए एल्गोरिदम का एक अच्छा सेट चुना।

कुल: आज एनालॉग एक्सीलरेटर की प्रगति का मूल्यांकन करना काफी कठिन है। एक दौड़ है। लेकिन उत्पाद अभी तक बाहर नहीं आए हैं, इसलिए अपेक्षाकृत कम प्रकाशन हैं। आप देरी के साथ दिखने वाले पेटेंट की निगरानी कर सकते हैं (उदाहरण के लिए, आईबीएम से घने प्रवाह) या अन्य निर्माताओं से दुर्लभ पेटेंट के लिए मछली । ऐसा लगता है कि यह एक बहुत ही गंभीर क्रांति होगी, मुख्य रूप से स्मार्टफोन और सर्वर टीपीयू में।

एक निष्कर्ष के बजाय

ML / DL को आज एक नई प्रोग्रामिंग तकनीक कहा जाता है, जब हम एक प्रोग्राम नहीं लिखते हैं, लेकिन एक ब्लॉक डालें और इसे प्रशिक्षित करें। यानी जैसे पहले एक असेम्बलर था, फिर C, फिर C ++, और अब, 30 साल के लंबे इंतजार के बाद, अगला कदम ML / DL है:


यह समझ में आता है। हाल ही में, उन्नत कंपनियों में, कार्यक्रमों में निर्णय लेने के स्थानों को तंत्रिका नेटवर्क द्वारा प्रतिस्थापित किया जाता है। यानीअगर कल निर्णय "IFs पर" या उत्तराधिकारियों के लिए थे जो प्रोग्रामर के दिल या यहाँ तक कि Lagrange समीकरणों (वाह!) और नियंत्रण सिद्धांत के विकास के दशकों के अन्य अधिक जटिल उपलब्धियों के लिए उपयोग किए गए थे, तो आज उन्होंने कई इनपुट के साथ 3-5 परतों के साथ एक सरल तंत्रिका नेटवर्क लगाया और दर्जनों बाधाओं। वह तुरंत सीखती है, अधिक कुशलता से काम करती है, और कोड का विकास तेजी से होता है। यदि पहले यह बैठना, शमन करना , मस्तिष्क को चालू करना आवश्यक था , तो अब मैंने इसे चिपका दिया, डेटा खिलाया, और यह काम किया, और आप उच्च-स्तरीय चीजों में व्यस्त हैं। बस किसी तरह की छुट्टी!

स्वाभाविक रूप से, डिबगिंग अब अलग है। यदि पहले, जब कुछ काम नहीं किया था, तो एक अनुरोध था: "एक उदाहरण भेजें कि यह काम नहीं करता है!" और फिर एक गंभीर, अनुभवी दाढ़ी वालाप्रोग्रामर को कोड और हेयुरिस्टिक्स पता था, कुछ गुणांकों का शासन करता था, और अगर उसने ऐसे सभी मामलों के लिए उदाहरण के सामान्यीकरण के साथ अनुमान लगाया और इसे सही जगह पर ठीक किया, तो अन्य समान उदाहरणों ने काम करना शुरू कर दिया (ओह, खुशी!)। एक तंत्रिका नेटवर्क ब्लॉक के साथ, इस तरह का ध्यान केंद्रित नहीं होगा और अनुरोध होगा: "एक उदाहरण दें और डेटा को चिह्नित करें, pliz!" और फिर एक और प्रशिक्षण रन होगा जिसमें सभी उदाहरणों को नियंत्रित करने के लिए पर्याप्त नोड्स होंगे जो गलत निर्णय में शामिल हैं। और आगे भी उत्पादन में, एक बड़ा लाल बटन "रिट्रेन" बस उसी बड़े और लाल शिलालेख के साथ दिखाई देगा "महीने में एक बार से अधिक नहीं दबाएं!" (फ़ाइल ट्यूनिंग को सीमित करने के लिए)। और वैश्विक अर्थव्यवस्था और भी अधिक कुशल हो जाएगी। हलिलुय!

हालांकि, एक गणितीय उपकरण के रूप में, सामान्य रूप से एमएल / डीएल, और विशेष रूप से तंत्रिका नेटवर्क, स्पष्ट रूप से अगली प्रोग्रामिंग तकनीक की तुलना में कुछ अधिक है। एक ही तंत्रिका नेटवर्क अब हर कदम पर पाए जाते हैं:

• स्मार्टफोन पाठ की तस्वीरें लेता है और इसे पहचानता है - ये तंत्रिका नेटवर्क हैं,
  
• एक स्मार्टफोन एक भाषा से दूसरी भाषा में मक्खी पर अच्छी तरह से अनुवाद करता है और एक अनुवाद बोलता है - तंत्रिका नेटवर्क और एक बार फिर से तंत्रिका नेटवर्क,
  
• नाविक और स्मार्ट वक्ता भाषण को अच्छी तरह से पहचानते हैं - फिर से तंत्रिका नेटवर्क,
  
• टीवी इनपुट 2K वीडियो से 8K की उज्ज्वल विपरीत तस्वीर दिखाता है - एक तंत्रिका नेटवर्क भी,
  
• उत्पादन में रोबोट अधिक सटीक हो गए, उन्होंने असामान्य स्थितियों को फिर से देखना और पहचानना शुरू कर दिया - फिर से तंत्रिका नेटवर्क,
  
• 10 , , - 90- — ,
  
• — ,
  
• — - — ,
  
• सामान्य तौर पर - तंत्रिका नेटवर्क अब हर जगह पूरी तरह से हैं! )
  

केवल 4 साल बीत चुके हैं क्योंकि लोगों ने बैचनॉर्म (2015) और स्किप कनेक्शन (2015) के लिए कई मामलों में वास्तव में गहरे तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए सीखा है, और 3 साल बीत चुके हैं क्योंकि उन्होंने "बंद" कर लिया है, और हम वास्तव में उनके काम के परिणामों को पढ़ रहे हैं नहीं देखा। और अब वे उत्पादों तक पहुंचेंगे। कुछ हमें बताता है कि आने वाले वर्षों में बहुत सारी दिलचस्प चीजें हमारा इंतजार करती हैं। खासकर जब त्वरक "बंद" लेते हैं ...



एक बार, अगर किसी को याद है, तो प्रोमेथियस ने ओलिंप से आग चुरा ली और इसे लोगों को सौंप दिया। अन्य देवताओं के साथ क्रोधित ज़ीउस ने पेंडोरा नामक एक महिला-पुरुष की पहली सुंदरता बनाई, जो कई अद्भुत महिला गुणों से संपन्न थी (मुझे अचानक एहसास हुआ कि प्राचीन ग्रीस के कुछ मिथकों की राजनीतिक रूप से सही वर्तनी अत्यंत कठिन है) । पेंडोरा को लोगों के लिए भेजा गया था, लेकिन प्रोमेथियस, जिसे संदेह था कि कुछ गलत है, ने उसके जादू का विरोध किया, और उसके भाई एपिमेथे ने नहीं किया। शादी के लिए एक उपहार के रूप में, ज़ीउस ने एक सुंदर कास्केट भेजा बुध और बुध, एक दयालु आत्मा, ने आदेश को पूरा किया - उसने एपिसेटियस को कास्केट दिया, लेकिन उसे किसी भी मामले में इसे नहीं खोलने की चेतावनी दी। उत्सुक पेंडोरा ने अपने पति से ताबूत चुरा लिया, इसे खोल दिया, लेकिन केवल पाप, बीमारी, युद्ध और मानव जाति की अन्य समस्याएं थीं। उसने कास्केट को बंद करने की कोशिश की, लेकिन बहुत देर हो चुकी थी:


स्रोत: कलाकार फ्रेडरिक स्टुअर्ट चर्च, पेंडोरा का ओपन बॉक्स

उस समय से, वाक्यांश "पेंडोरा का बॉक्स खोलें" चला गया है, अर्थात्, जिज्ञासा से एक अपरिवर्तनीय कार्रवाई करने के लिए, जिसके परिणाम बाहर की तरफ ताबूत की सजावट के रूप में सुंदर नहीं हो सकते हैं।

आप जानते हैं, मैं जितनी गहराई से तंत्रिका नेटवर्क में गोता लगाता हूं, उतना ही अलग लग रहा है कि यह एक और पेंडोरा बॉक्स है। हालाँकि, मानव जाति के पास ऐसे बक्से खोलने का सबसे समृद्ध अनुभव है! हाल ही के हाल से - यह परमाणु ऊर्जा और इंटरनेट है। इसलिए, मुझे लगता है कि हम एक साथ सामना कर सकते हैं। कोई आश्चर्य नहीं कि सलामी बल्लेबाजों के बीच कठोर दाढ़ी वाले पुरुषों का एक गुच्छा। खैर, एक कास्केट सुंदर है, सहमत हूँ! और यह सच नहीं है कि केवल परेशानियाँ हैं, अच्छी चीजों का एक गुच्छा पहले ही मिल गया है। इसलिए, वे एक साथ आए और ... हम आगे खोलते हैं!

कुल:

• लेख में कई दिलचस्प विषयों को शामिल नहीं किया गया था, उदाहरण के लिए, क्लासिक एमएल एल्गोरिदम, स्थानांतरण सीखने, सुदृढीकरण सीखने, डेटासेट की लोकप्रियता आदि। (सज्जनों, आप विषय जारी रख सकते हैं!)
  
• ताबूत के बारे में सवाल करने के लिए: मुझे व्यक्तिगत रूप से लगता है कि Google प्रोग्रामर जिन्होंने पेंटागन के साथ Google को $ 10 बिलियन के अनुबंध को छोड़ना संभव बनाया है, वे महान और सुंदर हैं। वे आदर और सम्मान करते हैं। हालांकि, ध्यान दें कि किसी ने इस प्रमुख निविदा को जीता।
  

यह भी पढ़ें:

• डीप न्यूरल नेटवर्क का हार्डवेयर त्वरण: जीपीयू, एफपीजीए, एएसआईसी, टीपीयू, वीपीयू, आईपीयू, डीपीयू, एनपीयू, आरपीयू, एनएनपी और अन्य पत्र - वर्तमान स्थिति की तुलना में तंत्रिका नेटवर्क के हार्डवेयर प्रवाह की संभावनाओं के बारे में लेखक का पाठ।
  
• डीप फेक साइंस, रिप्रोड्यूसबिलिटी का संकट और जहां खाली रिपॉजिटरी से आते हैं - एमएल / डीएल द्वारा उत्पन्न विज्ञान में समस्याओं के बारे में।
  
• स्ट्रीट मैजिक कोडेक तुलना। हम रहस्य प्रकट करते हैं - तंत्रिका नेटवर्क पर आधारित एक नकली का उदाहरण।
  

आम तौर पर और नए साल में, विशेष रूप से 2020 में सभी बड़ी संख्या में नई दिलचस्प खोजें !

धन्यवाद

मैं सौहार्दपूर्वक धन्यवाद देना चाहूंगा:

• कंप्यूटर ग्राफिक्स और मल्टीमीडिया VMK मास्को स्टेट यूनिवर्सिटी की प्रयोगशाला एमवी लोमोनोसोव रूस में गहरी शिक्षा के विकास में अपने योगदान के लिए और न केवल
  
• व्यक्तिगत रूप से कॉन्स्टेंटिन कोज़हेमाकोव और दिमित्री कोनोवल्चुक, जिन्होंने इस लेख को बेहतर और बेहतर बनाने के लिए बहुत कुछ किया,
  
• और अंत में, किरिल मालिशेव, येगोर स्किलारोव, निकोलाई ओपलाचको, एंड्री मोस्केलेंको, इवान मोलोडेत्स्की, एवगेनी ल्यपस्टीन, रोमन कज़ेंटसेव, अलेक्जेंडर याकोवेंको और दिमित्री क्लेपिकोव को बहुत सारी उपयोगी टिप्पणियों और सुधारों के लिए बहुत धन्यवाद, जिन्होंने इस पाठ को बहुत बेहतर बना दिया!