गहरी तंत्रिका नेटवर्क का हार्डवेयर त्वरण: GPU, FPGA, ASIC, TPU, VPU, IPU, DPU, NPU, RPU, NNP और अन्य पत्र

14 मई को, जब ट्रम्प हुआवेई पर सभी कुत्तों को लॉन्च करने के लिए तैयार हो रहे थे, तो मैं शेन्ज़ेन में शांतिपूर्ण तरीके से हुआवेई एसटीडब्ल्यू 2019 पर बैठ गया - 1000 प्रतिभागियों के लिए एक बड़ा सम्मेलन - जिसमें गैर-वॉन न्यूमैन कंप्यूटिंग की संभावनाओं पर टीएसएमसी अनुसंधान के उपाध्यक्ष फिलिप वोंग द्वारा रिपोर्ट शामिल थी। आर्किटेक्चरर्स, और हेंग लियाओ, हुआवेई फेलो, चीफ साइंटिस्ट हुआवेई 2012 लैब, टैंसर प्रोसेसर और न्यूरोप्रोसेसर की एक नई वास्तुकला के विकास पर। TSMC, यदि आप जानते हैं, तो 7 एनएम तकनीक (जो कि कुछ लोगों के पास है ) का उपयोग करके Apple और Huawei के लिए तंत्रिका त्वरक बनाता है, और Huawei neuroprocessors के मामले में Google और NVIDIA के साथ प्रतिस्पर्धा करने के लिए तैयार है।

चीन में Google को प्रतिबंधित किया गया है, मैंने टैबलेट पर वीपीएन लगाने की जहमत नहीं उठाई, इसलिए मैंने देश के समान लौह के अन्य निर्माताओं के साथ क्या स्थिति है और आम तौर पर क्या होता है, यह देखने के लिए यैंडेक्स का इस्तेमाल किया। सामान्य तौर पर, मैंने स्थिति देखी, लेकिन इन रिपोर्टों के बाद ही मुझे एहसास हुआ कि कंपनियों के आंत्र और वैज्ञानिक कमरों की खामोशी में बड़े पैमाने पर क्रांति कैसे तैयार हो रही है।

पिछले साल अकेले इस विषय में $ 3 बिलियन से अधिक का निवेश किया गया था। Google ने लंबे समय से तंत्रिका नेटवर्क को एक रणनीतिक क्षेत्र घोषित किया है, सक्रिय रूप से उनके हार्डवेयर और सॉफ़्टवेयर समर्थन का निर्माण कर रहा है। NVIDIA, यह समझते हुए कि सिंहासन डगमगा रहा है, तंत्रिका नेटवर्क त्वरण पुस्तकालयों और नए हार्डवेयर में शानदार प्रयास कर रहा है। 2016 में इंटेल ने तंत्रिका नेटवर्क के हार्डवेयर त्वरण में शामिल दो कंपनियों को खरीदने के लिए 0.8 बिलियन खर्च किए। और यह इस तथ्य के बावजूद कि मुख्य खरीद अभी तक शुरू नहीं हुई है, और खिलाड़ियों की संख्या पचास से अधिक हो गई है और तेजी से बढ़ रही है।


TPU, VPU, IPU, DPU, NPU, RPU, NNP - इन सबका क्या मतलब है और कौन जीतेगा? आइए इसे जानने की कोशिश करते हैं। कौन परवाह करता है - वेलकम टू कैट!

---

डिस्क्लेमर: लेखक को एएसआईसी पर प्रभावी कार्यान्वयन के लिए वीडियो प्रोसेसिंग एल्गोरिदम को पूरी तरह से फिर से लिखना पड़ा, और ग्राहकों ने एफपीजीए पर प्रोटोटाइप किया, इसलिए आर्किटेक्चर में अंतर की गहराई का अंदाजा है। हालांकि, लेखक ने हाल ही में लोहे के साथ सीधे काम नहीं किया है। लेकिन वह आशा करता है कि उसे इसमें तल्लीन होना पड़ेगा।

समस्याओं की पृष्ठभूमि

आवश्यक गणनाओं की संख्या तेजी से बढ़ रही है, लोग अधिक परतें लेना पसंद करेंगे, अधिक आर्किटेक्चर विकल्प, हाइपरपैरामीटर के साथ अधिक सक्रिय रूप से खेलेंगे, लेकिन ... यह प्रदर्शन पर निर्भर करता है। उसी समय, उदाहरण के लिए, अच्छे पुराने प्रोसेसर की उत्पादकता वृद्धि के साथ - बड़ी समस्याएं। सभी अच्छी चीजें समाप्त हो जाती हैं: मूर का नियम, जैसा कि आप जानते हैं, बाहर चल रहा है और प्रोसेसर का प्रदर्शन वृद्धि दर गिरता है:


VAX11-780 की तुलना में स्पेशिंटर पर पूर्णांक संचालन के वास्तविक प्रदर्शन की गणना , इसके बाद अक्सर एक लघुगणकीय पैमाने पर

यदि 80 के दशक के मध्य से 2000 के दशक के मध्य तक - कंप्यूटर के हेयड के धन्य वर्षों में - विकास प्रति वर्ष 52% की औसत दर से था, तो हाल के वर्षों में यह घटकर 3% प्रति वर्ष हो गया है। और यह एक समस्या है (आधुनिक वास्तुकला की समस्याओं और संभावनाओं के बारे में पैट्रिआर्क जॉन हेनेसी के एक हालिया लेख का अनुवाद हैबे पर था )।

कई कारण हैं, उदाहरण के लिए, प्रोसेसर की आवृत्ति बढ़ रही है:


ट्रांजिस्टर के आकार को कम करना अधिक कठिन हो गया। अंतिम दुर्भाग्य जो उत्पादकता को काफी कम कर देता है (पहले से जारी सीपीयू के प्रदर्शन सहित) (ड्रम रोल) ... सही, सुरक्षा। मेल्टडाउन , स्पेक्टर और अन्य कमजोरियाँ CPU प्रोसेसिंग पावर ग्रोथ रेट ( डिसथिन्थ्रेडिंग (!) को अक्षम करने का एक उदाहरण ) को बहुत नुकसान पहुँचाती हैं । विषय लोकप्रिय हो गया है, और इस तरह की नई कमजोरियां लगभग मासिक पाई जाती हैं। और यह किसी प्रकार का बुरा सपना है, क्योंकि यह प्रदर्शन के मामले में दर्द देता है।

इसी समय, कई एल्गोरिदम का विकास प्रोसेसर शक्ति में परिचित वृद्धि से मजबूती से जुड़ा हुआ है। उदाहरण के लिए, आज कई शोधकर्ता एल्गोरिदम की गति के बारे में चिंतित नहीं हैं - वे कुछ के साथ आएंगे। और यह अच्छा होगा जब सीखने - नेटवर्क बड़े और उपयोग करने के लिए "मुश्किल" हो जाएं। यह वीडियो में विशेष रूप से स्पष्ट है, जिसके लिए अधिकांश दृष्टिकोण, सिद्धांत रूप में, उच्च गति पर लागू नहीं होते हैं। और वे अक्सर वास्तविक समय में ही समझ में आते हैं। यह भी एक समस्या है।

इसी तरह, नए संपीड़न मानकों को विकसित किया जा रहा है जो कि डिकोडर पावर में वृद्धि कर रहे हैं। और अगर प्रोसेसर की शक्ति नहीं बढ़ती है? पुरानी पीढ़ी को याद है कि कैसे 2000 के दशक में पुराने कंप्यूटरों पर ताजे एच .264 में उच्च-परिभाषा वीडियो चलाने में समस्याएं थीं। हां, छोटे आकार के साथ गुणवत्ता बेहतर थी, लेकिन तेज दृश्यों पर चित्र लटका हुआ था या ध्वनि फटी हुई थी। मुझे नए VVC / H.266 के डेवलपर्स के साथ संवाद करना होगा (अगले वर्ष के लिए एक रिलीज की योजना है)। आप उनसे ईर्ष्या नहीं करेंगे।

तो, तंत्रिका नेटवर्क पर लागू प्रोसेसर के प्रदर्शन की वृद्धि दर में कमी के कारण आने वाली शताब्दी हमारे लिए क्या तैयार करती है?

सीपीयू

एक नियमित सीपीयू एक महान संख्या कोल्हू है जो दशकों से परिपूर्ण है। काश, अन्य कार्यों के लिए।

जब हम तंत्रिका नेटवर्क, विशेष रूप से गहरे वाले के साथ काम करते हैं, तो हमारा नेटवर्क सैकड़ों मेगाबाइट पर कब्जा कर सकता है। उदाहरण के लिए, ऑब्जेक्ट डिटेक्शन नेटवर्क की मेमोरी आवश्यकताएं इस प्रकार हैं:


हमारे अनुभव में, पारभासी सीमाओं के प्रसंस्करण के लिए एक गहरे तंत्रिका नेटवर्क के गुणांक 150-200 एमबी पर कब्जा कर सकते हैं। तंत्रिका नेटवर्क के सहयोगी 50 एमबी के आदेश के गुणांक के आकार की आयु और लिंग का निर्धारण करते हैं। और कम सटीकता के मोबाइल संस्करण के लिए अनुकूलन के दौरान - लगभग 25 एमबी (फ्लोट 32.फ्लोलेट 16)।

उसी समय, डेटा के आकार के आधार पर मेमोरी एक्सेस करते समय देरी ग्राफ लगभग इस तरह वितरित किया जाता है (क्षैतिज पैमाने लघुगणकीय है):



यानी 16 एमबी से अधिक के डेटा वॉल्यूम में वृद्धि के साथ, देरी 50 गुना या उससे अधिक बढ़ जाती है, जो प्रदर्शन को प्रभावित करती है। वास्तव में, अधिकांश समय सीपीयू, जब गहरे तंत्रिका नेटवर्क के साथ काम करते हैं, तो बेवकूफ डेटा का इंतजार करता है। विभिन्न नेटवर्क के त्वरण पर इंटेल का डेटा दिलचस्प है, जहां, वास्तव में, त्वरण केवल तब होता है जब नेटवर्क छोटा हो जाता है (उदाहरण के लिए, भार के परिमाणीकरण के परिणामस्वरूप), कम से कम आंशिक रूप से कैश में प्रवेश करने के लिए संसाधित डेटा के साथ शुरू करने के लिए। ध्यान दें कि एक आधुनिक सीपीयू का कैश प्रोसेसर की आधी ऊर्जा तक खर्च करता है। भारी तंत्रिका नेटवर्क के मामले में, यह अप्रभावी है और अनुचित रूप से महंगा हीटर काम करता है।


पेशेवरों:

• "सभी के पास यह है," और आमतौर पर बेकार है, अर्थात्। बिलिंग और कार्यान्वयन के लिए अपेक्षाकृत कम प्रवेश मूल्य।
  
• अलग-अलग गैर-सीवी नेटवर्क हैं जो सीपीयू पर अच्छी तरह से फिट होते हैं, सहकर्मी कॉल करते हैं, उदाहरण के लिए, वाइड और डीप और जीएनएमटी।
  

कम:

• गहरे तंत्रिका नेटवर्क (जब नेटवर्क परतों की संख्या और इनपुट डेटा का आकार बड़ा होता है) के साथ काम करते समय सीपीयू अक्षम है, सब कुछ धीरे-धीरे काम करता है।
  

GPU

विषय अच्छी तरह से जाना जाता है, इसलिए हम संक्षेप में मुख्य बात को रेखांकित करते हैं। तंत्रिका नेटवर्क के मामले में, GPU को बड़े पैमाने पर समानांतर कार्यों में एक महत्वपूर्ण प्रदर्शन लाभ है:


ध्यान दें कि 72-कोर Xeon Phi 7290 की घोषणा कैसे की जाती है , जबकि "ब्लू" भी सर्वर Xeon है, अर्थात्। इंटेल इतनी आसानी से हार नहीं मानता, जिसकी चर्चा नीचे की जाएगी। लेकिन इससे भी महत्वपूर्ण बात, वीडियो कार्ड की मेमोरी को मूल रूप से लगभग 5 गुना अधिक प्रदर्शन के लिए डिज़ाइन किया गया था। तंत्रिका नेटवर्क में, डेटा के साथ कंप्यूटिंग अत्यंत सरल है। कुछ प्राथमिक क्रियाएं, और हमें नए डेटा की आवश्यकता है। परिणामस्वरूप, तंत्रिका नेटवर्क के कुशल संचालन के लिए डेटा एक्सेस स्पीड महत्वपूर्ण है। एक उच्च गति मेमोरी "बोर्ड पर" GPU और सीपीयू की तुलना में अधिक लचीली कैश प्रबंधन प्रणाली इस समस्या को हल कर सकती है:



टिम डेटर्स कई सालों से दिलचस्प रिव्यू "व्हॉट जीपीयू (s) टू गेट टू डीप लर्निंग: माय एक्सपीरियंस एंड एडवाइस फॉर जीपीयूज इन डीप लर्निंग" का समर्थन कर रहे हैं। यह स्पष्ट है कि टेस्ला और टाइटन्स प्रशिक्षण के लिए शासन करते हैं, हालांकि आर्किटेक्चर में अंतर दिलचस्प आउटबर्स्ट का कारण बन सकता है, उदाहरण के लिए, आवर्तक तंत्रिका नेटवर्क के मामले में (और सामान्य रूप से नेता TPU है, भविष्य के लिए ध्यान दें):


हालांकि, डॉलर के लिए एक अत्यंत उपयोगी प्रदर्शन चार्ट है, जहां आरटीएक्स घोड़े पर ( उनके सेंसर कोर के कारण सबसे अधिक संभावना है), यदि आपके पास इसके लिए पर्याप्त मेमोरी है, तो निश्चित रूप से:


बेशक, कंप्यूटिंग की लागत महत्वपूर्ण है। पहली रेटिंग का दूसरा स्थान और दूसरा - टेस्ला V100 700 हजार रूबल के लिए बेचा जाता है, जैसे 10 "साधारण" कंप्यूटर (+ महंगे इन्फिनिबैंड स्विच, यदि आप कई नोड्स पर प्रशिक्षित करना चाहते हैं)। सच्चा V100 और दस के लिए काम करता है। सीखने के ठोस त्वरण के लिए लोग ओवरपे करने को तैयार हैं।

कुल, संक्षेप में!

पेशेवरों:

• कार्डिनल - सीपीयू की तुलना में 10-100 गुना - त्वरण।
  
• प्रशिक्षण के लिए अत्यधिक प्रभावी (और उपयोग के लिए कुछ हद तक कम प्रभावी)।
  

कम:

• शीर्ष-अंत वीडियो कार्ड की लागत (जिसमें बड़े नेटवर्क को प्रशिक्षित करने के लिए पर्याप्त मेमोरी है) कंप्यूटर के बाकी हिस्सों की लागत से अधिक है ...
  

FPGA

FPGA पहले से ही अधिक दिलचस्प है। यह कई मिलियन प्रोग्राम करने योग्य ब्लॉक का एक नेटवर्क है, जिसे हम प्रोग्रामेटिक रूप से इंटरकनेक्ट भी कर सकते हैं। नेटवर्क और ब्लॉक कुछ इस तरह दिखते हैं (अड़चन अड़चन है, ध्यान दें, फिर से चिप मेमोरी के सामने, लेकिन यह आसान है, जिसे नीचे वर्णित किया जाएगा):


स्वाभाविक रूप से, यह पहले से ही एक तंत्रिका नेटवर्क का उपयोग करने के चरण में FPGA का उपयोग करने के लिए समझ में आता है (ज्यादातर मामलों में, प्रशिक्षण के लिए पर्याप्त मेमोरी नहीं है)। इसके अलावा, FPGA पर निष्पादन का विषय अब सक्रिय रूप से विकसित होना शुरू हो गया है। उदाहरण के लिए, यहाँ fpgaConvNet फ्रेमवर्क है , जो FPGAs पर CNN के उपयोग को तेज कर सकता है और बिजली की खपत को कम कर सकता है।

एफपीजीए का प्रमुख प्लस यह है कि हम नेटवर्क को सीधे कोशिकाओं में स्टोर कर सकते हैं, अर्थात। एक ही डेटा के सैकड़ों मेगाबाइट के रूप में एक पतली जगह 25 सेकंड प्रति सेकंड (वीडियो के लिए) एक ही दिशा में जादुई रूप से गायब हो जाती है। यह एक कम घड़ी की गति और एक उल्लेखनीय वृद्धि प्राप्त करने के लिए कम प्रदर्शन के बजाय कैश की अनुपस्थिति की अनुमति देता है। हां, और गणना की प्रति इकाई ग्लोबल वार्मिंग ऊर्जा की खपत को नाटकीय रूप से कम करता है।

इंटेल सक्रिय रूप से इस प्रक्रिया में शामिल हो गया, पिछले साल ओपन सोर्स में ओपनविनो टूलकिट जारी किया, जिसमें डीप लर्निंग डिप्लॉयमेंट टूलकिट ( ओपनसीवी का हिस्सा) शामिल है। इसके अलावा, विभिन्न ग्रिडों पर FPGAs पर प्रदर्शन काफी दिलचस्प लगता है, और GPU के साथ तुलना में FPGAs का लाभ (हालांकि इंटेल एकीकृत GPUs) काफी महत्वपूर्ण है:


क्या विशेष रूप से लेखक की आत्मा को गर्म करता है - एफपीएस की तुलना की जाती है, अर्थात्। फ्रेम प्रति सेकंड वीडियो के लिए सबसे व्यावहारिक मीट्रिक है। यह देखते हुए कि इंटेल ने 2015 में एफपीजीए बाजार में दूसरे सबसे बड़े खिलाड़ी अल्तेरा को खरीदा था, चार्ट विचार के लिए अच्छा भोजन प्रदान करता है।

और, जाहिर है, ऐसे आर्किटेक्चर के लिए प्रवेश बाधा अधिक है, इसलिए सुविधाजनक उपकरण दिखाई देने से पहले कुछ समय गुजरना चाहिए जो प्रभावी रूप से मौलिक रूप से अलग FPGA वास्तुकला को ध्यान में रखते हैं। लेकिन तकनीक की क्षमता को कम करके आंकना इसके लायक नहीं है। यह दर्दनाक रूप से कई पतली जगहों पर वह कढ़ाई करती है।

अंत में, हम इस बात पर जोर देते हैं कि प्रोग्रामिंग FPGAs एक अलग कला है। जैसे, कार्यक्रम को वहां निष्पादित नहीं किया जाता है, और सभी गणना डेटा स्ट्रीम, स्ट्रीम विलंब (जो प्रदर्शन को प्रभावित करती है) और उपयोग किए गए गेट (जो हमेशा कमी होती हैं) के संदर्भ में की जाती हैं। इसलिए, प्रभावी रूप से प्रोग्रामिंग शुरू करने के लिए, आपको अपने स्वयं के फर्मवेयर (तंत्रिका नेटवर्क में जो आपके कानों के बीच है) को पूरी तरह से बदलने की आवश्यकता है। अच्छी दक्षता के साथ, यह बिल्कुल प्राप्त नहीं है। हालांकि, नए ढांचे जल्द ही शोधकर्ताओं से बाहरी अंतर को छिपाएंगे।

पेशेवरों:

• संभावित रूप से तेज नेटवर्क निष्पादन।
  
• सीपीयू और जीपीयू की तुलना में काफी कम बिजली की खपत (यह मोबाइल समाधान के लिए विशेष रूप से महत्वपूर्ण है)।
  

विपक्ष:

• अधिकतर वे निष्पादन को गति देने में मदद करते हैं, GPU के विपरीत, उन पर प्रशिक्षण, काफी कम सुविधाजनक है।
  
• पिछले विकल्पों की तुलना में अधिक जटिल प्रोग्रामिंग।
  
• बहुत कम विशेषज्ञ।
  

एएसआईसी

अगला ASIC है , जो अनुप्रयोग-विशिष्ट एकीकृत सर्किट के लिए छोटा है, अर्थात हमारे कार्य के लिए एकीकृत सर्किट। उदाहरण के लिए, लोहे में बिछाए गए एक तंत्रिका नेटवर्क को साकार करना। हालांकि, अधिकांश कंप्यूटिंग नोड समानांतर में काम कर सकते हैं। वास्तव में, नेटवर्क के विभिन्न स्तरों पर केवल डेटा निर्भरता और असमान कंप्यूटिंग हमें सभी ALU का उपयोग करने से लगातार रोक सकते हैं।

शायद क्रिप्टोक्यूरेंसी खनन ने हाल के वर्षों में आम जनता के बीच सबसे बड़ा एएसआईसी विज्ञापन बनाया है। बहुत शुरुआत में, सीपीयू पर खनन काफी लाभदायक था, बाद में मुझे एक GPU खरीदना पड़ा, फिर FPGA, और फिर विशेष ASICs, क्योंकि लोग (पढ़ें - बाजार) उन आदेशों के लिए परिपक्व हुए जिनमें उनका उत्पादन लाभदायक हो गया था।


हमारे क्षेत्र में, सेवाएं पहले से ही (स्वाभाविक रूप से) दिखाई दी हैं जो ऊर्जा खपत, एफपीएस और कीमत के लिए आवश्यक विशेषताओं के साथ लोहे पर एक तंत्रिका नेटवर्क लगाने में मदद करती हैं। जादुई, सहमत!

लेकिन! हम नेटवर्क अनुकूलन खो रहे हैं। और, ज़ाहिर है, लोग इसके बारे में भी सोचते हैं। उदाहरण के लिए, यहाँ एक लेख है, " क्या एक पुनरुत्थान योग्य वास्तुकला ASIC को CNN त्वरक के रूप में हरा सकती है? " ("क्या विन्यास योग्य वास्तुकला ASIC को CNN त्वरक की तरह हरा सकता है?")। इस विषय पर पर्याप्त काम है, क्योंकि प्रश्न निष्क्रिय नहीं है। एएसआईसी का मुख्य नुकसान यह है कि जब हमने नेटवर्क को हार्डवेयर में संचालित किया है, तो इसे बदलना हमारे लिए मुश्किल हो जाता है। वे मामलों के लिए सबसे अधिक फायदेमंद होते हैं जब हमें पहले से ही कम बिजली की खपत और उच्च प्रदर्शन वाले लाखों चिप्स के साथ एक अच्छी तरह से काम करने वाले नेटवर्क की आवश्यकता होती है। और यह स्थिति धीरे-धीरे ऑटोपायलट कारों के बाजार में विकसित हो रही है, उदाहरण के लिए। या निगरानी कैमरों में। या रोबोट वैक्यूम क्लीनर के कक्षों में। या एक घर रेफ्रिजरेटर के कक्षों में। या एक कॉफी मेकर चैम्बर में। या लोहे के चेंबर में। खैर, आप इस विचार को समझते हैं, संक्षेप में !



यह महत्वपूर्ण है कि बड़े पैमाने पर उत्पादन में चिप सस्ता है, यह जल्दी से काम करता है और ऊर्जा की एक न्यूनतम खपत करता है।

पेशेवरों:

• पिछले सभी समाधानों की तुलना में सबसे कम चिप लागत।
  
• संचालन की प्रति यूनिट सबसे कम बिजली की खपत।
  
• उच्च गति (सहित, यदि वांछित है, एक रिकॉर्ड)।
  

विपक्ष:

• नेटवर्क और लॉजिक को अपडेट करने की बहुत सीमित क्षमता।
  
• पिछले सभी समाधानों की तुलना में उच्चतम विकास लागत।
  
• एएसआईसी का उपयोग मुख्य रूप से बड़े रनों के लिए लागत प्रभावी है।
  

TPU

याद रखें कि नेटवर्क के साथ काम करते समय, दो कार्य हैं - प्रशिक्षण और निष्पादन (निष्कर्ष)। यदि FPGA / ASIC मुख्य रूप से निष्पादन (कुछ निश्चित नेटवर्क सहित) को तेज करने पर ध्यान केंद्रित करते हैं, तो TPU (Tensor Processing Unit या Tenor प्रोसेसर) या तो हार्डवेयर-आधारित अधिगम त्वरण या एक मनमाना नेटवर्क का अपेक्षाकृत सार्वभौमिक त्वरण है। नाम सुंदर है, सहमत हूं, हालांकि, उच्च-बैंडविड्थ मेमोरी (एचबीएम) से जुड़ी एक मिश्रित मल्टीप्ल यूनिट (एमएक्सयू) के साथ रैंक 2 टेंसर अभी भी उपयोग किए जा रहे हैं। नीचे TPU Google 2nd और 3rd संस्करण से आर्किटेक्चर आरेख है:

टीपीयू गूगल

सामान्य तौर पर, Google ने 2017 में आंतरिक विकास का खुलासा करते हुए TPU नाम के लिए एक विज्ञापन बनाया:


उन्होंने 2006 में वापस अपने शब्दों के साथ तंत्रिका नेटवर्क के लिए विशेष प्रोसेसर पर प्रारंभिक काम शुरू किया, 2013 में उन्होंने अच्छी फंडिंग के साथ एक परियोजना बनाई और 2015 में उन्होंने पहले चिप्स के साथ काम करना शुरू कर दिया, जिससे Google अनुवाद क्लाउड सेवा और अन्य के लिए तंत्रिका नेटवर्क के साथ बहुत मदद मिली। और यह था, हम जोर देते हैं, नेटवर्क का त्वरण। डेटा केंद्रों के लिए एक महत्वपूर्ण लाभ सीपीयू की तुलना में उच्चतर टीपीयू ऊर्जा दक्षता के दो आदेश हैं (टीपीयू v1 के लिए ग्राफ):


इसके अलावा, एक नियम के रूप में, GPU की तुलना में, नेटवर्क का प्रदर्शन बेहतर के लिए 10-30 गुना बेहतर है:


अंतर भी 10 गुना महत्वपूर्ण है। यह स्पष्ट है कि 20-30 बार GPU के साथ अंतर इस दिशा के विकास को निर्धारित करता है।

और, सौभाग्य से, Google अकेला नहीं है।

टीपीयू हुआवेई

आज, लंबे समय से पीड़ित हुआवेई ने भी कई साल पहले टीपीयू को Huawei चढ़ना नाम से विकसित करना शुरू किया था, और एक ही बार में दो संस्करणों में - डेटा केंद्रों के लिए (जैसे Google) और मोबाइल उपकरणों के लिए (जो Google ने भी हाल ही में करना शुरू किया था)। यदि आप हुआवेई की सामग्री पर विश्वास करते हैं, तो उन्होंने एफपी 16 को 2.5 गुना और एनवीआईडीआईए वी 100 द्वारा Google Google TPU v3 को पीछे छोड़ दिया:



हमेशा की तरह, एक अच्छा सवाल: यह चिप वास्तविक कार्यों पर कैसे व्यवहार करेगी। ग्राफ़ पर, जैसा कि आप देख सकते हैं, चोटी का प्रदर्शन। इसके अलावा, Google TPU v3 कई मायनों में अच्छा है क्योंकि यह 1024 प्रोसेसर के क्लस्टर में प्रभावी ढंग से काम कर सकता है। Huawei ने भी चढ़ना 910 के लिए सर्वर क्लस्टर की घोषणा की, लेकिन कोई विवरण नहीं है। सामान्य तौर पर, पिछले 10 वर्षों में हुआवेई इंजीनियरों ने खुद को बेहद सक्षम दिखाया है, और हर एक मौका है कि Google TPU v3 की तुलना में 2.8 गुना अधिक शिखर प्रदर्शन, नवीनतम 7 एनएम प्रक्रिया प्रौद्योगिकी के साथ मिलकर, मामले में उपयोग किया जाएगा।

मेमोरी और डेटा बस प्रदर्शन के लिए महत्वपूर्ण हैं, और स्लाइड से पता चलता है कि इन घटकों पर काफी ध्यान दिया गया है (GPU की तुलना में बहुत तेज़ी से मेमोरी के साथ संचार करने की गति सहित):



चिप थोड़ा अलग दृष्टिकोण का भी उपयोग करता है - दो आयामी एमएक्सयू 128x128 तराजू नहीं, लेकिन एक छोटे आकार के 16x16xN के तीन आयामी घन में गणना, जहां एन = {16.8,4,2,1}। इसलिए, महत्वपूर्ण सवाल यह है कि यह विशिष्ट नेटवर्क के वास्तविक त्वरण पर कितना अच्छा होगा (उदाहरण के लिए, एक क्यूब में गणना छवियों के लिए सुविधाजनक है)। इसके अलावा, स्लाइड का एक सावधानीपूर्वक अध्ययन दिखाता है कि, Google के विपरीत, चिप तुरंत पूर्ण FullHD वीडियो के साथ काम को शामिल करता है। लेखक के लिए, यह बहुत उत्साहजनक लगता है !

जैसा कि ऊपर उल्लेख किया गया है, एक ही पंक्ति में, प्रोसेसर मोबाइल उपकरणों के लिए विकसित किए जा रहे हैं, जिसके लिए ऊर्जा दक्षता महत्वपूर्ण है, और जिस पर नेटवर्क मुख्य रूप से चलेगा (यानी, अलग-अलग, क्लाउड सीखने के लिए प्रोसेसर और निष्पादन के लिए अलग से):



और इस पैरामीटर के साथ सब कुछ कम से कम NVIDIA की तुलना में अच्छा लगता है (ध्यान दें कि वे Google के साथ तुलना नहीं करते हैं, हालांकि, Google क्लाउड TPU को हाथों में नहीं देता है)। और उनके मोबाइल चिप्स ऐप्पल, Google और अन्य कंपनियों के प्रोसेसर के साथ प्रतिस्पर्धा करेंगे, लेकिन यहाँ स्टॉक लेना बहुत जल्दी है।

यह स्पष्ट रूप से देखा गया है कि नया नैनो, टिनी और लाइट चिप्स और भी बेहतर होना चाहिए। यह स्पष्ट हो जाता है कि ट्रम्प क्यों भयभीत थे कि क्यों कई निर्माता ध्यान से Huawei (जो 2018 में इंटेल सहित संयुक्त राज्य अमेरिका में सभी लौह निर्माण कंपनियों को पछाड़ दिया है) की सफलताओं की जांच कर रहे हैं।

एनालॉग गहरे नेटवर्क

जैसा कि आप जानते हैं, प्रौद्योगिकी अक्सर एक सर्पिल में विकसित होती है, जब पुराने और भूल गए दृष्टिकोण एक नए दौर में प्रासंगिक हो जाते हैं।

ऐसा ही कुछ तंत्रिका नेटवर्क के लिए बहुत अच्छा हो सकता है। आपने सुना होगा कि एक बार इलेक्ट्रॉन ट्यूबों और ट्रांजिस्टर द्वारा गुणा और जोड़ के संचालन किए गए थे (उदाहरण के लिए, रंग रिक्त स्थान का रूपांतरण - मेट्रिसेस का एक विशिष्ट गुणन - 90 के दशक के मध्य तक हर रंगीन टीवी में था)? एक अच्छा सवाल उठता है: यदि हमारे तंत्रिका नेटवर्क के अंदर गलत गणना के लिए अपेक्षाकृत प्रतिरोधी है, तो क्या होगा यदि हम इन गणनाओं को अनुरूप रूप में परिवर्तित करते हैं? हमें तुरंत गणना का ध्यान देने योग्य त्वरण और एक ऑपरेशन के लिए ऊर्जा की खपत में संभावित नाटकीय कमी आई है:



इस दृष्टिकोण के साथ, DNN (डीप न्यूरल नेटवर्क) की गणना जल्दी और ऊर्जा कुशलता से की जाती है। लेकिन एक समस्या है - ये डीएसी / एडीसी (डीएसी / एडीसी) हैं - डिजिटल से एनालॉग और इसके विपरीत कन्वर्टर्स, जो ऊर्जा दक्षता और प्रक्रिया सटीकता दोनों को कम करते हैं।

हालांकि, 2017 में वापस, आईबीएम रिसर्च ने आरपीयू ( प्रतिरोधी प्रसंस्करण इकाइयों ) के लिए एनालॉग सीएमओएस प्रस्तावित किया , जो आपको संसाधित डेटा को एनालॉग रूप में भी संग्रहीत करने की अनुमति देता है और दृष्टिकोण की समग्र दक्षता में काफी वृद्धि करता है:


इसके अलावा, एनालॉग मेमोरी के अलावा, एक तंत्रिका नेटवर्क की सटीकता को कम करने में बहुत मदद मिल सकती है - यह RPUs को छोटा करने की कुंजी है, जिसका अर्थ है एक चिप पर कम्प्यूटेशनल कोशिकाओं की संख्या में वृद्धि। और यहाँ, आईबीएम भी एक नेता है, और विशेष रूप से, हाल ही में इस वर्ष उन्होंने नेटवर्क को सफलतापूर्वक 2-बिट सटीकता के लिए रफ कर दिया है और एक-बिट (और प्रशिक्षण के दौरान दो-बिट) में सटीकता लाने जा रहे हैं, जो संभावित रूप से 100 गुना (!) की तुलना में उत्पादकता में वृद्धि करेगा। आधुनिक GPU:


एनालॉग न्यूरोकिप्स के बारे में विस्तार से बात करना जल्दबाजी होगी, क्योंकि यह सब प्रारंभिक प्रोटोटाइप के स्तर पर परीक्षण किया जा रहा है:


हालांकि, एनालॉग कंप्यूटिंग की संभावित दिशा बेहद दिलचस्प है।

केवल एक चीज जो भ्रमित करती है वह यह है कि यह आईबीएम है, जिसने पहले ही इस विषय पर दर्जनों पेटेंट दायर किए हैं । अनुभव के अनुसार, कॉर्पोरेट संस्कृति की ख़ासियत के कारण, वे अन्य कंपनियों के साथ अपेक्षाकृत कमजोर सहयोग करते हैं और, कुछ प्रौद्योगिकी के मालिक हैं, प्रभावी रूप से इसे साझा करने की तुलना में दूसरों के बीच इसके विकास को धीमा करने की अधिक संभावना है। उदाहरण के लिए, एक समय में आईबीएम ने जेपीईजी के लिए आईएसओ समिति को अंकगणितीय संपीड़न का लाइसेंस देने से इनकार कर दिया था, इस तथ्य के बावजूद कि मसौदा मानक अंकगणितीय संपीड़न के साथ एक विकल्प था। नतीजतन, जेपीईजी को हफ़मैन संपीड़न के साथ जीवन में आया और स्टिंग 10-15% से भी बदतर हो सकता है। यही स्थिति वीडियो संपीड़न मानकों के साथ थी। और उद्योग ने बड़े पैमाने पर कोडेक्स में अंकगणितीय संपीड़न पर स्विच किया, जब 5 आईबीएम पेटेंट 12 साल बाद समाप्त हो गए ... चलो आशा करते हैं कि आईबीएम इस बार सहयोग करने के लिए अधिक इच्छुक होगा, और, तदनुसार, हम उन सभी के लिए क्षेत्र में अधिकतम सफलता चाहते हैं जो आईबीएम से जुड़े नहीं हैं। ऐसे लोगों और कंपनियों का लाभ बहुत है ।

यदि यह काम करता है, तो यह तंत्रिका नेटवर्क के उपयोग में क्रांति और कंप्यूटर विज्ञान के कई क्षेत्रों में एक क्रांति होगी।

विविध अन्य पत्र

सामान्य तौर पर, तंत्रिका नेटवर्क को तेज करने का विषय फैशनेबल हो गया है, सभी प्रमुख कंपनियां और दर्जनों स्टार्टअप इसमें शामिल हैं, और उनमें से कम से कम 5 ने 2018 की शुरुआत तक निवेश में $ 100 मिलियन से अधिक आकर्षित किया है । कुल मिलाकर, 2017 में, चिप्स के विकास से संबंधित स्टार्टअप्स में $ 1.5 बिलियन का निवेश किया गया था। इस तथ्य के बावजूद कि निवेशकों ने चिप निर्माताओं को अच्छे 15 वर्षों तक नोटिस नहीं किया (क्योंकि दिग्गजों की पृष्ठभूमि के खिलाफ वहां पकड़ने के लिए कुछ भी नहीं था)। सामान्य तौर पर - अब एक छोटी सी लोहे की क्रांति के लिए एक वास्तविक मौका है। इसके अलावा, यह अनुमान लगाना बेहद मुश्किल है कि कौन सी वास्तुकला जीतेगी, क्रांति की आवश्यकता परिपक्व हो गई है, और उत्पादकता बढ़ाने की संभावनाएं महान हैं। क्लासिक क्रांतिकारी स्थिति व्याप्त हो गई है: मूर अब नहीं रह सकते हैं, और डीन अभी तैयार नहीं है।

खैर, चूंकि सबसे महत्वपूर्ण बाजार कानून - अलग हो, उदाहरण के लिए बहुत सारे नए पत्र हैं:

• न्यूरल प्रोसेसिंग यूनिट ( एनपीयू ) - एक न्यूरोपोसेसर, कभी-कभी खूबसूरती से - एक न्यूरोमॉर्फिक चिप - आम तौर पर बोल, तंत्रिका नेटवर्क के त्वरक के लिए सामान्य नाम, जिसे चिप्स सैमसंग , हुआवेई और सूची में आगे कहा जाता है ...
  
  
  
  इसके बाद इस खंड में, मुख्य रूप से कॉर्पोरेट प्रस्तुतियों की स्लाइड्स को प्रौद्योगिकी के स्व-नामों के उदाहरण के रूप में दिया जाएगा
  
  यह स्पष्ट है कि एक सीधी तुलना समस्याग्रस्त है, लेकिन यहां कुछ दिलचस्प डेटा की तुलना एप्पल और हुआवेई के न्यूरोप्रोसेसर्स के साथ चिप्स की तुलना की गई है, जो शुरुआत में टीएसएमसी द्वारा उल्लिखित हैं। यह देखा जा सकता है कि प्रतियोगिता कठिन है, नई पीढ़ी 2-8 बार उत्पादकता वृद्धि और तकनीकी प्रक्रियाओं की जटिलता को दर्शाती है:
  
  
  
  
  
• तंत्रिका नेटवर्क प्रोसेसर (NNP) - तंत्रिका नेटवर्क प्रोसेसर।
  
  
  
  
  यह अपने चिप परिवार का नाम है, उदाहरण के लिए, इंटेल (मूल रूप से यह कंपनी नर्वाना सिस्टम्स था , जिसे इंटेल ने 2016 में $ 400 + मिलियन में खरीदा था)। हालाँकि, लेखों और पुस्तकों में, NNP नाम भी काफी सामान्य है।
  
• इंटेलिजेंस प्रोसेसिंग यूनिट (IPU) - एक बुद्धिमान प्रोसेसर - ग्राफकोर द्वारा प्रचारित चिप्स का नाम (वैसे, जो पहले ही 310 मिलियन डॉलर का निवेश प्राप्त कर चुका है)।
  
  
  
  
  यह कंप्यूटर के लिए विशेष कार्ड का उत्पादन करता है, लेकिन प्रशिक्षण तंत्रिका नेटवर्क की ओर अग्रसर होता है, RNN प्रशिक्षण प्रदर्शन के साथ-साथ NVIDIA P100 की तुलना में 180-240 गुना अधिक है।
  
• डेटाफ्लो प्रोसेसिंग यूनिट (DPU) - डेटा प्रोसेसिंग प्रोसेसर - नाम को WAVE कम्प्यूटिंग द्वारा बढ़ावा दिया जाता है, जिसे पहले से ही $ 203,000 का निवेश प्राप्त है। यह ग्राफकोर के समान त्वरक के बारे में उत्पादन करता है:
  
  
  
  
  चूंकि उन्हें 100 मिलियन कम मिलते हैं, इसलिए वे GPU पर की तुलना में केवल 25+ गुना तेजी से प्रशिक्षण की घोषणा करते हैं (हालांकि वे वादा करते हैं कि यह जल्द ही 1000 गुना हो जाएगा)। आइए देखें ...
  
• विज़न प्रोसेसिंग यूनिट ( VPU ) - कंप्यूटर विज़न प्रोसेसर:
  
  
  
  
  इस शब्द का उपयोग कई कंपनियों के उत्पादों में किया जाता है, उदाहरण के लिए, Movidius से Myriad X VPU (2016 में Intel द्वारा खरीदा गया )।
  
• आईबीएम के प्रतियोगियों में से एक (जो हम याद करते हैं, आरपीयू शब्द का उपयोग करते हैं) - पौराणिक - एनालॉग डीएनएन चल रहा है, जो चिप में नेटवर्क को स्टोर करता है और अपेक्षाकृत तेजी से निष्पादन करता है। अब तक उनके पास केवल वादे हैं, हालांकि गंभीर :
  
  
  
  
  

और यह केवल विकास के सबसे बड़े क्षेत्रों को सूचीबद्ध करता है, जिसमें करोड़ों का निवेश किया गया है (यह लोहे के विकास में महत्वपूर्ण है)।

सामान्य तौर पर, जैसा कि हम देखते हैं, सभी फूल तेजी से खिलते हैं। धीरे-धीरे, कंपनियों को अरबों डॉलर के निवेश (आमतौर पर चिप्स का उत्पादन करने में 1.5-3 साल लगते हैं), धूल जम जाएगी, नेता स्पष्ट हो जाएगा, विजेता हमेशा की तरह, एक कहानी लिखेंगे, और बाजार पर सबसे सफल तकनीक का नाम आम तौर पर स्वीकार किया जाएगा। यह पहले से ही एक से अधिक बार हुआ है ("आईबीएम पीसी", "स्मार्टफोन", "ज़ेरॉक्स", आदि)।

सही तुलना के बारे में कुछ शब्द

जैसा कि पहले ही ऊपर उल्लेख किया गया है, तंत्रिका नेटवर्क के प्रदर्शन की सही तुलना करना आसान नहीं है। यही कारण है कि Google एक ग्राफ प्रकाशित करता है जिसमें TPU v1 NVIDIA V100 बनाता है। NVIDIA, इस तरह के अपमान को देखकर, एक शेड्यूल प्रकाशित करता है जहां Google TPU v1 V100 खो देता है। (तो!) Google निम्नलिखित चार्ट प्रकाशित करता है, जहां V100 Google TPU v2 & v3 पर खो देता है। और अंत में, हुआवेई वह शेड्यूल है जहां हर कोई Huawei चढ़ना पर हार जाता है, लेकिन V100 TPU v3 से बेहतर है। सर्कस, संक्षेप में। क्या विशेषता है - प्रत्येक चार्ट का अपना सत्य है!

स्थिति के मूल कारण स्पष्ट हैं:

• आप सीखने की गति या निष्पादन की गति (जो भी अधिक सुविधाजनक हो) को माप सकते हैं।
  
• विभिन्न तंत्रिका नेटवर्क को मापना संभव है, क्योंकि विशिष्ट आर्किटेक्चर पर विभिन्न तंत्रिका नेटवर्क के निष्पादन / प्रशिक्षण की गति नेटवर्क वास्तुकला और आवश्यक डेटा की मात्रा के कारण काफी भिन्न हो सकती है।
  
• और आप त्वरक के शिखर प्रदर्शन को माप सकते हैं (शायद उपरोक्त सभी का सबसे सार)।
  

इस चिड़ियाघर में चीजों को क्रम में रखने के प्रयास के रूप में, MLPerf परीक्षण दिखाई दिया , जिसके अब संस्करण 0.5 उपलब्ध हैं, अर्थात्। वह एक तुलना पद्धति विकसित करने की प्रक्रिया में है, जिसे इस वर्ष की तीसरी तिमाही में पहली रिलीज में लाने की योजना है:


चूंकि लेखक TensorFlow के मुख्य योगदानकर्ताओं में से एक हैं, इसलिए यह पता लगाने का हर मौका है कि ट्रेन को चलाने का सबसे अच्छा तरीका क्या है और संभवत: इसका उपयोग करें (क्योंकि समय के साथ इस परीक्षण में TF के मोबाइल संस्करण को भी शामिल किया जाएगा)।

हाल ही में, अंतर्राष्ट्रीय संगठन IEEE , जो रेडियो इलेक्ट्रॉनिक्स, कंप्यूटर और इलेक्ट्रिकल इंजीनियरिंग पर विश्व तकनीकी साहित्य के तीसरे भाग को प्रकाशित करता है, ने Huawei को एक बच्चे के चेहरे से प्रतिबंधित कर दिया , और जल्द ही, हालांकि, प्रतिबंध को रद्द कर दिया। Huawei वर्तमान MLPerf रैंकिंग में अभी तक नहीं है, जबकि Huawei TPU Google TPUs और NVIDIA कार्ड के लिए एक गंभीर प्रतियोगी है (यानी, राजनीतिक लोगों के अलावा, Huawei की उपेक्षा करने के लिए आर्थिक कारण हैं, स्पष्ट रूप से)। अविवादित रुचि के साथ हम घटनाओं के विकास का पालन करेंगे!

सभी को स्वर्ग! बादलों के करीब!

और, चूंकि यह प्रशिक्षण के बारे में था, इसलिए इसकी बारीकियों के बारे में कुछ शब्द कहने लायक है:

• गहन तंत्रिका नेटवर्क में अनुसंधान के व्यापक प्रस्थान के साथ (दर्जनों और सैकड़ों परतें जो वास्तव में हर किसी को फाड़ देती हैं), यह सैकड़ों मेगाबाइट के गुणांक को पीसने के लिए आवश्यक था, जिसने तुरंत पिछली पीढ़ी के सभी प्रोसेसर कैश को अप्रभावी बना दिया। इसी समय, क्लासिक इमेजनेट नेटवर्क के आकार और इसकी सटीकता के बीच एक सख्त सहसंबंध पर चर्चा करता है (उच्चतर बेहतर, सही, बड़ा नेटवर्क, क्षैतिज अक्ष लघुगणक है):
  
  
  
  
  
• तंत्रिका नेटवर्क के अंदर की गणना प्रक्रिया एक निश्चित योजना का अनुसरण करती है, अर्थात जहां सभी "शाखाओं में बंटी" और "परिवर्तन" (पिछली शताब्दी के संदर्भ में) में बहुत सारे मामले सामने आएंगे, जो पहले से ही सटीक रूप से ज्ञात है, जो काम के बिना निर्देशों का सट्टा निष्पादन छोड़ देता है, जो पहले उत्पादकता बढ़ाता है:
  
  
  
  
  यह पिछले दशकों के प्रोसेसर सुधार के अप्रभावी होने और पूर्वकाल के उतार-चढ़ाव के लिए सुपरसक्लर प्रेडिक्शन मैकेनिज्म बनाता है (यह चिप का हिस्सा है, दुर्भाग्य से, डीएनएन कैश पर डीएनएन की तरह ग्लोबल वार्मिंग में भी योगदान देता है)।
  
• इसके अलावा, तंत्रिका नेटवर्क प्रशिक्षण अपेक्षाकृत कमजोर रूप से क्षैतिज रूप से बढ़ाया जाता है । यानी हम 1000 शक्तिशाली कंप्यूटर नहीं ले सकते हैं और 1000 बार सीखने की गति प्राप्त कर सकते हैं। और यहां तक ​​कि 100 पर भी (कम से कम तब तक जब तक कि बैच के बड़े आकार पर प्रशिक्षण की गुणवत्ता बिगड़ने की सैद्धांतिक समस्या हल नहीं हो जाती)। सामान्य तौर पर, कई कंप्यूटरों पर कुछ वितरित करना हमारे लिए काफी कठिन होता है, क्योंकि जैसे ही एकीकृत मेमोरी तक पहुंच की गति जिसमें नेटवर्क में कमी होती है, उसके सीखने की गति बहुत कम हो जाती है। इसलिए, यदि एक शोधकर्ता के पास मुफ्त में 1000 शक्तिशाली कंप्यूटर तक पहुंच है, तो वह निश्चित रूप से उन सभी को जल्द ही ले जाएगा, लेकिन सबसे अधिक संभावना है (यदि कोई infiniband + RDMA नहीं है), तो विभिन्न हाइपर मापदंडों के साथ कई तंत्रिका नेटवर्क होंगे। यानी कुल प्रशिक्षण का समय केवल 1 कंप्यूटर से कई गुना कम होगा। बैच के आकार, और अतिरिक्त प्रशिक्षण, और अन्य नई फैशनेबल तकनीकों के साथ संभव खेल हैं, लेकिन मुख्य निष्कर्ष हाँ है, कंप्यूटर की संख्या में वृद्धि, कार्य कुशलता और परिणाम प्राप्त करने की संभावना में वृद्धि होगी, लेकिन रैखिक रूप से नहीं। और आज, एक डेटा साइंस शोधकर्ता का समय महंगा है और अक्सर यदि आप बहुत सारी कार (यद्यपि अनुचित) खर्च कर सकते हैं, लेकिन त्वरण प्राप्त करें - यह किया जाता है (नीचे दिए गए बादलों में 1, 2 और 4 महंगी V100 के साथ उदाहरण देखें)।
  

वास्तव में ये बिंदु बताते हैं कि इतने सारे लोग गहरे तंत्रिका नेटवर्क के लिए विशेष लोहे के विकास की ओर क्यों बढ़े हैं। और उन्हें अपना बिल क्यों मिला। सुरंग के अंत में वास्तव में प्रकाश दिखाई देता है और न केवल ग्राफकोर (जो याद करते हैं, 240 बार आरएनएन प्रशिक्षण त्वरित)।

उदाहरण के लिए, आईबीएम रिसर्च के सज्जन आशावादी हैं कि विशेष चिप्स विकसित करना जो 5 साल के बाद परिमाण के क्रम से गणना की दक्षता में वृद्धि करेगा (और 10 वर्षों के बाद 2 परिमाण के आदेशों के साथ, 2016 के स्तर की तुलना में 1000 गुना की वृद्धि पर पहुंच जाएगा, हालांकि इस चार्ट पर प्रति वाट क्षमता में, लेकिन मूल शक्ति भी बढ़ेगी):


इसका मतलब यह है कि लोहे के टुकड़ों की उपस्थिति, जिस पर प्रशिक्षण अपेक्षाकृत जल्दी होगा, लेकिन जो महंगा होगा, जो स्वाभाविक रूप से शोधकर्ताओं के बीच लोहे के इस महंगे टुकड़े का उपयोग करने के समय को साझा करने का विचार है। और यह विचार आज स्वाभाविक रूप से हमें क्लाउड कंप्यूटिंग की ओर नहीं ले जाता है। और बादलों को सीखने का संक्रमण लंबे समय से सक्रिय रूप से चल रहा है।

ध्यान दें कि अब एक ही मॉडल का प्रशिक्षण विभिन्न क्लाउड सेवाओं के परिमाण के क्रम से समय में भिन्न हो सकता है। अमेज़ॅन लीड में है, और Google का मुफ्त कोलाब अंतिम आता है। कृपया ध्यान दें कि नेताओं के बीच V100 की संख्या का परिणाम कैसे होता है - कार्ड की संख्या में 4 गुना (!) की वृद्धि एक तिहाई से कम उत्पादकता बढ़ाती है (नीले रंग से बैंगनी), और Google के पास और भी कम है:


ऐसा लगता है कि आने वाले वर्षों में अंतर बढ़ेगा दो परिमाण के आदेश। प्रभु! खाना पकाने का पैसा! हम आम तौर पर सबसे सफल निवेशकों के लिए मल्टीबिलियन निवेश लौटाएंगे ...

संक्षेप में

आइए टैबलेट में मुख्य बिंदुओं को संक्षेप में प्रस्तुत करने का प्रयास करें:

सॉफ्टवेयर त्वरण के बारे में कुछ शब्द

निष्पक्षता में, हम उल्लेख करते हैं कि आज बड़ा विषय गहरे तंत्रिका नेटवर्क के निष्पादन और प्रशिक्षण का सॉफ्टवेयर त्वरण है। नेटवर्क के तथाकथित परिमाणीकरण के कारण मुख्य रूप से निष्पादन में तेजी आ सकती है। शायद यह, सबसे पहले, चूंकि इस्तेमाल किए गए वज़न की सीमा इतनी बड़ी नहीं है और अक्सर 4-बाइट फ़्लोटिंग-पॉइंट वैल्यू से 1 बाइट पूर्णांक (और, आईबीएम की सफलताओं को याद करते हुए, और भी मजबूत) से वज़न को कम करना संभव है। दूसरे, एक पूरे के रूप में प्रशिक्षित नेटवर्क कम्प्यूटेशनल शोर के लिए काफी प्रतिरोधी है और int8 के लिए संक्रमण की सटीकता थोड़ी कम हो जाती है। एक ही समय में, इस तथ्य के बावजूद कि संचालन की संख्या भी बढ़ सकती है (गणना करते समय स्केलिंग के कारण), तथ्य यह है कि नेटवर्क आकार में 4 गुना कम हो जाता है और तेजी से वेक्टर ऑपरेशन माना जा सकता है निष्पादन की समग्र गति में काफी वृद्धि करता है। यह मोबाइल एप्लिकेशन के लिए विशेष रूप से महत्वपूर्ण है, लेकिन यह बादलों में भी काम करता है (अमेज़ॅन क्लाउड्स में त्वरित निष्पादन का एक उदाहरण):


एल्गोरिथ्म को नेटवर्क निष्पादन और सीखने की गति बढ़ाने के और भी कई तरीके हैं। हालांकि, ये अलग-अलग बड़े विषय हैं जिनके बारे में इस बार नहीं।

एक निष्कर्ष के बजाय

अपने व्याख्यान में, निवेशक और लेखक टोनी सेबा एक शानदार उदाहरण देते हैं: 2000 में, सुपर कंप्यूटर नं। 1 की क्षमता के साथ 1 टेरफ्लोप्स ने 150 वर्ग मीटर पर कब्जा कर लिया, $ 46 मिलियन की लागत और 850 किलोवाट की खपत:


15 साल बाद, NVIDIA GPU 2.3 2.3 टेराफ्लॉप (2 गुना अधिक) के प्रदर्शन के साथ एक हाथ में फिट होता है, लागत 59 डॉलर (लगभग एक लाख बार का सुधार) और 15 वाट (56 हजार गुना का सुधार) का उपभोग करता है:


इस साल के मार्च में, Google ने TPU पॉड्स को पेश किया - वास्तव में, TPU v3 पर आधारित तरल-कूल्ड सुपर कंप्यूटर, जिसकी प्रमुख विशेषता यह है कि वे 1024 TPU के सिस्टम में एक साथ काम कर सकते हैं। वे बहुत प्रभावशाली दिखते हैं:


सटीक आंकड़े नहीं दिए गए हैं, लेकिन यह कहा जाता है कि यह प्रणाली दुनिया के टॉप -5 सुपर कंप्यूटरों के बराबर है। टीपीयू पोड नाटकीय रूप से तंत्रिका नेटवर्क सीखने की गति को बढ़ा सकता है। बातचीत की गति बढ़ाने के लिए, TPUs को एक टॉरॉयडल संरचना में हाई-स्पीड लाइनों द्वारा जोड़ा जाता है:


ऐसा लगता है कि 15 वर्षों के बाद, दो बार प्रदर्शन के साथ यह न्यूरोप्रोसेसर भी आपके हाथ में फिट हो सकेगा, जैसे स्काईनेट प्रोसेसर (आपको मानना ​​होगा, यह कुछ इसी तरह का है):

फिल्म "टर्मिनेटर 2" के निर्देशन संस्करण से शूट

गहरे तंत्रिका नेटवर्क के हार्डवेयर त्वरक के सुधार की वर्तमान दर और ऊपर दिए गए उदाहरण को देखते हुए, यह पूरी तरह से वास्तविक है। आज के टीपीयू पोड जैसे प्रदर्शन के साथ एक चिप लेने के लिए कुछ वर्षों में हर मौका है।

वैसे, यह हास्यास्पद है कि फिल्म में चिप के निर्माता (जाहिर है, कल्पना करते हुए कि स्व-शिक्षा का नेटवर्क कहां नेतृत्व कर सकता है) डिफ़ॉल्ट प्रशिक्षण द्वारा बंद कर दिया गया है। विशेषता से, टी -800 स्वयं प्रशिक्षण मोड को सक्षम नहीं कर सका और इनविज़न मोड (लंबे समय तक निर्देशित संस्करण देखें ) में काम किया। इसके अलावा, इसका तंत्रिका-शुद्ध प्रोसेसर उन्नत था और जब इसे फिर से चालू करने पर यह मॉडल को अपडेट करने के लिए पहले से संचित डेटा का उपयोग कर सकता था। 1991 के लिए बुरा नहीं है।

यह पाठ गर्म 13 मिलियन शेन्ज़ेन में शुरू किया गया था। मैं शहर की 27,000 इलेक्ट्रिक टैक्सियों में से एक में बैठ गया और कार के 4 लिक्विड क्रिस्टल स्क्रीन को बड़े चाव से देखा। ड्राइवर के सामने के उपकरणों में से एक छोटा, डैशबोर्ड में केंद्र में दो - और पिछले - पारभासी - रियरव्यू मिरर में, एक डीवीआर, एक वीडियो निगरानी कैमरा और बोर्ड पर एक एंड्रॉइड (चार्ज और नेटवर्क के साथ संचार के स्तर के साथ शीर्ष लाइन को देखते हुए) के साथ संयुक्त। इसने चालक डेटा (जो कि अगर है, तो उसके बारे में शिकायत करना) प्रदर्शित किया, एक ताजा मौसम का पूर्वानुमान, और टैक्सी बेड़े के साथ एक संबंध प्रतीत होता है। ड्राइवर को अंग्रेजी नहीं आती थी, और वह उससे इलेक्ट्रिक मशीन के अपने छापों के बारे में पूछने में सफल नहीं हुआ। इसलिए, उन्होंने आलस से पेडल को दबाया, कार को थोड़ा ट्रैफ़िक जाम में स्थानांतरित किया। और मैंने खिड़की को रुचि के साथ भविष्य के रूप में देखा - उनके जैकेट में चीनी इलेक्ट्रिक स्कूटर और मोनोवेल पर काम कर रहे थे ... और मुझे आश्चर्य था कि 15 साल में यह सब कैसे दिखेगा ...

दरअसल, पहले से ही आज, डीवीआर के कैमरे और तंत्रिका नेटवर्क के हार्डवेयर त्वरण से डेटा का उपयोग करते हुए रियर-व्यू मिरर, यातायात में कार को नियंत्रित करने और मार्ग बिछाने में काफी सक्षम है। दोपहर में, कम से कम)। 15 वर्षों के बाद, सिस्टम स्पष्ट रूप से न केवल एक कार चलाने में सक्षम होगा, बल्कि मुझे नए इलेक्ट्रिक इलेक्ट्रिक वाहनों की विशेषताओं के साथ भी प्रदान करने की कृपा करेगा। रूसी में, स्वाभाविक रूप से (एक विकल्प के रूप में: अंग्रेजी, चीनी ... अल्बानियाई, अंत में)। यहाँ का ड्राइवर बहुत ही कमतर है, खराब प्रशिक्षित है, एक कड़ी है।

प्रभु! 15 साल के लिए रोमांचक जांच हमारे लिए इंतजार कर रहे हैं!

देखते रहो!

मैं वापस आ जाऊंगा! )))



UPD: सबसे दिलचस्प टिप्पणियाँ:
FPGA पर गणना की मात्रा और त्वरण के बारे में

GPU, FPGA, ASIC और अन्य हार्डवेयर पर मॉडल के स्वचालित इष्टतम संकलन के बारे में

FPGA वास्तुकला में नवाचारों की घोषणा के बारे में, Microsoft FPGA का उपयोग और तंत्रिका नेटवर्क का स्वत: अनुकूलन

FPGA विकास अर्थशास्त्र बनाम ASIC के बारे में