हार्डवेयर एआई में एक प्रमुख खिलाड़ी के जन्म से लाइव रिपोर्ट जो कि TensorFlow को गति देती है और NVidia के साथ प्रतिस्पर्धा करती है

कल युवा AI कंपनी वेव कम्प्यूटिंग के साथ पुराने टाइमर सिलिकॉन वैली, MIPS के विलय के बारे में आधिकारिक प्रेस विज्ञप्ति होगी। इस घटना के बारे में जानकारी कल मीडिया में लीक हो गई थी, और जल्द ही CNet, फोर्ब्स, EE टाइम्स और उच्च-तकनीकी साइटों का एक समूह इस घटना के बारे में लेखों के साथ सामने आया। तो आज, संयुक्त कंपनी के अध्यक्ष डेरेक मेयर (नीचे दाईं ओर चित्रित) ने कहा, "ठीक है, दोस्तों के साथ जानकारी साझा करें" और मैंने इस घटना से जुड़ी तकनीकों और लोगों के बारे में कुछ शब्द लिखने का फैसला किया।

एमआइपीएस और वेव में मुख्य निवेशक अरबपति डाडो बनतो (नीचे चित्र, केंद्र बाएं) है, जिन्होंने 1980 के दशक में कंपनी चिप्स एंड टेक्नोइलोजी की स्थापना की, जिसने शुरुआती कर्मचारियों के लिए चिपसेट बनाए। वेव + एमआइपी में अन्य हस्तियां हैं, जैसे स्टीफन जॉनसन (शीर्ष दाईं ओर चित्रित), जो 1980 के दशक के सबसे लोकप्रिय सी कंपाइलर के लेखक हैं। MIPS रूस में अच्छी तरह से जाना जाता है। डिजाइनर के हाथों में स्मृति (चित्र छोड़ दिया) ज़ेलेनोग्राड का एक बोर्ड है, जहां एमआइपीएस लाइसेंसधारी एल्विस-नियोटेक और बैकल इलेक्ट्रॉनिक्स स्थित हैं।

वेव ने पहले ही एक चिप जारी की है जिसमें हजारों प्रसंस्करण इकाइयां हैं, अनिवार्य रूप से सरलीकृत प्रोसेसर। यह डिजाइन बहुत तेज तंत्रिका नेटवर्क कंप्यूटिंग के लिए अनुकूलित है। वेव में एक कंपाइलर होता है जो इस संरचना के लिए एक डेटाफ़्लो ग्राफ़ को कॉन्फ़िगरेशन फ़ाइल में बदलता है।

संयुक्त कंपनी एक चिप बनाएगी जिसमें ऐसी कंप्यूटिंग इकाइयों और बहु-थ्रेडेड MIPS कोर का मिश्रण होता है। अब वेव क्लाउड में न्यूरल नेटवर्क की गणना के लिए डेटा केंद्रों के लिए एक बॉक्स के रूप में अपनी तकनीक बेच रहा है। निम्नलिखित चिप्स का उपयोग एम्बेडेड उपकरणों में किया जाएगा।

तंत्रिका नेटवर्क को पारंपरिक रूप से डेटाफ्लो ग्राफ के रूप में दर्शाया जाता है। यह एक ग्राफ है, जिसके नोड्स में स्केलर, वैक्टर और मैट्रीस पर स्थिरांक, चर और अंकगणितीय संचालन होते हैं:



Google ने TensorFlow लाइब्रेरी बनाई है, जो इस तरह के ग्राफ बनाने और ग्रिड पर कम्प्यूटेशन चलाने के लिए एक एपीआई है - बैकप्रोपफगेटेशन का उपयोग करते हुए नियमित रूप से इंजेक्शन और प्रशिक्षण दोनों। इस एपीआई का उपयोग प्रायः अजगर के साथ किया जाता है, जिस पर कोड इस तरह दिखता है:



इसी समय, ऊपर दिए गए उदाहरण में अजगर अंकगणितीय संचालन के पुनर्परिभाषित का उपयोग करता है, जो वास्तव में गणना नहीं करता है, लेकिन स्मृति में एक ग्राफ का निर्माण करता है। C में, TensorFlow में ग्राफ बनाने का कोड कुछ इस तरह दिखता है:



Google में मेरे एक मित्र हैं यूक्रेनी प्रोग्रामर मिखाइल सिम्बीर्स्की जो कि अजगर पर टेन्सरफ्लो का उपयोग करते हैं। Google के तंत्रिका नेटवर्क का उपयोग, उदाहरण के लिए, विज्ञापन के साथ उन्हें लक्षित करने के लिए उपयोगकर्ता के व्यवहार का विश्लेषण करने के लिए किया जाता है। Google के तंत्रिका नेटवर्क के प्रशिक्षण के लिए कुछ गणनाओं में दिन और सप्ताह लगते हैं, इस तथ्य के बावजूद कि Google NVidia GPU और अपने स्वयं के Google त्वरक का उपयोग करता है। यह एक आसान काम नहीं है, क्योंकि प्रोसेसर और जीपीयू के बीच डेटा स्थानांतरित करना समय लेने वाली है:



प्रोसेसर और GPU की डिज़ाइन समस्याओं में से एक यह है कि GPU लंबे समय से निष्क्रिय है:



एक अन्य समस्या इंटरफेस की अपर्याप्त मेमोरी बैंडविड्थ है। MIPS के साथ संयोजन में वेव एक और दूसरी समस्या को हल करने जा रहा है। नए उत्पादों में, प्रोसेसर एक त्वरक के रूप में त्वरक का उपयोग नहीं करेगा, लेकिन वे एक साथ काम करेंगे।

इसके लिए, MIPS कोर को अंततः AI के लिए एक मानक हार्डवेयर प्लेटफ़ॉर्म बनाने के लिए संशोधित किया जाएगा। MIPS I6400 / I6500 (समुराई / Daimio) और MIPS I7200 (MediaTek द्वारा लाइसेंस प्राप्त) कोर का लाभ बहुस्तरीय है। एआरएम में मल्टीथ्रेडिंग नहीं है। यहाँ बहु थ्रेडेड पाइपलाइन MIPS I6400 कोर की तरह दिखता है:



और अब सवाल सबसे अधिक समझ रखने वाले टिप्पणीकारों के लिए है: आपको क्या लगता है कि सीपीयू और हार्डवेयर त्वरक के संयोजन के लिए मल्टीथ्रेडिंग का लाभ क्या है? विशेष रूप से, वेव से त्वरक, जो तथाकथित सीजीआरए का एक प्रकार है - मोटे अनाज को पुन: उपयोग करने योग्य सरणी - मोटे-दानेदार पुन: संयोजन योग्य सरणियों।

यदि आप FPGA (फील्ड प्रोग्रामेबल गेट एरे) / FPGA (प्रोग्रामेबल लॉजिक इंटीग्रेटेड सर्किट्स) से परिचित हैं, तो CGRA का विचार कुछ हद तक समान है, लेकिन वे व्यक्तिगत बिट्स के साथ नहीं, बल्कि 8-64 बिट्स और प्रत्येक सेल में पूरी बसों के साथ काम करते हैं। ALU है, और कई कोशिकाओं के लिए - एक अंकगणितीय सहसंसाधक। यह पूरी पदानुक्रम की तरह दिखता है:



और यहाँ एक पुन: प्राप्य सेल है। उसके पास निर्देशों के साथ एक छोटा सा बफर है जो 8 बिट बैटरी माइक्रोकंट्रोलर के सरल कमांड्स जैसे कि 6502, जो पहले Apple कंप्यूटर में था, से मिलता जुलता है। एक ही समय में, प्राचीन Apple में प्रोसेसर मेगाहर्ट्ज़ के एक जोड़े की आवृत्ति पर काम करते थे, और CGRA में कोशिकाएँ कई गीगाहर्ट्ज़ की आवृत्ति पर काम करती हैं। इसके अलावा, Apple में केवल एक प्रोसेसर था, लेकिन 16 हजार ऐसे सेल हैं:



वेव पर क्रिस्टल स्पष्ट रूप से विशाल है, इसलिए आपको प्रत्येक समूह के सेल के लिए घड़ी संकेत के साथ स्थानीय स्तर पर समकालिक सर्किट का उपयोग करना होगा। लेकिन सबसे बड़ी समस्या हार्डवेयर की नहीं बल्कि सॉफ्टवेयर की है। ग्रिड की गणना के लिए ग्राफ को उपकरणों के इस समूह पर सटीक ज्ञान के साथ बिखेरना होगा, जिसमें यह चक्र की गणना की जाएगी। इसे स्टेटिक शेड्यूलिंग कहा जाता है। इसलिए, वेव ने प्रसिद्ध बाइसन - स्टीफन जॉनसन सहित संकलकों का एक समूह किराए पर लिया, जो किर्निगन और रिची के साथ मूल पर खड़े थे। यहाँ डेनिस रिची ने स्टीफन जॉनसन के बारे में क्या लिखा है:

1980 के दशक में, C ने तेजी से लोकप्रियता हासिल की और कंपाइलर लगभग हर मशीन और ऑपरेटिंग सिस्टम पर उपलब्ध हो गए; विशेष रूप से, यह पर्सनल कंप्यूटर के लिए प्रोग्रामिंग भाषा के रूप में लोकप्रिय हो गया है, इन मशीनों के लिए वाणिज्यिक सॉफ़्टवेयर के डेवलपर्स और साधारण उपयोगकर्ताओं के लिए जो प्रोग्रामिंग के लिए उत्सुक हैं। दशक की शुरुआत में, लगभग हर संकलक जॉनसन के पीसीसी पर आधारित था; 1985 तक, स्वतंत्र डेवलपर्स द्वारा पहले से ही कई संकलक बनाए गए थे।

जब मैं 18 साल का था (1988 में) और मैं एमआईपीटी में छात्र था, स्टीफन जॉनसन मेरा भगवान था। मैंने इसके पोर्टेबल सी कंपाइलर के आधार पर दो कंपाइलरों के विकास में भाग लिया। एक संकलक इलेक्ट्रॉनिक्स एसएस एलएसआई, रेड क्रॉस, क्राय -1 वेक्टर सुपर कंप्यूटर के सोवियत समकक्ष के लिए था। दूसरा संकलक ऑर्बिट 20-700 के लिए था, जो सोवियत मिग -29 सेनानियों और 1980 के दशक के शुरुआती वर्षों के एक अंतर्निहित कंप्यूटर था।

इसलिए मुझे सिर्फ स्टीफन जॉनसन के साथ एक तस्वीर लेनी थी। उन्होंने मुझे अन्य उपकरणों के बारे में बताया जो उन्होंने यूनिक्स के लिए बनाया था, और डिज़ाइन स्वचालन, स्वचालित रूपरेखा आदि के लिए।



और हां, इस सभी व्यवसाय में एक निवेशक के साथ डेडो बनतो की तस्वीर लगाई गई थी। एक बार, दाडो बनतो ने पहली स्क्रिबल के लिए चिपसेट बनाया। उन्होंने बल्लम के साथ ड्राइवरों को डिबेट किया। "कभी-कभी बिल गेट्स कमरे में आ गए, जिसने हमें परेशान कर दिया," डेडो बनतो कहते हैं। अब, इंटरनेट के अनुसार, उसके पास पाँच बिलियन डॉलर हैं। वह सबसे प्रसिद्ध हाई-टेक फिलिपिनो है, एआई सेंटर बनाता है और अपनी मातृभूमि में अन्य शैक्षिक कार्यक्रम चलाता है।



डावो बनतो ने सबसे अधिक पैसा मारवेल पर दिया। यहाँ शाम की धूप में सांता क्लारा में उसका कार्यालय है:



वेव कई लोगों को रोजगार देते हैं जो MIPS में काम करते थे। और MIPS में से कुछ सिलिकॉन ग्राफिक्स में थे, क्योंकि MIPS 1990 के दशक में सिलिकॉन ग्राफिक्स का हिस्सा था। उन दिनों, MIPS प्रोसेसर ग्राफिक स्टेशनों में थे जो हॉलीवुड में पहली यथार्थवादी ग्राफिक फिल्मों जैसे कि जुरासिक पार्क की शूटिंग के लिए उपयोग किए गए थे। माउंटेन व्यू, कैलिफोर्निया में कंप्यूटर इतिहास संग्रहालय में साइबेरियन लड़की इरीना के साथ ये ग्राफिक स्टेशन:



आज की पार्टी के अंत में, कल की आधिकारिक घोषणा और कल के प्रेस प्रकाशनों के सम्मान में, केक खाना और शैंपेन पीना हुआ:



कल बहुत काम होगा - वेरिलोग आरटीएल (मेरी प्रत्यक्ष जिम्मेदारियों) से, वास्तुकला, अनुप्रयोगों और यहां तक ​​कि डेटा वैज्ञानिकों से बात करने के लिए (वे खुद को दूसरे ब्रह्मांड से महसूस करते हैं, इसके अलावा, यह इलेक्ट्रॉनिक इंजीनियरों और संकलक दोनों के साथ पारस्परिक है)।