मशीन सीखने के लिए Google का विशेष ASIC GPU से दस गुना तेज है

चार साल पहले, Google को अपने अनुप्रयोगों में तंत्रिका नेटवर्क का उपयोग करने की वास्तविक क्षमता का एहसास हुआ। फिर उसने उन्हें हर जगह पेश करना शुरू कर दिया - पाठ अनुवाद में, वाक् पहचान के साथ आवाज खोज, लेकिन यह तुरंत स्पष्ट हो गया कि तंत्रिका नेटवर्क के उपयोग से Google सर्वर पर लोड बढ़ जाता है। मोटे तौर पर, अगर हर कोई केवल तीन मिनट के लिए एंड्रॉइड (या भाषण मान्यता के साथ निर्धारित पाठ) पर एक आवाज खोज करता है, तो Google को डेटा केंद्रों की संख्या को दोगुना करना होगा (!) बस इसलिए कि तंत्रिका नेटवर्क इतनी मात्रा में ध्वनि यातायात की प्रक्रिया करेंगे।

कुछ किया जाना था - और Google ने एक समाधान पाया। 2015 में, उन्होंने मशीन लर्निंग (टेन्सर प्रोसेसिंग यूनिट, टीपीयू) के लिए अपना स्वयं का हार्डवेयर आर्किटेक्चर विकसित किया, जो प्रदर्शन के मामले में पारंपरिक जीपीयू और सीपीयू की तुलना में 70 गुना अधिक तेज है और प्रति वाट की गणना के मामले में 196 गुना अधिक है। पारंपरिक जीपीयू / सीपीयू सामान्य प्रयोजन प्रोसेसर Xeon E5 v3 (हैसवेल) और एनवीडिया टेस्ला के 80 जीपीयू का उल्लेख करते हैं।

टीपीयू आर्किटेक्चर को पहली बार इस सप्ताह एक वैज्ञानिक पेपर (पीडीएफ) में वर्णित किया गया था, जिसे टोरंटो में कंप्यूटर आर्किटेक्चर (आईएससीए) पर 26 जून, 2017 को 44 वें अंतर्राष्ट्रीय संगोष्ठी में प्रस्तुत किया जाएगा। इस वैज्ञानिक कार्य के 70 से अधिक लेखकों के एक अग्रणी लेखक, एक उत्कृष्ट इंजीनियर नॉर्मन जौपी, जिसे एमईपीएस प्रोसेसर के रचनाकारों में से एक के रूप में जाना जाता है, नेक्स्ट प्लेटफार्म के साथ एक साक्षात्कार में , अपने शब्दों में अद्वितीय टीपीयू वास्तुकला की विशेषताओं को समझाया, जो वास्तव में एक विशेष एएसआईसी है, अर्थात्। विशेष उद्देश्य एकीकृत सर्किट।

पारंपरिक FPGAs या अत्यधिक विशिष्ट ASICs के विपरीत, TPU मॉड्यूल को GPU या CPU के समान प्रोग्राम किया जाता है, यह एकल न्यूरल नेटवर्क के लिए संकीर्ण-सीमा वाला उपकरण नहीं है। नॉर्मन युप्पी का कहना है कि टीपीयू विभिन्न प्रकार के तंत्रिका नेटवर्क के लिए सीआईएससी के निर्देशों का समर्थन करता है: दृढ़ तंत्रिका नेटवर्क, एलएसटीएम मॉडल और बड़े, पूरी तरह से जुड़े मॉडल। ताकि यह अभी भी प्रोग्राम योग्य रहे, केवल मैट्रिक्स को एक आदिम के रूप में उपयोग करता है, न कि वेक्टर या स्केलर आदिम के रूप में।

Google इस बात पर जोर देता है कि जहां अन्य डेवलपर अपने माइक्रोचिप्स को कनवल्शनल न्यूरल नेटवर्क के लिए अनुकूलित कर रहे हैं, ऐसे न्यूरल नेटवर्क Google डेटा केंद्रों में केवल 5% लोड प्रदान करते हैं। बहुसंख्यक Google एप्लिकेशन बहुपरत रूमेलहार्ट परसेप्ट्रॉन का उपयोग करते हैं , इसलिए एक अधिक सार्वभौमिक वास्तुकला बनाना इतना महत्वपूर्ण था जो केवल दृढ़ नेटवर्क नेटवर्क के लिए "तेज" नहीं था।


वास्तुकला के तत्वों में से एक सिस्टोलिक डेटा स्ट्रीम इंजन है, जो 256 × 256 की एक सरणी है, जो बाईं ओर न्यूरॉन्स से सक्रियण (भार) प्राप्त करता है, और फिर सब कुछ कदम से कदम बढ़ाता है, सेल में भार से गुणा होता है। यह पता चला है कि सिस्टोलिक मैट्रिक्स प्रति चक्र 65 536 गणना करता है। यह वास्तुकला तंत्रिका नेटवर्क के लिए आदर्श है।

उप्पी के अनुसार, TPU का आर्किटेक्चर एक नियमित GPU की तुलना में FPU कॉपरप्रोसेसर के समान है, हालांकि गुणा के लिए कई मैट्रिस किसी भी प्रोग्राम को स्टोर नहीं करते हैं, वे बस होस्ट से प्राप्त निर्देशों को निष्पादित करते हैं।


DDR3 मेमोरी के अपवाद के साथ सभी TPU आर्किटेक्चर। निर्देश होस्ट (बाएं) से कतार में भेजे जाते हैं। फिर, निर्देश के आधार पर नियंत्रण तर्क, उनमें से प्रत्येक को बार-बार चला सकता है

यह आर्किटेक्चर कितना स्केलेबल है, यह अभी तक ज्ञात नहीं है। यूप्पी का कहना है कि इस तरह के मेजबान के साथ एक प्रणाली में हमेशा किसी न किसी तरह की अड़चन होगी।



पारंपरिक सीपीयू और जीपीयू की तुलना में, Google की मशीन वास्तुकला उन्हें दस गुना अधिक करती है। उदाहरण के लिए, एक Haswell Xeon E5-2699 v3 प्रोसेसर, 18 कोर के साथ 2.3 GHz की घड़ी आवृत्ति पर 64-बिट फ़्लोटिंग पॉइंट के साथ 1.3 टेरा-संचालन प्रति सेकंड (TOPS) करता है और 51 GB / s का डेटा ट्रांसफर दर दिखाता है। इस मामले में, चिप स्वयं 145 वाट का उपभोग करता है, और इस पर पूरी प्रणाली 256 जीबी मेमोरी - 455 वाट के साथ होती है।

तुलना के लिए, टीपीयू 8 जीबी संचालन पर 256 जीबी की बाहरी मेमोरी और 32 जीबी की आंतरिक मेमोरी के साथ 34 जीबी / एस की मेमोरी के साथ विनिमय की गति को प्रदर्शित करता है, लेकिन साथ ही कार्ड 92 TOPS, अर्थात् हसवेल प्रोसेसर की तुलना में लगभग 71 गुना अधिक प्रदर्शन करता है। टीपीयू पर सर्वर बिजली की खपत 384 वाट है।



निम्न ग्राफ़ एक सर्वर के प्रति प्रदर्शन की तुलना एक GPU (नीला कॉलम) के साथ सीपीयू पर एक सर्वर के सापेक्ष टीपीयू (लाल) सर्वर पर करता है। यह जीपीयू (नारंगी) के सर्वर पर टीपीयू के साथ सर्वर के प्रति वाट के सापेक्ष प्रदर्शन और सीपीयू (ग्रीन) पर सर्वर के सापेक्ष टीपीयू के उन्नत संस्करण और जीपीयू (बैंगनी) पर सर्वर की तुलना भी करता है।



यह ध्यान दिया जाना चाहिए कि Google ने TensorFlow पर अनुप्रयोगों के परीक्षणों में तुलना Haswell Xeon के रिश्तेदार पुराने संस्करण के साथ की, जबकि Broadwell Xeon E5 v4 के नए संस्करण में प्रति चक्र निर्देशों की संख्या में 5% की वृद्धि हुई है, वास्तु सुधार के कारण, और Skylake Xeon E5 v5 के संस्करण में। , जो गर्मियों में होने की उम्मीद है, प्रति चक्र निर्देशों की संख्या में 9-10% की वृद्धि हो सकती है। और स्काईलेक में 18 से 28 तक कोर की संख्या में वृद्धि के साथ, Google परीक्षणों में इंटेल प्रोसेसर के समग्र प्रदर्शन में 80% तक सुधार हो सकता है। लेकिन फिर भी, टीपीयू के साथ एक बड़ा प्रदर्शन अंतर होगा। 32-बिट फ्लोटिंग पॉइंट के साथ परीक्षण के संस्करण में, टीपीयू और सीपीयू के बीच का अंतर लगभग 3.5 गुना तक कम हो जाता है। लेकिन अधिकांश मॉडल पूरी तरह से 8 बिट्स की मात्रा निर्धारित करते हैं।

Google 2006 से अपने डेटा केंद्रों में GPU, FPGAs और ASICs का उपयोग करने के बारे में सोच रहा है, लेकिन कई व्यावहारिक कार्यों के लिए मशीन सीखने की शुरुआत करने के बाद उन्हें तब तक नहीं मिला, और इन तंत्रिका नेटवर्क पर लोड उपयोगकर्ताओं के अरबों अनुरोधों से बढ़ने लगा। अब कंपनी के पास पारंपरिक सीपीयू से दूर जाने के अलावा कोई विकल्प नहीं है।

कंपनी किसी को भी अपने प्रोसेसर बेचने की योजना नहीं बनाती है, लेकिन उम्मीद करती है कि 2015 के एएसआईसी के साथ वैज्ञानिक कार्य दूसरों को वास्तुकला में सुधार करने और एएसआईसी के बेहतर संस्करण बनाने की अनुमति देगा जो "बार को और भी अधिक बढ़ा देगा।" Google स्वयं संभवतः ASIC के नए संस्करण पर काम कर रहा है।