Google कोरल एज टीपीयू के अंदर क्या है: डिवाइस की गति और पार्सिंग के लिए परीक्षण

2019 में, Google ने अंततः कोरल-ब्रांडेड टीपीयू उपकरण जारी किए, जिन्हें खरीदा जा सकता है। हालांकि, अपने 100 पेटाफ्लॉप्स / एस के साथ बिगगैन जैसे प्रशिक्षण के लिए इतने शक्तिशाली क्लाउड नेटवर्क नहीं हैं, और सबसे सस्ता 180 टीएफलोप / वी 2 टीपीयू भी पसंद नहीं है, जिसे $ 4.5 प्रति घंटे किराए पर लिया जा सकता है। इन टीपीयू उपकरणों को "किनारे पर" काम करना चाहिए, अर्थात, इंटरनेट तक पहुंच के बिना छोटे उपकरणों के लिए गहन सीखने के समाधान को लागू करने की संभावना प्रदान करें। वे कितने अच्छे हैं जो हम खरीद सकते हैं?

वर्तमान उत्पादों के विनिर्देश में , उनकी गति 4 टीओपी (प्रति सेकंड teraoperations) के रूप में इंगित की गई है। ये मानक उपकरण नहीं हैं जो 32-बिट फ़्लोटिंग-पॉइंट ऑपरेशन का समर्थन करते हैं, क्योंकि इन उपकरणों पर चलने वाले टेंसोफ़्लो-लाइट 8-बिट फिक्स्ड-पॉइंट अंकगणितीय का उपयोग करते हैं। इसके अलावा, आप उन्हें मेमोरी के लिए ऐसे बैंडविड्थ नहीं पाएंगे, जैसा कि क्लाउड टीपीयू या जीपीयू पर है। एज टीपीयू यूएसबी 3.0 के माध्यम से या दूसरी पीढ़ी के एमपीसीआई बस के माध्यम से उपकरणों से जुड़े हैं, इसलिए गति 500-640 एमबी / एस तक सीमित होगी। बेशक, चूंकि इस तरह के डिवाइस पर केवल 8 एमबी SRAM है, इसलिए डेटा को डिवाइस से या उसके पास स्थानांतरित करने में 16 एमएस से अधिक नहीं लगेगा, और हमने इस लेख को लिखने के लिए परीक्षण किया मॉडल केवल 10 एमएस लिया। आप स्मृति की कमी से ग्रस्त नहीं होंगे, क्योंकि इन उपकरणों को खरोंच से सीखने के लिए डिज़ाइन नहीं किया गया है। हालांकि, इस उपकरण पर आप मॉडल की अंतिम परत को प्रशिक्षित कर सकते हैं। धार टीपीयू का उपयोग करने का मुख्य बिंदु तार्किक निष्कर्ष बनाना है, और इस तरह से मैं इस उपकरण की गति की जांच करूंगा।

कोरल एज टीपीयू जैसे उपकरणों के सबसे बंद मार्च 2019 में जारी किया गया था, और यह इसके साथ था कि मैं चारों ओर खेलने में कामयाब रहा। यह कोरल प्रोटोटाइप में से एक है, हालांकि दस्तावेजों के अनुसार यह बिल्कुल वैसा ही प्रदर्शन है जैसा कि mPCIe के साथ जारी मदरबोर्ड। USB 3.0 के साथ कोई समस्या नहीं है, लेकिन अगर आपको बाहरी डोंगल के साथ खिलवाड़ करने का मन नहीं है, तो आप M.2 एक्सेलेरेटर A + E कार्ड को WiFi कार्ड के बजाय स्लॉट में रख सकते हैं:


लेफ्ट: लैपटॉप में मेरा वाईफाई कार्ड। दाएं: M.2 A + E त्वरक जो एक ही स्लॉट में प्लग करता है।

और 30 मिमी x 65 मिमी और $ 75 की लागत को मापने वाले टीपीयू त्वरक के अंदर क्या है? क्या USB अडैप्टर और एक हीटसिंक के साथ $ 35 के लिए 30 मिमी x 22 मिमी mPCI त्वरक हो सकता है? क्या हम धीरे से प्लास्टिक और धातु का एक डिब्बा खोल सकते हैं?


फ्रंट और रियर एज टीपीयू

प्लास्टिक के मामले को बिना किसी समस्या के खोला जा सकता है, बहुत कठोर रेडिएटर के लिए धन्यवाद। रेडिएटर को स्वयं 4 स्क्रू को हटाकर हटाया जा सकता है।


प्लास्टिक कवर के साथ डिवाइस का पिछला, एक रेडिएटर के साथ और बिना रेडिएटर को हटाए बिना

उपरोक्त प्रश्न का उत्तर: नहीं, शाब्दिक रूप से नहीं, लेकिन बोर्ड बहुत समान हैं:


कोरल एज टीपीयू का कामकाजी पक्ष। दाईं ओर M2-A + E एक्सेलेरेटर और एक-सिक्का पर एक अलग TPU चिप है

रेडिएटर चिप्स संभवतः टीपीयू (बड़ा) और मेमोरी हैं। एज टीपीयू को वापस इकट्ठा करने के बाद, मैंने अपनी गति परीक्षण किए, हालांकि Google की ओर से परीक्षण में सीपीयू की तुलना में 10- और यहां तक ​​कि 20 गुना तेज प्रदर्शन होता है।

वस्तु मान्यता के लिए कोरल साइट से एक उदाहरण सीपीयू और टीपीयू दोनों पर चलाया जा सकता है। मैं इस उपकरण को गैलियम OS 2.1 के साथ अपने एसर क्रोमबुक 11 से जोड़ता हूं, जो डेबियन के समान है ताकि टीएफ-लाइट और टीपीयू के साथ काम करने का कार्यक्रम बिना किसी समस्या के स्थापित हो सके। ऑब्जेक्ट मान्यता के लिए MobileNetV2 SSDLite मॉडल 7 MB से कम का है और 300x300 छवियों के साथ काम करता है। टीपीयू पर, एक छवि 20 एमएस (एक बार की छवि की नकल के लिए +10 एमएस) में संसाधित होती है। 2014 में इंटेल सेलेरॉन 2.16GHz सीपीयू के साथ मेरे लैपटॉप पर, छवि 1500 एमएस में संसाधित हुई है। एक अन्य पीसी पर, इंटेल एक्सॉन प्रोसेसर 2.5 गीगाहर्ट्ज सीपीयू (जो कि cpubenchmark.net के अनुसार मेरा 15 गुना तेजी से है) के साथ, छवि 130 एमएस (210 डब्ल्यू की खपत के साथ!) में संसाधित होती है। Cpubenchmark.net के अनुसार, उपलब्ध सबसे तेज सीपीयू इससे 3 गुना तेज होगा: और यह अभी भी किनारे से धीमा होगा टीपीयू, जो, इसके अलावा, बहुत सस्ता है और बहुत कम खपत करता है!

एक और दिलचस्प परियोजना मेरे लैपटॉप के कैमरे से वीडियो स्ट्रीम में वस्तुओं की मान्यता है। सेलेरॉन प्रोसेसर पर, चयनित उदाहरण प्रति सेकंड एक फ्रेम से कम प्रक्रिया करने का प्रबंधन करता है। टीपीयू पर, यह 20 फ्रेम प्रति सेकंड की प्रक्रिया करता है - अर्थात, यह वास्तविक समय में काम करता है। और केवल एक चौथाई समय टीपीयू के साथ संचार करने में बिताया जाता है, बाकी चित्रों का आकार बदल रहा है और सीपीयू के साथ अंतिम डेटा प्रदर्शित कर रहा है। यद्यपि मैंने अधिकतम आवृत्ति पर संचालित करने के लिए टीपीयू के लिए कार्यक्रम स्थापित किया था, मैं इसकी सीमा के करीब नहीं आया था, इसलिए टीपीयू हीटसिंक किसी भी असुविधाजनक तापमान तक गर्म नहीं हुआ।

दिए गए उदाहरण बदलने और समायोजित करने के लिए काफी आसान थे। डिवाइस के साथ काम करना शुरू करने के लिए, आपको केवल टीपीयू काम करने वाले वातावरण को एप्ट-गेट के माध्यम से स्थापित करने की आवश्यकता है, फिर पाइप के माध्यम से टीएफ-लाइट स्थापित करें - और आप उदाहरणों के साथ काम करने के लिए तैयार हैं। इन उदाहरणों में मॉडल पहले से ही precompiled हैं। अधिक प्रशंसनीय गति परीक्षण के लिए, आपको मॉडल को खरोंच से प्रशिक्षित करना होगा, इसे GPU और CPU पर चलाना होगा, इसे tf-lite में बदलना होगा और इसे CPU और TPU पर चलाना होगा।

सामान्य तौर पर, मैं इस उपकरण से प्रसन्न था। यह मेरे लिए आश्चर्य की बात है कि एक नेटवर्क जो 300x300 छवियों में वस्तुओं को पहचानता है वह वास्तविक समय में 2014 नेटबुक पर काम करता है, जिसमें अपग्रेड केवल $ 75 (या एम 35 बोर्ड लेने पर भी $ 35) होता है। बेशक, क्षेत्रीय टीपीयू जीपीयू को प्रशिक्षण के लिए और यहां तक ​​कि मॉडल के मूल्यांकन के लिए भी प्रतिस्थापित नहीं करेगा। हालांकि, मुझे बोर्ड में काफी संभावनाएं दिख रही हैं , जिसमें एक टीओपी की लागत $ 10 है और 0.5 वाट की खपत होती है। यह GPU के साथ काम करने की तुलना में कम से कम 10 गुना सस्ता है! और बहुत कम ऊर्जा गहन। यह खेतों में कहीं काम के प्रदर्शन के लिए एक बढ़िया विकल्प है। यदि आप जिस कार्य में रुचि रखते हैं, वह उत्पाद वेबसाइट पर लेबल पर इंगित किया गया है, तो यह चिप उपयोगी होगी यदि कम बिजली की खपत और एक छोटा सिस्टम आकार आपकी प्राथमिकता है।