एआई के लिए एम्बेडेड प्लेटफार्मों की अंतिम तुलना

तंत्रिका नेटवर्क दुनिया पर कब्जा करते हैं। वे आगंतुकों की गणना करते हैं, गुणवत्ता की निगरानी करते हैं, आंकड़े रखते हैं और सुरक्षा का मूल्यांकन करते हैं। स्टार्टअप्स का एक गुच्छा, औद्योगिक उपयोग।
महान रूपरेखा। PyTorch क्या है, दूसरा TensorFlow क्या है। सब कुछ अधिक सुविधाजनक और सुविधाजनक, सरल और सरल होता जा रहा है ...
लेकिन एक अंधेरा पक्ष है। वे उसके बारे में चुप रहने की कोशिश करते हैं। वहां कुछ भी आनंदपूर्ण नहीं है, केवल अंधकार और निराशा है। हर बार जब आप एक सकारात्मक लेख देखते हैं, तो आप दुख की बात करते हैं, क्योंकि आप समझते हैं कि बस एक व्यक्ति को कुछ समझ नहीं आया। या उसे छिपा दिया।
चलो एम्बेडेड उपकरणों पर उत्पादन के बारे में बात करते हैं।

क्या समस्या है

ऐसा लगता होगा। डिवाइस के प्रदर्शन को देखें, सुनिश्चित करें कि यह पर्याप्त है, इसे चलाएं और लाभ प्राप्त करें।
लेकिन, हमेशा की तरह, बारीकियों की एक जोड़ी है। आइए उन्हें अलमारियों में रखें:

1. उत्पादन। यदि आपका उपकरण एकल प्रतियों में नहीं बनाया गया है, तो आपको यह सुनिश्चित करने की आवश्यकता है कि सिस्टम लटका नहीं है, कि उपकरण ज़्यादा गरम नहीं करेंगे, कि अगर बिजली चली जाती है, तो सब कुछ स्वचालित रूप से बूट हो जाएगा। और यह एक बड़ी पार्टी पर है। यह केवल दो विकल्प देता है - या तो डिवाइस को पूरी तरह से सभी संभावित समस्याओं को ध्यान में रखते हुए डिज़ाइन किया जाना चाहिए। या आपको स्रोत डिवाइस की समस्याओं को दूर करने की आवश्यकता है। खैर, उदाहरण के लिए, ये ( 1 , 2 ) हैं। जो, ज़ाहिर है, टिन है। बड़े बैचों में किसी और के डिवाइस की समस्याओं को हल करने के लिए, आपको ऊर्जा की अवास्तविक राशि खर्च करने की आवश्यकता है।
2. असली बेंचमार्क। ढेर सारा घोटाला और तिकड़म। अधिकांश उदाहरणों में NVIDIA 30-40% द्वारा प्रदर्शन को कम कर देता है। लेकिन न केवल वह मज़ा है। नीचे मैं कई उदाहरण देता हूं जब उत्पादकता आपकी इच्छा से 4-5 गुना कम हो सकती है। आप "कंप्यूटर पर सब कुछ अच्छी तरह से काम कर सकते हैं" निर्धारित नहीं किया जा सकता है, यह यहाँ आनुपातिक रूप से बदतर होगा।
   
3. तंत्रिका नेटवर्क वास्तुकला के लिए बहुत सीमित समर्थन। कई एम्बेडेड हार्डवेयर प्लेटफ़ॉर्म हैं जो उन नेटवर्क को बहुत सीमित करते हैं जो उन पर चलाए जा सकते हैं (कोरल, गाइफालकॉन, स्नैपड्रैगन)। ऐसे प्लेटफार्मों के लिए पोर्टिंग दर्दनाक होगी।
4. सहायता। आपके लिए कुछ काम नहीं करता है, लेकिन समस्या डिवाइस की तरफ है? .. यह भाग्य है, यह काम नहीं करेगा। केवल आरपीआई के लिए, समुदाय अधिकांश बगों को बंद कर देता है। और, जेटसन के लिए, भाग में।
5. मूल्य। यह कई लोगों को लगता है कि एम्बेडेड सस्ता है। लेकिन, वास्तव में, डिवाइस के प्रदर्शन में वृद्धि के साथ, कीमत लगभग तेजी से बढ़ेगी। आरपीआई -4 जेटसन नैनो / गूगल कोरल से 5 गुना सस्ता और 2-3 गुना कमजोर है। जेटसन नैनो जेटसन TX2 / Intel NUC से 5 गुना सस्ता है, और उनसे 2-3 गुना कमजोर है।
   
6. Lorgus। Zhelyazny से इस डिजाइन को याद रखें? ऐसा लगता है कि मैंने इसे शीर्षक चित्र के रूप में सेट किया है ... " लॉगरस एक स्थानांतरण, तीन-आयामी भूलभुलैया है जो मल्टीवर्स में अराजकता की ताकतों का प्रतिनिधित्व करता है। " यह सब बग और छिद्रों की एक बहुतायत है, ये सभी लोहे के विभिन्न टुकड़े, सभी बदलते ढांचे ... यह सामान्य है जब बाजार की तस्वीर 2-3 महीनों में पूरी तरह से बदल जाती है। इस वर्ष के दौरान, यह 3-4 बार बदल गया है। आप एक ही नदी में दो बार प्रवेश नहीं कर सकते। तो 2019 की गर्मियों के लिए सभी वर्तमान विचार सही हैं।

क्या है

आइए इसे क्रम में लें, यह मीठा नहीं लगता ... अब क्या है और न्यूरॉन्स के लिए उपयुक्त है? उनकी परिवर्तनशीलता के बावजूद, इतने सारे विकल्प नहीं हैं। खोज को सीमित करने के लिए कुछ सामान्य शब्द:

1. मैं फोन पर न्यूरॉन्स / इंफेक्शन को पार्स नहीं करूंगा। यह अपने आप में एक बहुत बड़ा विषय है। लेकिन जब से फोन एक हस्तक्षेप फिट के साथ एम्बेडेड प्लेटफॉर्म हैं, मुझे नहीं लगता कि यह बुरा है।
2. मैं जेटसन TX1 | TX2 पर संपर्क करूंगा। मौजूदा परिस्थितियों में, ये कीमत के लिए प्लेटफार्मों का सबसे इष्टतम नहीं हैं, लेकिन ऐसी परिस्थितियां हैं जब वे अभी भी उपयोग करने के लिए सुविधाजनक हैं।
3. मैं इस बात की गारंटी नहीं देता कि सूची में उन सभी प्लेटफार्मों को शामिल किया जाएगा जो आज मौजूद हैं। शायद मैं कुछ भूल गया, शायद मैं किसी चीज़ के बारे में नहीं जानता। यदि आप अधिक दिलचस्प प्लेटफार्मों को जानते हैं - लिखो!

So. मुख्य चीजें जो स्पष्ट रूप से एम्बेड कर रही हैं। लेख में हम उनकी तुलना ठीक करेंगे:

1. जेटसन प्लेटफार्म। इसके लिए कई उपकरण हैं:
   
   • जेटसन नैनो - एक सस्ता और काफी आधुनिक (वसंत 2019) खिलौना
   • जेटसन Tx1 | Tx2 - प्रदर्शन और बहुमुखी प्रतिभा प्लेटफार्मों पर काफी महंगा लेकिन अच्छा है
   
   
2. रास्पबेरी पाई । वास्तव में, केवल RPi4 में तंत्रिका नेटवर्क के लिए प्रदर्शन है। लेकिन तीसरी पीढ़ी पर कुछ अलग कार्य किए जा सकते हैं। मैंने पहली बार में बहुत ही सरल ग्रिड शुरू किए।
3. Google कोरल प्लेटफ़ॉर्म। वास्तव में, उपकरणों को एम्बेड करने के लिए केवल एक चिप और दो डिवाइस हैं - देव बोर्ड और यूएसबी एक्सलेरेटर
4. इंटेल Movidius प्लेटफार्म। यदि आप एक बहुत बड़ी कंपनी नहीं हैं, तो केवल Movidius 1 | Movidius 2 स्टिक्स आपके लिए उपलब्ध होंगे।
5. Gyrfalcone मंच। चीनी तकनीक का चमत्कार। पहले से ही दो पीढ़ियां हैं - 2801, 2803

दूसरों। हम मुख्य तुलना के बाद उनके बारे में बात करेंगे:

1. इंटेल प्रोसेसर। सबसे पहले, NUC असेंबली। लगभग एम्बेडिंग
2. एनवीडिया मोबाइल जीपीयू। तैयार समाधान को एम्बेडिंग नहीं माना जा सकता है। और यदि आप एम्बेडिंग एकत्र करते हैं, तो यह वित्त पर शालीनता से बदल जाएगा।
3. मोबाइल फोन। एंड्रॉइड को इस तथ्य की विशेषता है कि अधिकतम प्रदर्शन का उपयोग करने के लिए, एक विशेष निर्माता के पास बिल्कुल हार्डवेयर का उपयोग करना आवश्यक है। या कुछ सार्वभौमिक का उपयोग करें, जैसे टेंसोफ़्लो प्रकाश। Apple के लिए, वही बात।
4. जेटसन एजीएक्स जेवियर अधिक प्रदर्शन के साथ जेटसन का एक महंगा संस्करण है।
5. GAP8 - सुपर-सस्ते उपकरणों के लिए कम शक्ति वाले प्रोसेसर।
6. मिस्टीरियस ग्रोव एआई हाट

Jetson

हम बहुत लंबे समय से जेटसन के साथ काम कर रहे हैं। 2014 में वापस, वासुतुका ने जेटसन पर तत्कालीन स्विफ्ट के लिए गणित का आविष्कार किया। 2015 में, आर्टेक 3 डी के साथ एक बैठक में, हमने इस बारे में बात की कि यह एक अच्छा मंच है, जिसके बाद उन्होंने सुझाव दिया कि हम इसके आधार पर एक प्रोटोटाइप का निर्माण करते हैं। कुछ महीनों के बाद, प्रोटोटाइप तैयार हो गया था। बस पूरी कंपनी के काम के कुछ साल, मंच और स्वर्ग पर दो साल के शाप ... और आर्टेक लियो का जन्म हुआ - अपनी कक्षा में सबसे अच्छा स्कैनर। यहां तक ​​कि TX2 की प्रस्तुति में एनवीडिया ने उन्हें मंच पर बनाई गई सबसे दिलचस्प परियोजनाओं में से एक के रूप में दिखाया ।
तब से, TX1 / TX2 / नैनो हमने 5-6 परियोजनाओं में कहीं इस्तेमाल किया।
और, शायद, हम उन सभी समस्याओं को जानते हैं जो मंच के साथ थीं। इसे क्रम में लेते हैं।

जेटसन tk1

मैं विशेष रूप से उसके बारे में बात नहीं करता। मंच अपने दिन में कंप्यूटिंग शक्ति में बहुत कुशल था। लेकिन वह किरकिरी नहीं थी। NVIDIA ने TegraTK1 चिप्स बेचीं जो जेटसन को रेखांकित करती थीं । लेकिन इन चिप्स को छोटे और मध्यम आकार के निर्माताओं के लिए उपयोग करना असंभव था। वास्तव में, केवल Google / HTC / Xiaomi / Acer / Google उन पर Nvidia के अलावा कुछ कर सकते थे। अन्य सभी डिबग बोर्डों में एकीकृत हो गए, या अन्य उपकरणों को लूट लिया।

जेटसन TX1 | TX2 |

एनवीडिया ने सही निष्कर्ष दिया, और अगली पीढ़ी को अजीब तरह से किया गया था। TX1 | TX2, ये अब चिप्स नहीं हैं, लेकिन बोर्ड पर एक चिप है।

वे अधिक महंगे हैं, लेकिन पूरी तरह से किराने का स्तर है। एक छोटी कंपनी उन्हें अपने उत्पाद में एकीकृत कर सकती है, यह उत्पाद अनुमानित और स्थिर है। मैंने व्यक्तिगत रूप से देखा कि कैसे 3-4 उत्पादों को उत्पादन में लाया गया - और सब कुछ अच्छा था।
मैं TX2 के बारे में बात करूंगा, क्योंकि वर्तमान लाइन से यह मुख्य बोर्ड है।
लेकिन, निश्चित रूप से, सभी भगवान का धन्यवाद नहीं करते हैं। क्या गलत है:

1. जेटसन TX2 एक महंगा प्लेटफॉर्म है। अधिकांश उत्पादों में, आप मुख्य मॉड्यूल का उपयोग करेंगे (जैसा कि मैं इसे समझता हूं, बैच के आकार से, कीमत कहीं 200-250 से 350-400 क्यू अपेक तक होगी)। उसे एक कैरियरबर्ड की जरूरत है। मुझे वर्तमान बाजार का पता नहीं है, लेकिन पहले यह लगभग 100-300 घन मीटर था विन्यास पर निर्भर करता है। खैर, और अपने शरीर की किट के ऊपर।
2. जेटसन TX2 सबसे तेज प्लेटफॉर्म नहीं है। नीचे हम तुलनात्मक गति पर चर्चा करेंगे, वहां मैं दिखाऊंगा कि यह सबसे अच्छा विकल्प क्यों नहीं है।
3. बहुत अधिक गर्मी को दूर करना आवश्यक है। यह लगभग सभी प्लेटफार्मों के लिए शायद सच है जिनके बारे में हम बात करेंगे। आवास को गर्मी लंपटता की समस्या को हल करना चाहिए। प्रशंसक।
4. यह छोटे दलों के लिए एक बुरा मंच है। सैकड़ों उपकरणों के लगभग - लगभग। मदरबोर्ड ऑर्डर करना, डिजाइन और पैकेजिंग विकसित करना आदर्श है। उपकरणों के हजारों? अपने मदरबोर्ड को डिज़ाइन करें - और ठाठ। यदि आपको 5-10 - खराब चाहिए। आपको सबसे अधिक संभावना देवबोर्ड लेनी होगी। वे बड़े हैं, वे फ्लैश करने के लिए थोड़ा घृणित हैं। यह आरपीआई-तैयार प्लेटफॉर्म नहीं है।
5. एनवीडिया की खराब तकनीकी सहायता। मैंने बहुत सारी शपथ सुनी है कि उत्तर दिए जाते हैं कि यह या तो गुप्त जानकारी है या मासिक प्रतिक्रियाएं हैं।
6. रूस में गरीब बुनियादी ढांचा। इसे ऑर्डर करना मुश्किल है, इसमें लंबा समय लगता है। लेकिन साथ ही, डीलर अच्छा काम करते हैं। मैं हाल ही में जेटसन नैनो में आया था जो लॉन्च के दिन जल गया था - बिना किसी सवाल के बदल गया। कूरियर द्वारा सैम को उठाया गया / एक नया लाया गया। सीवीसी! इसके अलावा, उन्होंने खुद देखा कि मास्को कार्यालय अच्छी तरह से सलाह देता है। लेकिन जैसे ही उनके ज्ञान का स्तर सवाल का जवाब देने की अनुमति नहीं देता है और अंतर्राष्ट्रीय कार्यालय से अनुरोध की आवश्यकता होती है - उन्हें लंबे समय तक जवाब के लिए इंतजार करना होगा।

क्या कमाल है:

1. बहुत सारी जानकारी, एक बहुत बड़ा समुदाय।
2. एनवीडिया के आसपास कई छोटी कंपनियां हैं जो सामान का उत्पादन करती हैं। वे बातचीत के लिए खुले हैं, आप उनके निर्णय को सुन सकते हैं। और CarierBoard, और फर्मवेयर, और शीतलन प्रणाली।
3. सभी सामान्य रूपरेखाओं के लिए समर्थन (TensorFlow | PyTorch) और सभी नेटवर्क के लिए पूर्ण समर्थन। एकमात्र रूपांतरण जो आपको करना पड़ सकता है वह कोड को TensorRT में स्थानांतरित करना है। यह स्मृति को बचाएगा, संभवतः गति देगा। अन्य प्लेटफार्मों पर क्या होगा, इसकी तुलना में यह हास्यास्पद है।
4. मुझे पता नहीं है कि बोर्ड कैसे प्रजनन करते हैं। लेकिन एनवीडिया के लिए ऐसा करने वालों से, मैंने सुना है कि TX2 एक अच्छा विकल्प है। ऐसे मैनुअल हैं जो वास्तविकता के अनुरूप हैं।
5. बिजली की अच्छी खपत। लेकिन यह सब बिल्कुल "एम्बेडेड" हमारे साथ होगा - सबसे खराब :)
6. रूस में कैलिपर (ऊपर बताया गया है कि क्यों)
7. विपर्याय के विपरीत | आरपीआई | मूंगा | Gyrfalcon एक वास्तविक GPU है। आप इस पर न केवल ग्रिड, बल्कि सामान्य एल्गोरिदम भी चला सकते हैं

परिणामस्वरूप, यदि आपके पास टुकड़ा डिवाइस हैं, तो यह आपके लिए एक अच्छा प्लेटफ़ॉर्म है, लेकिन किसी कारण से आप पूर्ण कंप्यूटर वितरित नहीं कर सकते। कुछ बड़े पैमाने पर? बॉयोमीट्रिक्स - सबसे अधिक संभावना नहीं है। संख्या मान्यता प्रवाह के आधार पर, किनारे पर है। 5k रुपये से अधिक की कीमत वाले पोर्टेबल डिवाइस - संभव। कारें - नहीं, अधिक शक्तिशाली प्लेटफॉर्म को थोड़ा अधिक महंगा करना आसान है।
यह मुझे लगता है कि सस्ते उपकरणों की एक नई पीढ़ी की रिहाई के साथ, TX2 समय के साथ मर जाएगा।

जेटसन TX1 | TX2 | TX2i और अन्य के लिए मदरबोर्ड कुछ इस तरह दिखते हैं:

और यहां या यहां और अधिक विविधताएं हैं।

जेटसन नैनो

जेटसन नैनो एक बहुत ही दिलचस्प चीज है। एनवीडिया के लिए, यह एक नया रूप कारक है, जो क्रांति के संदर्भ में, टीके 1 के साथ तुलना करना होगा। लेकिन प्रतियोगी पहले से ही बाहर चल रहे हैं। ऐसे अन्य उपकरण हैं जिनके बारे में हम बात करेंगे। यह TX2 से 2 गुना कमजोर है, लेकिन 4 गुना सस्ता है। अधिक सटीक ... गणित जटिल है। डेमो बोर्ड पर जेटसन नैनो की कीमत 100 रुपये (यूरोप में) है। लेकिन अगर आप केवल एक चिप खरीदते हैं, तो यह अधिक महंगा होगा। और आपको उसे प्रजनन करने की आवश्यकता होगी (अभी तक उसके लिए कोई मदरबोर्ड नहीं है)। और भगवान मना करते हैं कि यह TX2 की तुलना में बड़ी पार्टी पर 2 गुना सस्ता होगा।
वास्तव में, जेटसन नैनो, अपने बेस बोर्ड पर, संस्थानों / पुनर्विक्रेताओं / शौकीनों के लिए एक ऐसा विज्ञापन उत्पाद है, जिसमें ब्याज और व्यावसायिक अनुप्रयोग को बढ़ावा देना चाहिए। Pluses और minuses द्वारा (TX2 के साथ आंशिक रूप से अंतर):

1. डिजाइन कमजोर है और डीबग नहीं किया गया है:
   
   • यह ओवरहेट करता है, एक निरंतर लोड के साथ समय-समय पर लटका / मक्खियों। एक परिचित कंपनी 3 महीने से सभी समस्याओं को उठाने की कोशिश कर रही है - यह काम नहीं करता है।
   • यूएसबी द्वारा संचालित होने पर मैंने एक जला दिया। मैंने सुना है कि एक दोस्त के पास एक यूएसबी आउटपुट जला हुआ था, और प्लग काम कर रहा था। सबसे अधिक संभावना USB शक्ति के साथ कुछ परेशानियां हैं।
   • यदि आप मूल बोर्ड को पैकेज करते हैं, तो एनवीआईडीआईए से पर्याप्त रेडिएटर नहीं होगा, उदाहरण के लिए, यह ज़्यादा गरम हो जाएगा।
   
   
2. गति किसी तरह पर्याप्त नहीं है। TX2 की तुलना में लगभग 2 गुना कम (वास्तव में, यह 1.5 हो सकता है, लेकिन यह कार्य पर निर्भर करता है)।
3. 5-10 डिवाइस बहुत आम हैं। 50-200 - यह मुश्किल है, आपको सभी निर्माता के कीड़े के लिए क्षतिपूर्ति करनी होगी, इसे अपने कुत्तों पर लटकाएं, अगर आपको पीओई जैसी कोई चीज जोड़ने की आवश्यकता है, तो यह चोट पहुंचाएगा। बड़े-बड़े दल। आज मैंने सफल परियोजनाओं के बारे में नहीं सुना है। लेकिन मुझे लगता है कि टीके 1 की तरह ही मुश्किलें भी पैदा हो सकती हैं। सच कहूं, तो मैं उम्मीद करना चाहता हूं कि अगले साल जेटसन नैनो 2 रिलीज होगी, जहां इन बचपन की बीमारियों को ठीक किया जाएगा।
4. समर्थन खराब है, TX2 के समान है
5. खराब बुनियादी ढांचा

अच्छा:

1. प्रतियोगियों की तुलना में पर्याप्त बजट। खासकर छोटी पार्टियों के लिए। अनुकूल रूप से कीमत / प्रदर्शन
2. विपर्याय के विपरीत | आरपीआई | मूंगा | Gyrfalcon एक वास्तविक GPU है। आप इस पर न केवल ग्रिड, बल्कि सामान्य एल्गोरिदम भी चला सकते हैं
3. बस कोई भी नेटवर्क शुरू करें (tx2 के समान)
4. बिजली की खपत (tx2 के समान)
5. रूस में कैलिपर (tx2 के समान)

नैनो खुद शुरुआती वसंत में बाहर आ गई थी, अप्रैल / मई में, मैंने इसे सक्रिय रूप से देखा। हम पहले ही उन पर दो परियोजनाएं बनाने में सफल रहे हैं। सामान्य तौर पर, ऊपर बताई गई समस्याएं। छोटे बैचों के लिए एक शौक उत्पाद / उत्पाद के रूप में - बहुत अच्छा। लेकिन क्या उत्पादन में खींचना संभव है और कैसे करना है यह अभी तक स्पष्ट नहीं है।

जेटसन की गति के बारे में बात करें।

हम बहुत बाद में अन्य उपकरणों के साथ तुलना करेंगे। इस बीच, सिर्फ जेटसन और गति के बारे में बात करें। क्यों नविद्या हमसे झूठ बोल रही है। कैसे अपनी परियोजनाओं का अनुकूलन करने के लिए
नीचे सब कुछ TensorRT-5.1 के बारे में लिखा गया है। TensorRT-6.0.1 को 17 सितंबर, 2019 को जारी किया गया था, सभी बयानों को वहां डबल-चेक किया जाना चाहिए।
चलो मान लेते हैं कि हम एनवीडिया को मानते हैं। आइए, उनकी वेबसाइट खोलें और SSD-mobilenet-v2 से 300 * 300 के अनुमानों का समय देखें:

वाह, 39FPS (25ms)। हाँ, और स्रोत कोड बाहर रखा गया है !

हम्म ... लेकिन यह यहाँ 46ms के बारे में क्यों लिखा गया है ?

प्रतीक्षा करें ... और यहां वे लिखते हैं कि 309 एमएस मूल है, और 72ms को पोर्ट किया गया है ...



सच कहाँ है?
सच्चाई यह है कि हर कोई बहुत अलग सोचता है:

1. SSD में दो भाग होते हैं। एक हिस्सा न्यूरॉन है। दूसरा भाग न्यूरॉन द्वारा उत्पादित (गैर अधिकतम दमन) के बाद का प्रसंस्करण है + इनपुट पर जो लोड किया गया है उसका पूर्व प्रसंस्करण।
2. जैसा कि मैंने पहले कहा, जेटसन के तहत सब कुछ को TensorRT में परिवर्तित करने की आवश्यकता है। यह एनवीआईडीआईए का ऐसा मूल ढांचा है। इसके बिना, सब कुछ खराब होगा। केवल एक समस्या है। सब कुछ वहाँ चित्रित नहीं किया गया है, विशेष रूप से टेन्सरफ्लो से। विश्व स्तर पर, दो दृष्टिकोण हैं:
   
   • Google, यह महसूस करते हुए कि यह एक समस्या है, TensorFlow के लिए "tf-trt" नामक ऐसी चीज़ के लिए जारी किया गया। वास्तव में, यह tf पर एक ऐड-ऑन है, जो आपको किसी भी ग्रिड को टेंसॉरर्ट में बदलने की अनुमति देता है। जिन भागों का समर्थन नहीं किया गया है, वे सीपीयू, बाकी जीपीयू पर अनुमानित हैं।
   • सभी परतों को फिर से लिखें / उनके एनालॉग्स खोजें
   
   

उपरोक्त उदाहरणों में:

• इस लिंक में, 300ms का समय अनुकूलन के बिना सामान्य टेंसरफ्लो है।
• वहाँ, 72ms tf-trt संस्करण है। वहां, सभी एनएम आवश्यक रूप से प्रक्रिया पर किया जाता है।
• यह एक प्रशंसक संस्करण है, जहां एक व्यक्ति ने सभी एनएम को स्थानांतरित कर दिया और इसे स्वयं जीपीयू पर लिखा।
• और यह ... इस NVIDIA ने स्पष्ट रूप से कहीं भी उल्लेख किए बिना, पोस्ट-प्रोसेसिंग के बिना सभी प्रदर्शन को मापने का फैसला किया।

आपको अपने लिए यह समझने की आवश्यकता है कि यदि यह आपका न्यूरॉन था, जिसे कोई भी आपके सामने परिवर्तित नहीं करता था, तो समस्याओं के बिना आप इसे 72ms की गति से लॉन्च कर पाएंगे। और 46 एमएस की गति पर, मैनुअल और सोर्सा पर दिन-सप्ताह बैठे।
कई अन्य विकल्पों की तुलना में, यह बहुत अच्छा है। लेकिन यह मत भूलो कि आप जो कुछ भी करते हैं - कभी भी NVIDIA से बेंचमार्क पर विश्वास न करें!

रास्पबेरीपी 4

उत्पादन? .. और मैंने सुना है कि कैसे दर्जनों इंजीनियर "आरपीआई" और "उत्पादन" शब्द के उल्लेख पर हंसने लगते हैं। लेकिन, मेरा कहना है - जेटसन नैनो और गूगल कोरल की तुलना में आरपीआई अभी भी अधिक स्थिर है। लेकिन, ज़ाहिर है, TX2 हारता है और, जाहिरा तौर पर, gyrfalcone।

(तस्वीर यहां से है । मुझे ऐसा लगता है कि प्रशंसकों को RPi4 से जोड़ना एक अलग लोक मनोरंजन है।)
पूरी सूची से, यह एकमात्र उपकरण है जिसे मैंने अपने हाथों में नहीं रखा / परीक्षण नहीं किया। लेकिन उन्होंने आरपीआई, आरपीआई 2, आरपीआई 3 पर न्यूरॉन्स शुरू किए (उदाहरण के लिए, उन्होंने मुझे यहां बताया)। सामान्य तौर पर, Rpi4, जैसा कि मैं इसे समझता हूं, केवल प्रदर्शन में भिन्नता है। ऐसा लगता है कि आरपीआई के पक्ष और विपक्ष सब कुछ जानते हैं, लेकिन फिर भी। विपक्ष:

1. जितना मैं नहीं चाहूंगा, यह किराना समाधान नहीं है। ओवरहीटिंग । समय-समय पर जमा देता है। लेकिन विशाल समुदाय के कारण, हर समस्या के सैकड़ों समाधान हैं। यह हजारों प्रिंट रन के लिए आरपीआई को अच्छा नहीं बनाता है। लेकिन दसियों / सैकड़ों - वाई नोट।
2. स्पीड। यह सभी मुख्य लोगों का सबसे धीमा उपकरण है, जिनके बारे में हम बात कर रहे हैं।
3. निर्माता से लगभग कोई समर्थन नहीं है। यह उत्पाद उत्साही लोगों के उद्देश्य से है।

पेशेवरों:

1. मूल्य। नहीं, निश्चित रूप से, यदि आप बोर्ड को स्वयं प्रजनन करते हैं, तो gyrfalcone का उपयोग करके आप इसे हजारों की संख्या में सस्ता बनाने में सक्षम हो सकते हैं। लेकिन सबसे अधिक संभावना है कि यह अवास्तविक है। जहां आरपीआई प्रदर्शन पर्याप्त है - यह सबसे सस्ता समाधान होगा।
2. लोकप्रियता। जब कैफ 2 बाहर आया, तो आधार रिलीज में आरपीआई के लिए एक संस्करण था। Tensorflow प्रकाश? बेशक यह काम करता है। आई.टी.डी., आई.टी.पी. निर्माता जो नहीं करता है वह उपयोगकर्ताओं को स्थानांतरित करता है। मैं अलग-अलग आरपीआई और कैफ़ी और टेन्सरफ़्लो और प्योरच, और दुर्लभ चीज़ों का एक गुच्छा पर भाग गया।
3. छोटे दलों / टुकड़ों के लिए सुविधा। बस फ्लैश ड्राइव को चलाएं और चलाएं। JetsonNano के विपरीत, बोर्ड पर वाईफाई है। आप बस इसे PoE के माध्यम से पावर कर सकते हैं (ऐसा लगता है कि आपको एक एडेप्टर खरीदने की ज़रूरत है जो सक्रिय रूप से बेचा जाता है)।

हम अंत में Rpi गति के बारे में बात करेंगे। चूंकि निर्माता यह नहीं बताता है कि न्यूरॉन्स के लिए उसका उत्पाद, कुछ बेंचमार्क हैं। हर कोई समझता है कि आरपीआई गति में परिपूर्ण नहीं है। लेकिन यहां तक ​​कि वह कुछ कार्यों के लिए उपयुक्त है।
हमारे पास कुछ सेमी-उत्पाद कार्य थे जो हमने आरपीआई में लागू किए थे। छाप सुखद थी।

Movidius 2

यहां और नीचे से, पूर्ण-विकसित प्रोसेसर नहीं जाएंगे, लेकिन विशेष रूप से तंत्रिका नेटवर्क के लिए डिज़ाइन किए गए प्रोसेसर। यह वैसा ही है जैसे उनकी ताकत और कमजोरी एक ही समय में।
So. Movidius। कंपनी को 2016 में इंटेल द्वारा खरीदा गया था। जिस सेगमेंट में हमारी रूचि है, कंपनी ने दो प्रोडक्ट्स जारी किए, Movidius और Movidius 2. दूसरा तेज है, हम केवल दूसरे के बारे में बात करेंगे।
नहीं, ऐसा नहीं है। बातचीत Movidius से शुरू नहीं होनी चाहिए, लेकिन इंटेल ओपनिनो के साथ। मैं कहूंगा कि यह विचारधारा है। अधिक विशेष रूप से, रूपरेखा। वास्तव में, यह पूर्व-प्रशिक्षित न्यूरॉन्स और उनके संदर्भों का एक सेट है, जो इंटेल उत्पादों (प्रोसेसर, जीपीयू, विशेष कंप्यूटर) के लिए अनुकूलित हैं। ओपनसीवी के साथ, रास्पबेरी पाई के साथ, अन्य सीटी और फ़ार्ट्स के एक समूह के साथ एकीकृत।
OpenVino का लाभ यह है कि इसमें बहुत सारे न्यूरॉन्स हैं। सबसे पहले, सबसे प्रसिद्ध डिटेक्टर। लोगों, व्यक्तियों, संख्याओं, अक्षरों, पदों, आदि की मान्यता के लिए न्यूरॉन्स। ( 1 , 2 , 3 )। और उन्हें प्रशिक्षित किया जाता है। खुले डेटासेट द्वारा नहीं, बल्कि इंटेल द्वारा संकलित डेटासेट द्वारा। वे बहुत बड़े / अधिक विविध और बेहतर खुले हैं। उन्हें आपके मामलों के अनुसार वापस लिया जा सकता है, फिर वे आम तौर पर शांत काम करेंगे।
क्या बेहतर करना संभव है? बेशक आप कर सकते हैं। उदाहरण के लिए, संख्याओं की पहचान जो हमने की - काफी बेहतर काम किया। लेकिन हमने इसे विकसित करने और इसे सही बनाने के तरीके को समझने पर कई साल बिताए। , .
OpenVino, , . . - — . . GAN . . , , , - , . , :

, Intel OpenVino . . , . — . 70% OpenVino.
Movidius . . ( , ).
. USB , , !!! USB. . Intel . - ( 1 , 2 )
. -. - .
?.. :)
, . OpenVino, , , ( Computer Vision ). :

( AI 2.0, OpenVino ).

, . Movidius 2. :

1. . Rpi Jetson Nano. — . . Third Party ?
2. . . .
3. . .
4. . USB 3.0
5. , . -. . Movidius . .

पेशेवरों:

1. . . .
2. ,
3. ,

. — .
, “ 20-30 , , ” — Movidius.
Intel . , .

युपीडी
. . embedded . PCI-e . . — 200 .. . …

Google Coral

मैं निराश हूं। नहीं, ऐसा कुछ भी नहीं है जिसकी मैं भविष्यवाणी नहीं करूंगा। लेकिन मैं निराश हूं कि Google ने इसे जारी करने का फैसला किया। गर्मी की शुरुआत में परीक्षण एक चमत्कार है। शायद तब से कुछ बदल गया है, लेकिन मैं उस समय के अपने अनुभव का वर्णन करूंगा।
स्थापित करना ... जेटसन Tk-Tx1-Tx2 को फ्लैश करने के लिए आपको इसे होस्ट कंप्यूटर में और बिजली की आपूर्ति में प्लग करना होगा। और इतना ही काफी था। जेटसन नैनो और आरपीआई को फ्लैश करने के लिए, आपको बस यूएसबी फ्लैश ड्राइव पर छवि को धक्का देना होगा।
और कोरल को फ्लैश करने के लिए, आपको सही क्रम में तीन तारों को छड़ी करने की आवश्यकता है:

और गलती करने की कोशिश मत करो! वैसे, गाइड में त्रुटियां / अवर्णनीय व्यवहार हैं। संभवतः मैं उनका वर्णन नहीं करूंगा, क्योंकि गर्मियों की शुरुआत से वे कुछ तय कर सकते थे। मुझे याद है कि मेंडल स्थापित करने के बाद ssh के माध्यम से किसी भी एक्सेस को खो दिया गया था, जिसमें उनके द्वारा वर्णित एक सहित, मुझे कुछ लिनक्स कॉन्फिगों को मैन्युअल रूप से संपादित करना था।
इस प्रक्रिया को पूरा करने में मुझे 2-3 घंटे लगे।
लगभग। का शुभारंभ किया। क्या आपको लगता है कि इस पर अपना ग्रिड चलाना आसान है? लगभग कुछ भी नहीं :)
यहाँ आप क्या जाने दे सकते हैं की एक सूची है।
सच कहूं तो मुझे यह बात जल्दी रास नहीं आई। आधा दिन बिताया। वास्तव में नहीं। आप TF रिपॉजिटरी से मॉडल डाउनलोड नहीं कर सकते और डिवाइस पर नहीं चल सकते। या वहां सभी परतों को क्रॉस-कट करना आवश्यक है। मुझे निर्देश नहीं मिले।
तो यहाँ है। मॉडल को ऊपर से भंडार से लेना आवश्यक है। उनमें से कई नहीं हैं (3 मॉडल गर्मियों की शुरुआत के बाद से जोड़े गए हैं)। और उसे कैसे प्रशिक्षित किया जाए? एक मानक पाइपलाइन में TensorFlow में खोलें? HAHAHAHAHAHAHA। बिल्कुल नहीं !!!
आपके पास एक विशेष डॉकर कंटेनर है , और मॉडल केवल इसमें प्रशिक्षित करेगा। (संभवतः, आप किसी भी तरह से अपनी TF का मजाक उड़ा सकते हैं ... लेकिन निर्देश, निर्देश हैं ... जो कि प्रतीत नहीं होते हैं और ऐसा प्रतीत नहीं होता है।)
डाउनलोड / स्थापित करें / लॉन्च करें। यह क्या है ... जीपीयू शून्य पर क्यों है? .. सीपीयू पर आधारित प्रशिक्षण मिल जाएगा। डॉकटर केवल उसके लिए है !!! कुछ और मज़ा चाहते हैं? मैनुअल कहता है "64 जी मेमोरी वर्कस्टेशन के साथ 6-कोर सीपीयू पर आधारित"। ऐसा लगता है कि यह केवल सलाह है? हो सकता है कि। केवल अब मेरे पास उस सर्वर पर मेरे 8 जिग्स पर्याप्त नहीं हैं जहां अधिकांश मॉडल ट्रेन करते हैं। 4-वें घंटे में प्रशिक्षण ने उन सभी को खा लिया। एक मजबूत भावना है कि वे कुछ बह रहा था। मैंने विभिन्न मशीनों पर विभिन्न मापदंडों के साथ कुछ दिनों की कोशिश की, प्रभाव एक था।
मैंने लेख को पोस्ट करने से पहले इसे डबल-चेक नहीं किया। सच कहूं तो मेरे लिए यह एक बार ही काफी था।
और क्या जोड़ना है? यह कोड एक मॉडल उत्पन्न नहीं करता है? इसे उत्पन्न करने के लिए आपको चाहिए:

1. लाग गिनती
2. उसे tflite में बदलें
3. औपचारिक एज टीपीयू के लिए संकलन। भगवान का शुक्र है अब यह एक कंप्यूटर पर किया जाता है। वसंत में यह केवल ऑनलाइन किया जा सकता था। और वहाँ एक टिक लगाना आवश्यक था "मैं इसका इस्तेमाल बुराई के लिए नहीं करूँगा / मैं इस मॉडल के साथ किसी भी कानून का उल्लंघन नहीं करता"। अब, भगवान का शुक्र है कि इसमें से कोई भी नहीं है।

यह सबसे बड़ा घृणा है जो मैंने पिछले वर्ष में एक आईटी उत्पाद के संबंध में अनुभव किया है ...
विश्व स्तर पर, मूंगा के पास ओपनविनो के समान विचारधारा होनी चाहिए। अब केवल इंटेल कई वर्षों से इस रास्ते पर है। उत्कृष्ट मैनुअल, समर्थन और अच्छे उत्पादों के साथ ... और Google। खैर, यह सिर्फ Google है ...
विपक्ष:

1. यह बोर्ड विज्ञापन स्तर पर किराना नहीं है। मैंने चिप्स की बिक्री के बारे में नहीं सुना है => उत्पादन अवास्तविक है
2. विकास का स्तर यथासंभव भयानक है। सब कुछ बज़ेट। विकास पाइपलाइन पारंपरिक योजनाओं में फिट नहीं है।
3. पंखा। "ऊर्जावान रूप से इष्टतम चिप" पर उन्होंने इसे रखा। ठीक है, मैं अब उत्पादन के बारे में बात नहीं करूंगा।
4. लागत। TX2 की तुलना में सबसे महंगा है।
5. दो ग्रिड को एक ही समय में मेमोरी में नहीं रखा जा सकता है । अपलोड-डाउनलोड करना आवश्यक है। जो कई नेटवर्कों के अनुमान को धीमा कर देता है।

पेशेवरों:

1. हम जिस चीज के बारे में बात करते हैं, उसमें से कोरल सबसे तेज है
2. संभावित रूप से, यदि चिप को ऊपर लाया जाता है, तो यह Movidius की तुलना में अधिक उत्पादक है। और ऐसा लगता है कि इसकी वास्तुकला न्यूरॉन्स के लिए अधिक उचित है।

Gyrfalcon

पिछले डेढ़ साल से इस चीनी जानवर के बारे में बात कर रहे हैं। एक साल पहले भी, मैं उसके बारे में कुछ कह रहा था । लेकिन बात करना एक बात है, और जानकारी देना दूसरी बात है। मैंने 3-4 बड़ी कंपनियों के साथ बात की, जहां परियोजना प्रबंधकों / निदेशकों ने मुझे बताया कि यह गिरफॉकन कितना शांत था। लेकिन उनके पास कोई दस्तावेज नहीं था। और उन्होंने उसे जीवित नहीं देखा। साइट पर लगभग कोई जानकारी नहीं है। साइट से डाउनलोड करें कम से कम कुछ केवल भागीदार (हार्डवेयर डेवलपर्स) कर सकते हैं। इसके अलावा, साइट पर जानकारी बहुत विरोधाभासी है। एक जगह पर वे लिखते हैं कि वे केवल वीजीजी का समर्थन करते हैं, दूसरे में केवल उनके न्यूरॉन्स GNet पर आधारित होते हैं (जो, उनके आश्वासन के अनुसार , सटीकता के नुकसान के बिना बहुत छोटे और वास्तव में हैं)। तीसरे में लिखा है कि सब कुछ TF | Caffe | PyTorch के साथ परिवर्तित किया गया है, और चौथे में यह मोबाइल फोन और अन्य आकर्षण के बारे में लिखा गया है।
सत्य को समझना लगभग असंभव है। एक बार जब मैं कुछ वीडियो बना रहा था और खोद रहा था जिसमें कम से कम कुछ नंबर फिसले:


यदि यह सच है, तो इसका मतलब है कि SSD (मोबाइल पर?) GTI2801 चिप पर 224 * 224 के तहत उनके पास ~ 60ms है, जो कि मूवडियस के साथ काफी तुलनीय है।
ऐसा लगता है कि उनके पास बहुत तेज चिप 2803 है, लेकिन इस पर जानकारी और भी कम है:


इस गर्मियों में हमें अपने हाथों में जुगनू से एक बोर्ड मिला ( यह मॉड्यूल गणना के लिए वहां स्थापित है)।

एक उम्मीद थी कि आखिरकार हम जिंदा दिखेंगे। लेकिन यह काम नहीं किया। बोर्ड दिख रहा था, लेकिन काम नहीं किया। चीनी दस्तावेज़ीकरण में व्यक्तिगत अंग्रेजी वाक्यांशों के माध्यम से क्रॉल करना, उन्होंने लगभग यह भी समझा कि समस्या क्या थी (प्रारंभिक knurled प्रणाली ने तंत्रिका मॉड्यूल का समर्थन नहीं किया, यह सब कुछ पुनर्निर्माण और फिर से रोल करना आवश्यक था)। लेकिन यह सिर्फ काम नहीं करता था, और पहले से ही संदेह था कि बोर्ड हमारे काम के लायक नहीं होगा (2GB RAM तंत्रिका नेटवर्क + सिस्टम के लिए बहुत छोटा है। इसके अलावा, एक ही समय में दो नेटवर्क के लिए कोई समर्थन नहीं था)।
लेकिन मैं मूल दस्तावेज देखने में कामयाब रहा। इससे, बहुत कम समझा जाता है (चीनी)। अच्छे के लिए स्रोत को परखना और देखना आवश्यक था।
RockChip तकनीक का समर्थन बेवकूफी से हम पर किया।
इस डरावनेपन के बावजूद, यह मेरे लिए स्पष्ट है कि यहां, सभी समान, रॉकशिप के जाम सबसे पहले हैं। और मुझे एक उम्मीद है कि एक सामान्य बोर्ड में गिर्फ़ाल्कन का काफी उपयोग किया जा सकता है। लेकिन जानकारी के अभाव के कारण, मेरे लिए यह कहना कठिन है।

विपक्ष:

1. कोई खुली बिक्री नहीं, केवल फर्मों के साथ बातचीत
2. छोटी जानकारी, कोई समुदाय नहीं। मौजूदा जानकारी अक्सर चीनी में होती है। प्लेटफ़ॉर्म सुविधाओं का पहले से अनुमान नहीं लगाया जा सकता है
3. सबसे अधिक संभावना यह है कि एक समय में एक नेटवर्क से अधिक का अनुमान नहीं होता है।
4. केवल लोहे के निर्माता ही जाइरोप्लेन के साथ बातचीत कर सकते हैं। बाकी को कुछ मध्यस्थों / बोर्डों के निर्माताओं की तलाश करने की आवश्यकता है।

पेशेवरों:

1. जैसा कि मैं इसे समझता हूं, एक girfcon चिप की कीमत बाकी की तुलना में बहुत सस्ती है। यहां तक ​​कि फ्लैश ड्राइव के रूप में भी।
2. पहले से ही एक एकीकृत चिप के साथ तीसरे पक्ष के उपकरण हैं। इसलिए, Movidius की तुलना में विकास कुछ आसान है।
3. वे विश्वास दिलाते हैं कि कई पूर्व प्रशिक्षित ग्रिड हैं, ग्रिड्स का स्थानांतरण Movidius | कोरल की तुलना में बहुत आसान है। लेकिन मैं इसे सच नहीं मानूंगा। हम सफल नहीं हुए।

संक्षेप में, निष्कर्ष यह है: बहुत कम जानकारी। आप केवल इस प्लेटफ़ॉर्म पर नहीं रह सकते। और इससे पहले कि आप इस पर कुछ करें - आपको एक बड़ी समीक्षा करने की आवश्यकता है।

वेग

मुझे वास्तव में पसंद है कि कैसे एम्बेडेड उपकरणों की तुलना का 90% गति की तुलना को कम करता है। जैसा कि आप ऊपर समझ चुके हैं, यह विशेषता बहुत मनमानी है। जेटसन नैनो के लिए, आप शुद्ध टेंसोफ़्लो के रूप में न्यूरॉन्स को चला सकते हैं, आप टेंसोफ़्लो-टेनॉरर्ट का उपयोग कर सकते हैं, या आप शुद्ध टेनॉरर्ट का उपयोग कर सकते हैं। विशेष टेंसर आर्किटेक्चर (मूलाधार | कोरल | जाइर्फालोन) वाले उपकरण - तेज हो सकते हैं, लेकिन पहली जगह में वे केवल मानक आर्किटेक्चर के साथ काम कर सकते हैं। रास्पबेरी पाई के लिए भी, सब कुछ इतना सरल नहीं है। Xnor.ai से न्यूरॉन्स डेढ़ गुना त्वरण देते हैं। लेकिन मुझे नहीं पता कि वे कितने ईमानदार हैं, और int8 या अन्य चुटकुलों पर स्विच करके क्या हासिल हुआ।
इसी समय, एक और दिलचस्प बात ऐसा क्षण है। न्यूरॉन जितना अधिक जटिल होगा, उतने ही जटिल उपकरण निष्कासन के लिए - उतने ही अप्रत्याशित अंतिम त्वरण को बाहर निकाला जा सकता है। कुछ OpenPose लें। एक nontrivial नेटवर्क है, जटिल पोस्ट-प्रोसेसिंग है। यह और वह दोनों इसके कारण अनुकूलित किए जा सकते हैं:

• GPU पोस्ट-प्रोसेसिंग माइग्रेशन
• प्रसंस्करण के बाद अनुकूलन करें
• मंच सुविधाओं के लिए तंत्रिका नेटवर्क अनुकूलन, उदाहरण के लिए:
  
  • प्लेटफ़ॉर्म-अनुकूलित नेटवर्क का उपयोग करना
  • प्लेटफॉर्म के लिए नेटवर्क मॉड्यूल का उपयोग करना
  
  
• पोर्टिंग int8 के लिए | int16 | binarization
• कई कैलकुलेटर (GPU | सीपीयू | आदि) का उपयोग करना। मुझे याद है कि जेटसन TX1 पर हमने एक बार अच्छी तरह से त्वरित किया था जब हमने इस उद्देश्य के लिए वीडियो स्ट्रीमिंग से संबंधित सभी कार्यक्षमता को अंतर्निहित त्वरक में स्थानांतरित किया था। ट्राइट, लेकिन नेटवर्क में तेजी आई। जब संतुलन, दिलचस्प संयोजन का एक बहुत पॉप अप

कभी-कभी कोई व्यक्ति सभी संभावित संयोजनों के लिए कुछ का मूल्यांकन करने की कोशिश करता है। लेकिन वास्तव में, जैसा कि मुझे लगता है, यह निरर्थक है। पहले आपको प्लेटफ़ॉर्म पर निर्णय लेने की आवश्यकता है, और उसके बाद ही संभव है कि हर चीज को पूरी तरह से बाहर निकालने की कोशिश करें।

मैं यह सब क्यों हूँ? इसके अलावा, " कब तक MobileNet " परीक्षण एक बहुत बुरा परीक्षण है। वह बता सकता है कि प्लेटफ़ॉर्म एक्स इष्टतम है। लेकिन जब आप अपने न्यूरॉन और बाद के प्रसंस्करण को तैनात करने की कोशिश करते हैं, तो आप बहुत निराश हो सकते हैं।
लेकिन mobilnet'ov की तुलना करना अभी भी मंच के बारे में कुछ जानकारी देता है। सरल कार्यों के लिए। ऐसी स्थितियों के लिए जब आप समझते हैं कि वैसे भी मानक दृष्टिकोण को कम करने के लिए कार्य आसान है। जब आप कैलकुलेटर की गति का मूल्यांकन करना चाहते हैं।
नीचे दी गई तालिका कई स्थानों से ली गई है:

• ये अध्ययन हैं: 1 , 2 , 3
• एसएसडी के लिए इस तरह के एक पैरामीटर "आउटपुट कक्षाओं की संख्या" है। और इस पैरामीटर से, अनुमान की दर बहुत भिन्न हो सकती है। मैंने एक ही संख्या में कक्षाओं के साथ अध्ययन चुनने की कोशिश की। लेकिन हर जगह ऐसा नहीं हो सकता है।
• TensorRT के साथ हमारा अनुभव। मुझे पता था कि कौन से काम किस तरह के होते हैं।
• गिएर्फ़ाल्कन के लिए, ये वीडियो इस तथ्य पर आधारित हैं कि मोबिलनेट वी 2 वहाँ + का अनुमान है कि क्षेत्र में कितना परिवर्तन होता है। इस वीडियो में कहा गया है कि 2803 3-4 गुना तेज हो सकता है। लेकिन 2803 के लिए कोई SSD रेटिंग नहीं है। सामान्य तौर पर, मुझे इस बिंदु पर गति पर संदेह है।
• मैंने उस अध्ययन को चुनने की कोशिश की जिसने वास्तविक अधिकतम गति दी (मैंने एनएमएस के बिना एनवीडिया का संस्करण नहीं लिया, उदाहरण के लिए)
• जेटसन TX2 के लिए मैंने इन रेटिंग्स का इस्तेमाल किया है, लेकिन 5 कक्षाएं हैं, उसी वर्ग की संख्या पर जो बाकी धीमी होगी। मैंने किसी तरह अनुभव किया कि कोर में नैनो के साथ तुलना / अनुभव होना चाहिए कि वहाँ क्या होना चाहिए
• मैंने बिट दर के साथ मजाक को ध्यान में नहीं रखा। मुझे नहीं पता कि Movidius और Gyrfalcon ने क्या काम किया।

परिणामस्वरूप, हमारे पास:

प्लेटफ़ॉर्म तुलना

मैं वह सब कुछ लाने की कोशिश करूंगा जो मैंने ऊपर एकल तालिका में कहा था। मैंने उन जगहों पर पीले रंग में प्रकाश डाला, जहां मेरा ज्ञान एक निष्प्राण निष्कर्ष बनाने के लिए पर्याप्त नहीं है। और, वास्तव में 1-6 - यह प्लेटफार्मों का कुछ तुलनात्मक मूल्यांकन है। 1 के करीब, बेहतर।

मुझे पता है कि ऊर्जा की खपत कई लोगों के लिए महत्वपूर्ण है। लेकिन यह मुझे लगता है कि यहां सब कुछ कुछ अस्पष्ट है, और मैं इसे बहुत खराब समझता हूं - इसलिए मैंने इसमें प्रवेश नहीं किया। इसके अलावा, विचारधारा अपने आप में हर जगह एक जैसी प्रतीत होती है।

साइड स्टेप

हम जिस बारे में बात कर रहे थे, वह आपके सिस्टम की विविधताओं के विशाल स्थान में एक छोटा सा बिंदु है। संभवतः सामान्य शब्द जो इस क्षेत्र की विशेषता हो सकते हैं:

• कम बिजली की खपत
• छोटा आकार
• उच्च कंप्यूटिंग शक्ति

लेकिन, विश्व स्तर पर, यदि आप किसी एक मापदंड के महत्व को कम करते हैं, तो आप सूची में कई अन्य उपकरणों को जोड़ सकते हैं। नीचे मैं उन सभी दृष्टिकोणों से गुजरूंगा जो मुझे मिले हैं।

इंटेल

जैसा कि हमने कहा जब हमने Movidius पर चर्चा की, Intel में एक OpenVino प्लेटफॉर्म है। यह इंटेल प्रोसेसर पर न्यूरॉन्स के बहुत कुशल प्रसंस्करण की अनुमति देता है। इसके अलावा, प्लेटफ़ॉर्म आपको चिप पर सभी प्रकार के इंटेल-जीपीयू का समर्थन करने की अनुमति देता है। मैं अब यह कहने से डरता हूं कि किस कार्य के लिए कैसा प्रदर्शन है। लेकिन, जैसा कि मैं इसे समझता हूं, बोर्ड पर GPU के साथ एक अच्छा पत्थर a 1080 का प्रदर्शन देता है। कुछ कार्यों के लिए, यह और भी तेज हो सकता है।

इस मामले में, फार्म कारक, उदाहरण के लिए इंटेल एनयूसी, काफी कॉम्पैक्ट है। अच्छी शीतलन, पैकेजिंग, आदि। स्पीड जेटसन TX2 से तेज होगी। उपलब्धता से / खरीद में आसानी - बहुत आसान है। बॉक्स से बाहर प्लेटफ़ॉर्म की स्थिरता अधिक है।
दो विपक्ष - बिजली की खपत और कीमत। विकास थोड़ा और जटिल है।

जेटसन एग्रिक्स

यह एक और जेटसन है। अनिवार्य रूप से सबसे पुराना संस्करण। जेटसन TX2 की तुलना में गति लगभग 2 गुना तेज है और int8 गणना के लिए समर्थन है, जो आपको 4 गुना अधिक ओवरक्लॉक करने की अनुमति देता है। वैसे, इस तस्वीर को एनवीडिया से देखें:

वे अपने खुद के दो जेटसन की तुलना करते हैं। एक int8 में, दूसरा int32 में। मुझे यह भी पता नहीं है कि यहाँ क्या शब्द कहे गए हैं ... संक्षेप में: "कभी भी NVIDIA ग्राफिक्स को न समझें"।
इस तथ्य के बावजूद कि एजीएक्स अच्छा है - यह कंप्यूटिंग शक्ति के मामले में एनवीडिया से सामान्य जीपीयू तक नहीं पहुंचता है। फिर भी, ऊर्जा दक्षता के मामले में - वे बहुत अच्छे हैं। मुख्य ऋण की कीमत।
हम स्वयं उनके साथ काम नहीं करते थे, इसलिए मेरे लिए कुछ अधिक विस्तृत कहना कठिन है, उन कार्यों की श्रेणी का वर्णन करना जहां वे सबसे अधिक इष्टतम हैं।

एनवीडिया जीपीयू | लैपटॉप संस्करण

यदि आप बिजली की खपत पर सख्त प्रतिबंध को हटाते हैं, तो जेटसन TX2 इष्टतम नहीं दिखता है। जैसे एजीएक्स। आमतौर पर लोग उत्पादन में GPU का उपयोग करने से डरते हैं। अलग भुगतान, वह सब।
लेकिन लाखों कंपनियां हैं जो आपको एक बोर्ड पर एक कस्टम समाधान इकट्ठा करने की पेशकश करती हैं। आमतौर पर ये लैपटॉप / minicomputers के लिए बोर्ड होते हैं। या, इस तरह, अंत में:

एक स्टार्टअप जिसमें मैं पिछले 2.5 सालों से काम कर रहा था ( चेरीहोम ) ने यह बहुत ही अच्छा रास्ता अपनाया है। और हम बहुत संतुष्ट हैं।
माइनस, हमेशा की तरह, ऊर्जा की खपत में, जो हमारे लिए महत्वपूर्ण नहीं था। खैर, कीमत थोड़ी काटती है।

मोबाइल फोन

मैं इस विषय पर गहराई से नहीं जाना चाहता। न्यूरॉन्स के लिए आधुनिक मोबाइल फोन में कौन सी चीजें हैं / कौन से फ्रेमवर्क / कौन से हार्डवेयर आदि, आपको इस आकार के एक से अधिक लेख की आवश्यकता होगी। और इस तथ्य को ध्यान में रखते हुए कि हमने केवल 2-3 बार इस दिशा में कदम रखा, मैं इसके लिए खुद को अक्षम मानता हूं। तो बस कुछ टिप्पणियों का:

1. कई हार्डवेयर त्वरक हैं जिन पर न्यूरॉन्स को अनुकूलित किया जा सकता है।
2. कोई भी सामान्य समाधान नहीं है जो हर जगह अच्छा हो। अब कुछ समाधान करने के लिए Tensorflow lite बनाने का प्रयास है। लेकिन, जैसा कि मैं इसे समझता हूं, यह अभी तक एक नहीं हुआ है।
3. कुछ निर्माताओं के पास अपने विशेष फार्मवर्क्स हैं। हमने एक साल पहले स्नैपड्रैगन के लिए रूपरेखा को अनुकूलित करने में मदद की थी। और यह भयानक था। आज जिस चीज के बारे में मैंने बात की है, उसकी तुलना में न्यूरॉन्स की गुणवत्ता बहुत कम है। परतों के 90% के लिए कोई समर्थन नहीं है, यहां तक ​​कि बुनियादी भी, जैसे कि "जोड़"।
4. चूंकि कोई अजगर नहीं है, इसलिए नेटवर्क का आक्रमण बहुत ही अजीब, अतार्किक और असुविधाजनक है।
5. प्रदर्शन के संदर्भ में, ऐसा होता है कि सब कुछ बहुत अच्छा है (उदाहरण के लिए, कुछ आईफोन पर)।

यह मुझे लगता है कि एम्बेडेड मोबाइल फोन के लिए सबसे अच्छा समाधान नहीं है (अपवाद कुछ कम बजट चेहरा पहचान प्रणाली है)। लेकिन मैंने कुछ मामलों को देखा जब उन्हें शुरुआती प्रोटोटाइप के रूप में इस्तेमाल किया गया था।

GAP8

हाल ही में एक यूडाटा सम्मेलन में था। और सबसे सस्ती प्रतिशत (GAP8) में न्यूरॉन्स की शुरूआत के बारे में एक रिपोर्ट थी। और, जैसा कि वे कहते हैं, आविष्कार की आवश्यकता चालाक है। कहानी में, एक उदाहरण बहुत दूर की कौड़ी था। लेकिन लेखक ने बताया कि कैसे वे लगभग एक सेकंड में चेहरे से अनुमान हासिल करने में सक्षम थे। एक बहुत ही सरल ग्रिड पर, अनिवार्य रूप से एक डिटेक्टर के बिना। पागल और लंबे अनुकूलन और मैचों पर बचत के द्वारा।
मैं हमेशा ऐसे कार्यों को पसंद नहीं करता। कोई शोध नहीं, केवल रक्त।
लेकिन, यह पहचानने योग्य है कि मैं उन पहेलियों की कल्पना कर सकता हूं जहां कम खपत वाले प्रतिशत एक अच्छा परिणाम देते हैं। शायद चेहरे की पहचान के लिए नहीं। लेकिन कहीं आप 5-10 सेकंड में इनपुट छवि पहचान सकते हैं ...

ग्रोव एआई हाट

इस लेख को तैयार करते समय, मैं इस एम्बेडेड प्लेटफॉर्म पर आया। इस पर बहुत कम जानकारी है। जैसा कि मैंने इसे समझा, शून्य समर्थन। उत्पादकता भी शून्य पर है ... और गति पर एक भी परीक्षण नहीं ...

सर्वर / रिमोट मान्यता

हर बार जब वे एक एम्बेडेड प्लेटफॉर्म पर सलाह के लिए हमारे पास आते हैं, तो मैं "रन, यू मूर्ख" चिल्लाना चाहता हूं। इस तरह के समाधान की आवश्यकता का सावधानीपूर्वक मूल्यांकन करना आवश्यक है। कोई अन्य विकल्प देखें। मैं हमेशा सभी को सर्वर आर्किटेक्चर के साथ एक प्रोटोटाइप बनाने की सलाह देता हूं। और इसके संचालन के दौरान यह तय करना है कि आप एक वास्तविक एम्बेडेड को लागू करें या नहीं। आखिरकार, एम्बेडेड है:

1. विकास के समय में वृद्धि, अक्सर 2-3 बार।
2. उत्पादन में परिष्कृत समर्थन और डिबगिंग। एमएल के साथ कोई भी विकास एक निरंतर संशोधन, न्यूरॉन्स का अद्यतन, सिस्टम अपडेट है। एंबेडेड अभी भी कठिन है। फर्मवेयर को पुनः लोड कैसे करें? और अगर आपके पास पहले से ही सभी इकाइयों तक पहुंच है, तो जब आप एक डिवाइस पर गणना कर सकते हैं तो उन पर गणना क्यों करें?
3. सिस्टम की जटिलता / बढ़ा हुआ जोखिम। विफलता के अधिक अंक। उसी समय, जबकि सिस्टम पूरी तरह से काम नहीं करता है, कोई यह नहीं समझ सकता है: क्या प्लेटफॉर्म इस कार्य के लिए उपयुक्त है?
4. मूल्य वृद्धि। नैनो पाई जैसा साधारण बोर्ड लगाना एक बात है। और दूसरा TX2 खरीदना है।

हां, मुझे पता है कि ऐसे कार्य हैं जहां सर्वर निर्णय नहीं किए जा सकते हैं। लेकिन, विचित्र रूप से पर्याप्त, वे आम तौर पर माना जाता है की तुलना में बहुत छोटे हैं।

निष्कर्ष

लेख में, मैंने स्पष्ट निष्कर्ष के बिना करने की कोशिश की। बल्कि यह कहानी है कि अब क्या है। निष्कर्ष निकालने के लिए - प्रत्येक मामले में जांच करना आवश्यक है। और प्लेटफार्म ही नहीं। लेकिन कार्य ही। किसी भी कार्य को उपकरण के तहत थोड़ा सरल / थोड़ा संशोधित / थोड़ा तेज किया जा सकता है।
इस विषय के साथ समस्या यह है कि विषय बदल रहा है। नए उपकरण / रूपरेखा / दृष्टिकोण आ रहे हैं। उदाहरण के लिए, यदि कल Jetson नैनो के लिए NVIDIA int8 समर्थन चालू करता है, तो स्थिति नाटकीय रूप से बदल जाएगी। जब मैं यह लेख लिखता हूं - तो मुझे यकीन नहीं हो सकता है कि दो दिन पहले जानकारी नहीं बदली है। लेकिन मुझे उम्मीद है कि मेरी छोटी कहानी आपको अपनी अगली परियोजना को बेहतर ढंग से नेविगेट करने में मदद करेगी।
यह अच्छा होगा यदि आपके पास अतिरिक्त जानकारी है / मैंने कुछ याद किया है / कुछ गलत कहा है - यहां विवरण लिखें।

ps
पहले ही जब मैंने लेख लिखना लगभग समाप्त कर दिया, snakers4 ने हाल ही में अपने टेलीग्राम चैनल स्पार्क से मुझ पर एक पोस्ट गिरा दी, जो लगभग जेटसन के साथ समान समस्याओं के बारे में है। लेकिन, जैसा कि मैंने ऊपर लिखा है, - किसी भी बिजली की खपत की शर्तों में - मैं कुछ-कुछ zotacs या IntelNUC की तरह लगाऊंगा। और जैसा कि एम्बेडेड जेट सबसे खराब मंच नहीं है।