في نهاية المطاف مقارنة بين منصات جزءا لا يتجزأ من لمنظمة العفو الدولية

الشبكات العصبية تلتقط العالم. وهم يحسبون الزوار ، ويرصدون الجودة ويحافظون على الإحصاءات ويقيمون السلامة. مجموعة من الشركات الناشئة ، والاستخدام الصناعي.
أطر كبيرة. ما هو PyTorch ، ما هو TensorFlow الثاني. أصبح كل شيء أكثر ملاءمة وملاءمة وأبسط وأبسط ...
ولكن هناك جانب مظلم واحد. يحاولون الصمت عنها. لا يوجد شيء بهيجة ، إلا الظلام واليأس. في كل مرة ترى فيها مقالة إيجابية ، تتنهد بحزن ، لأنك تفهم أن مجرد شخص لم يفهم شيئًا ما. أو أخفت ذلك.
دعونا نتحدث عن الإنتاج على الأجهزة المدمجة.

ما هي المشكلة

يبدو. انظر إلى أداء الجهاز ، وتأكد من أنه كافٍ ، وقم بتشغيله وجني الأرباح.
ولكن ، كما هو الحال دائمًا ، هناك بعض الفروق الدقيقة. دعنا نضعهم في رفوف:

1. الإنتاج. إذا لم يكن جهازك مصنوعًا في نسخ فردية ، فأنت بحاجة إلى التأكد من أن النظام لا يتعطل ، وأن الأجهزة لن ترتفع درجة حرارتها ، وأنه إذا حدث انقطاع في الطاقة ، فسيتم تشغيل كل شيء تلقائيًا. وهذا في حفلة كبيرة. يوفر هذا خيارين فقط - إما أن يكون الجهاز مصممًا بالكامل مع مراعاة جميع المشكلات المحتملة. أو تحتاج إلى التغلب على مشاكل الجهاز المصدر. حسنًا ، على سبيل المثال ، هذه ( 1 ، 2 ). الذي ، بالطبع ، هو القصدير. لحل مشاكل جهاز شخص آخر على دفعات كبيرة ، تحتاج إلى إنفاق قدر غير واقعي من الطاقة.
2. معايير حقيقية. الكثير من الاحتيال والحيل. NVIDIA في معظم الأمثلة يبالغ في تقدير الأداء بنسبة 30-40٪. ولكن ليس فقط أنها تستمتع. أعطي أدناه العديد من الأمثلة عندما تكون الإنتاجية أقل من 4 إلى 5 مرات عما تريد. لا يمكنك وضع "كل شيء يعمل بشكل جيد على جهاز الكمبيوتر ، سيكون الوضع أسوأ نسبيًا هنا."
   
3. دعم محدود للغاية لهندسة الشبكات العصبية. هناك العديد من الأنظمة الأساسية للأجهزة المدمجة التي تحد بشكل كبير من الشبكات التي يمكن تشغيلها عليها (Coral ، gyrfalcone ، snapdragon). سيكون الانتقال إلى مثل هذه المنصات مؤلمًا.
4. الدعم. لا يعمل شيء ما بالنسبة لك ، لكن المشكلة في جانب الجهاز؟ .. هذا هو القدر ، لن ينجح. بالنسبة إلى RPi فقط ، يقوم المجتمع بإغلاق معظم الأخطاء. و ، جزئيا ، لجيتسون.
5. سعر. يبدو للكثيرين أن جزءا لا يتجزأ رخيصة. ولكن في الواقع ، مع نمو أداء الجهاز ، سيرتفع السعر بشكل كبير تقريبًا. RPi-4 أرخص بـ5 أضعاف من Jetson Nano / Google Coral و 2-3 أضعاف. Jetson Nano أرخص بـ5 مرات من Jetson TX2 / Intel NUC ، وأضعف مرتين أو ثلاث مرات منهم.
   
6. Lorgus. تذكر هذا التصميم من Zhelyazny؟ يبدو أنني قمت بتعيينه كصورة عنوان ... " إن Logrus عبارة عن متاهة ثلاثية الأبعاد تمثل قوى الفوضى في الكون المتعدد. " كل هذا هو وفرة من الأخطاء والثقوب ، كل هذه القطع المختلفة من الحديد ، جميع الأطر المتغيرة ... إنه أمر طبيعي عندما تتغير صورة السوق تماما في 2-3 أشهر. خلال هذا العام ، لقد تغير 3-4 مرات. لا يمكنك دخول نفس النهر مرتين. لذلك كل الأفكار الحالية صحيحة في صيف عام 2019.

ما هو

هيا بنا نأخذها بالترتيب ، لا طعمها حلو ... ماذا يوجد الآن ومناسب للخلايا العصبية؟ لا توجد خيارات كثيرة ، على الرغم من تقلبها. بعض الكلمات العامة للحد من البحث:

1. أنا لن تحليل الخلايا العصبية / الاستدلالات على الهواتف. هذا بحد ذاته موضوع ضخم. ولكن نظرًا لأن الهواتف عبارة عن منصات مضمنة ذات تداخل مناسب ، لا أعتقد أنها سيئة.
2. سوف أتطرق إلى Jetson TX1 | TX2. في الظروف الحالية ، ليست هذه هي أفضل المنصات بالنسبة للسعر ، ولكن هناك حالات لا تزال مريحة عند استخدامها.
3. لا أضمن أن القائمة ستشمل جميع المنصات الموجودة اليوم. ربما نسيت شيئا ، ربما لا أعرف شيئا. إذا كنت تعرف منصات أكثر إثارة للاهتمام - الكتابة!

هكذا. الأشياء الرئيسية التي يتم تضمينها بوضوح. في المقال سنقارنهم بدقة:

1. منصة جيتسون . هناك العديد من الأجهزة لذلك:
   
   • جيتسون نانو - لعبة رخيصة وعصرية إلى حد ما (ربيع 2019)
   • Jetson Tx1 | Tx2 - مكلف للغاية ولكنه جيد في منصات الأداء والتنوع
   
   
2. التوت بي . في الواقع ، فقط RPi4 لديه الأداء للشبكات العصبية. لكن يمكن القيام ببعض المهام المنفصلة على الجيل الثالث. لقد بدأت حتى شبكات بسيطة للغاية في البداية.
3. جوجل كورال منهاج. في الواقع ، بالنسبة لتضمين الأجهزة ، هناك شريحة واحدة وجهازي واحد فقط - لوحة Dev و USB Accelerator
4. منصة إنتل موفيديوس . إذا لم تكن شركة ضخمة ، فلن تتوفر لك سوى عصي Movidius 1 | Movidius 2.
5. منصة جيرفالكون . معجزة التكنولوجيا الصينية. هناك بالفعل جيلان - 2801 ، 2803

الآخرين. سنتحدث عنهم بعد المقارنات الرئيسية:

1. معالجات إنتل. بادئ ذي بدء ، جمعيات NUC
2. نفيديا موبايل GPUs. يمكن اعتبار الحلول الجاهزة غير مدمجة. وإذا قمت بجمع التضمين ، فسوف يتحول الأمر بشكل لائق إلى الموارد المالية.
3. الهواتف المحمولة. يتميز Android بحقيقة أنه من أجل استخدام أقصى قدر من الأداء ، من الضروري استخدام الأجهزة التي تمتلكها الشركة المصنعة بالتحديد. أو استخدم شيئًا عالميًا ، مثل ضوء tensorflow. لأبل ، نفس الشيء.
4. Jetson AGX Xavier هو إصدار مكلف من Jetson مع أداء أكثر.
5. GAP8 - معالجات منخفضة الطاقة لأجهزة فائقة رخيصة الثمن.
6. غروف الغامض AI HAT

Jetson

نحن نعمل مع Jetson لفترة طويلة جدًا. مرة أخرى في عام 2014 ، اخترع Vasyutka الرياضيات لسويفت ثم بالضبط على Jetson. في عام 2015 ، في اجتماع مع Artec 3D ، تحدثنا عن ماهية المنصة الرائعة ، وبعد ذلك اقترحوا أن نبني نموذجًا أوليًا قائمًا عليه. بعد بضعة أشهر ، كان النموذج الأولي جاهزًا. فقط بضع سنوات من العمل للشركة بأكملها ، بضع سنوات من الشتائم على المنصة والسماء ... و Artec Leo ولد - أروع الماسح الضوئي في فئتها. حتى نفيديا في العرض التقديمي لـ TX2 أظهره كواحد من أكثر المشاريع إثارة للاهتمام التي تم إنشاؤها على المنصة.
منذ ذلك الحين ، TX1 / TX2 / نانو استخدمنا في مكان ما في 5-6 مشاريع.
وربما ، نحن نعرف كل المشاكل التي كانت مع النظام الأساسي. لنأخذها بالترتيب.

Jetson tk1

أنا لا أتحدث عنه بشكل خاص. كانت المنصة فعالة للغاية في مجال الحوسبة في يومها. لكنها لم تكن البقالة. باعت NVIDIA رقائق TegraTK1 التي قامت عليها Jetson. ولكن كان من المستحيل استخدام هذه الرقائق للشركات المصنعة الصغيرة والمتوسطة. في الواقع ، يمكن فقط لشركة Google / HTC / Xiaomi / Acer / Google القيام بشيء ما بجانب نفيديا. جميع الآخرين دمجها في همز إما لوحات التصحيح ، أو نهب الأجهزة الأخرى.

Jetson TX1 | TX2

قدمت نفيديا الاستنتاجات الصحيحة ، وتم الجيل القادم بذهول. TX1 | TX2 ، لم تعد هذه رقائق ، ولكن شريحة على السبورة.

أنها أكثر تكلفة ، ولكن لديها مستوى البقالة تماما. يمكن لشركة صغيرة دمجها في منتجها ، وهذا المنتج يمكن التنبؤ به ومستقر. أنا شخصياً رأيت كيف تم إنتاج 3-4 منتجات - وكان كل شيء جيدًا.
سوف أتحدث عن TX2 ، لأنه من السطر الحالي ، تكون اللوحة الرئيسية.
لكن ، بالطبع ، ليس كل شيء يشكر الله. ما الخطأ:

1. Jetson TX2 هي عبارة عن منصة مكلفة. في معظم المنتجات ، سوف تستخدم الوحدة الرئيسية (كما أفهمها ، من حجم الدفعة ، سيكون السعر في مكان ما من 200-250 إلى 350-400 متر مكعب للوحدة). انه يحتاج الى CarrierBoard. لا أعرف السوق الحالي ، لكن في وقت سابق كان حوالي 100-300 متر مكعب اعتمادا على التكوين. حسنا ، وعلى رأس طقم جسمك.
2. Jetson TX2 ليست أسرع منصة. أدناه سنناقش السرعات النسبية ، وسأبين لماذا هذا ليس الخيار الأفضل.
3. من الضروري إزالة الكثير من الحرارة. قد يكون هذا صحيحًا بالنسبة لجميع المنصات التي سنتحدث عنها تقريبًا. يجب أن يحل السكن مشكلة تبديد الحرارة. المشجعين.
4. هذه منصة سيئة للأحزاب الصغيرة. الكثير من مئات الأجهزة - تقريبا. طلب اللوحات الأم ، وتطوير التصاميم والتعبئة والتغليف هو القاعدة. الكثير من الآلاف من الأجهزة؟ صمم اللوحة الأم - وأنيقة. إذا كنت بحاجة إلى 5-10 - سيئة. سوف تضطر إلى اتخاذ DevBoard على الأرجح. فهي كبيرة ، فهي مثيرة للاشمئزاز إلى حد ما وميض. هذه ليست منصة جاهزة RPi.
5. الدعم الفني الضعيف لنفيديا. سمعت الكثير من اليمين التي أجاب على إجابات أن هذه إما معلومات سرية أو ردود شهرية.
6. ضعف البنية التحتية في روسيا. من الصعب أن تأمر ، ويستغرق وقتا طويلا. ولكن في الوقت نفسه ، يعمل التجار بشكل جيد. لقد صادفت مؤخرًا طائرة Jetson nano التي اشتعلت في يوم الإطلاق - تم تغييرها دون سؤال. سام التقطت عن طريق البريد / جلب واحدة جديدة. CVC! أيضا ، رأى هو نفسه أن مكتب موسكو ينصح بشكل جيد. ولكن بمجرد أن مستوى معرفتهم لا يسمح بالإجابة على السؤال ويتطلب تقديم طلب إلى المكتب الدولي - سيتعين عليهم انتظار الإجابات لفترة طويلة.

ما هو رائع:

1. الكثير من المعلومات ، مجتمع كبير جدا.
2. حول نفيديا هناك العديد من الشركات الصغيرة التي تنتج الملحقات. فهي مفتوحة للمفاوضات ، يمكنك ضبط قرارهم. و CarierBoard ، والبرامج الثابتة ، وأنظمة التبريد.
3. دعم جميع الأطر العادية (TensorFlow | PyTorch) والدعم الكامل لجميع الشبكات. التحويل الوحيد الذي قد تضطر إلى القيام به هو نقل الرمز إلى TensorRT. هذا سيوفر الذاكرة ، وربما تسريع. مقارنة بما سيكون على منصات أخرى ، هذا أمر مثير للسخرية.
4. أنا لا أعرف كيفية تربية المجالس. لكن من أولئك الذين فعلوا ذلك لنفيديا ، سمعت أن TX2 هو خيار جيد. هناك أدلة تتوافق مع الواقع.
5. استهلاك طاقة جيد. ولكن من بين كل ذلك بالضبط "المضمّن" سيكون معنا - الأسوأ :)
6. الفرجار في روسيا (موضح أعلاه لماذا)
7. على عكس movidius | RPi | المرجان | Gyrfalcon هو GPU حقيقي. يمكنك القيادة عليه ليس فقط الشبكات ، ولكن أيضًا الخوارزميات العادية

نتيجةً لذلك ، يعد هذا نظامًا أساسيًا جيدًا إذا كان لديك أجهزة قطعة ، لكن لسبب ما لا يمكنك توصيل جهاز كمبيوتر كامل. شيء ضخم؟ القياسات الحيوية - على الأرجح لا. التعرف على الأرقام هو على الحافة ، وهذا يتوقف على التدفق. الأجهزة المحمولة بسعر يزيد عن 5 آلاف دولارات - ممكن. السيارات - لا ، من الأسهل وضع منصة أكثر قوة وأكثر تكلفة قليلاً.
يبدو لي أنه مع إطلاق جيل جديد من الأجهزة الرخيصة ، سوف يموت TX2 بمرور الوقت.

تبدو اللوحات الرئيسية لـ Jetson TX1 | TX2 | TX2i وغيرها تبدو مثل هذا:

وهنا أو هنا هناك المزيد من الاختلافات.

جيتسون نانو

جيتسون نانو شيء مثير جدا للاهتمام. بالنسبة لنفيديا ، هذا عامل شكل جديد ، من حيث الثورة ، يجب أن يقارن مع TK1. لكن المنافسين ينفد بالفعل. هناك أجهزة أخرى سنتحدث عنها. أضعف مرتين من TX2 ، ولكن أرخص 4 مرات. بتعبير أدق ... الرياضيات معقدة. تكاليف Jetson Nano على اللوحة التجريبية 100 دولارات (في أوروبا). ولكن إذا قمت بشراء شريحة فقط ، فسيكون ذلك أكثر تكلفة. وسوف تحتاج إلى تولد له (لا توجد لوحة أم له بعد). والله لا سمح أن يكون أرخص مرتين في حفلة كبيرة من TX2.
في الواقع ، تعد Jetson Nano ، على مجلسها الأساسي ، منتجًا دعائيًا للمعاهد / الموزعين / الهواة ، والذي يجب أن يحفز الاهتمام وتطبيق الأعمال. بواسطة إيجابيات وسلبيات (تتقاطع جزئيًا مع TX2):

1. التصميم ضعيف وغير مصحح:
   
   • ارتفاع درجة الحرارة ، مع حمولة ثابتة معلقة بشكل دوري / الذباب. تحاول شركة مألوفة التقاط جميع المشكلات لمدة 3 أشهر - إنها لا تعمل.
   • لدي واحد محترق عند تشغيله بواسطة USB. سمعت أن أحد الأصدقاء قد أخرج مخرج USB وأن القابس كان يعمل. على الأرجح بعض المشاكل مع طاقة USB.
   • إذا قمت بتغليف اللوحة الأصلية ، فلن يكون هناك ما يكفي من المبرد من NVIDIA ، على سبيل المثال ، سوف ترتفع درجة حرارته.
   
   
2. السرعة ليست كافية. ما يقرب من 2 مرات أقل من TX2 (في الواقع ، يمكن أن يكون 1.5 ، لكنه يعتمد على المهمة).
3. الكثير من الأجهزة 5-10 عموما جيدة جدا. من 50 إلى 200 - من الصعب ، يجب عليك تعويض جميع أخطاء الشركة المصنعة وتعليقها على كلابك ، إذا كنت بحاجة إلى إضافة شيء ما مثل POE ، فستتضرر. أحزاب أكبر. اليوم لم اسمع عن المشاريع الناجحة. ولكن يبدو لي أن هناك صعوبات يمكن أن تظهر كما هو الحال مع TK1. لكي أكون أمينًا ، أود أن آمل أن يتم إطلاق Jetson Nano 2 العام المقبل ، حيث سيتم تصحيح أمراض الطفولة هذه.
4. الدعم سيء ، مثل TX2
5. ضعف البنية التحتية

حسن:

1. ميزانية كافية مقارنة بالمنافسين. خاصة بالنسبة للأحزاب الصغيرة. سعر مناسب / الأداء
2. على عكس movidius | RPi | المرجان | Gyrfalcon هو GPU حقيقي. يمكنك القيادة عليه ليس فقط الشبكات ، ولكن أيضًا الخوارزميات العادية
3. مجرد بدء أي شبكة (مثل tx2)
4. استهلاك الطاقة (مثل tx2)
5. الفرجار في روسيا (مثل tx2)

نانو نفسه خرج في أوائل الربيع ، في مكان ما في نيسان / أبريل - أيار / مايو ، أنا مطعون به. لقد نجحنا بالفعل في عمل مشروعين عليها. بشكل عام ، المشاكل المحددة أعلاه. كمنتج / منتج هواية للدُفعات الصغيرة - رائع جدًا. ولكن ما إذا كان من الممكن السحب في الإنتاج وكيفية القيام بذلك لم يتضح بعد.

نتحدث عن سرعة جيتسون.

سنكون مقارنة مع الأجهزة الأخرى في وقت لاحق. في غضون ذلك ، فقط تحدث عن Jetson والسرعة. لماذا نفيديا يكذب علينا. كيفية تحسين المشاريع الخاصة بك.
أدناه كل شيء مكتوب حول TensorRT-5.1. تم إصدار TensorRT-6.0.1 في 17 سبتمبر 2019 ، ويجب التحقق من صحة جميع البيانات هناك.
لنفترض أننا نعتقد نفيديا. دعنا نفتح موقعهم على الإنترنت ونرى وقت استنتاج SSD-mobilenet-v2 إلى 300 * 300:

واو ، 39FPS (25ms). نعم ، وقد تم وضع الكود المصدري!

هم ... ولكن لماذا هو مكتوب هنا عن 46ms؟

انتظر ... وهنا يكتبون أن 309 مللي ثانية أصلي ، ويتم نقل 72 مللي ثانية ...



أين الحقيقة؟
الحقيقة هي أن الجميع يفكرون مختلفين:

1. SSD يتكون من جزأين. جزء واحد هو الخلايا العصبية. الجزء الثاني هو المعالجة اللاحقة لما أنتجه العصبون (عدم الحد الأقصى للقمع) + المعالجة المسبقة لما يتم تحميله على المدخلات.
2. كما قلت في وقت سابق ، تحت Jetson كل شيء يحتاج إلى تحويل إلى TensorRT. هذا هو مثل هذا الإطار الأصلي من NVIDIA. وبدون ذلك ، سيكون كل شيء سيئًا. فقط هناك مشكلة واحدة. لا يتم نقل كل شيء هناك ، وخاصة من TensorFlow. على الصعيد العالمي ، هناك طريقتان:
   
   • أدركت Google أن هذه مشكلة ، تم إصدارها لـ TensorFlow مثل هذا الشيء الذي يطلق عليه "tf-trt". في الواقع ، هذه وظيفة إضافية على tf ، والتي تتيح لك تحويل أي شبكة إلى tensorrt. يتم استنتاج الأجزاء غير المدعومة على وحدة المعالجة المركزية والباقي على وحدة معالجة الرسومات.
   • أعد كتابة جميع الطبقات / ابحث عن نظائرها
   
   

في الأمثلة أعلاه:

• في هذا الرابط ، الوقت 300ms هو tensorflow المعتاد دون التحسين.
• هناك ، 72ms هو إصدار tf-trt. هناك ، ويتم كل nms أساسا في هذه العملية.
• هذه هي نسخة من المعجبين ، حيث قام شخص بنقل جميع nms وكتبها على gpu نفسه.
• وهذا ... قررت NVIDIA قياس كل الأداء دون المعالجة اللاحقة ، دون ذكر ذلك بوضوح في أي مكان.

عليك أن تفهم بنفسك أنه لو كانت الخلية العصبية الخاصة بك ، والتي لن يحولها أحد أمامك ، فمن دون مشاكل ، ستكون قادرًا على إطلاقها بسرعة 72 مللي ثانية. وبسرعة 46 مللي ثانية ، يجلس على الكتيبات والصدأ طوال اليوم.
مقارنة بالعديد من الخيارات الأخرى ، هذا جيد جدًا. لكن لا تنسَ أنه مهما فعلت - لا تصدق أبدًا معايير NVIDIA!

RaspberryPI 4

الإنتاج؟ .. وأسمع كيف بدأ العشرات من المهندسين يضحكون عند ذكر عبارة "RPI" و "الإنتاج" في مكان قريب. ولكن ، يجب أن أقول - RPI لا يزال أكثر استقرارًا من Jetson Nano و Google Coral. ولكن ، بالطبع ، TX2 يفقد ، وعلى ما يبدو ، gyrfalcone.

(الصورة من هنا . يبدو لي أن إرفاق المعجبين بـ RPi4 هو تسلية شعبية منفصلة.)
من القائمة بأكملها ، هذا هو الجهاز الوحيد الذي لم أحمله في يدي / لم أختبره. لكنه بدأ الخلايا العصبية في Rpi ، Rpi2 ، Rpi3 (على سبيل المثال ، أخبرني هنا ). بشكل عام ، Rpi4 ، كما أفهمها ، يختلف فقط في الأداء. يبدو لي أن إيجابيات وسلبيات RPi تعرف كل شيء ، ولكن لا يزال. سلبيات:

1. بقدر ما لا أحب ، هذا ليس حلاً للبقالة. الانهاك . يتجمد الدوري. ولكن بسبب المجتمع الضخم ، هناك المئات من الحلول لكل مشكلة. هذا لا يجعل Rpi جيدًا لآلاف عمليات الطباعة. لكن عشرات / مئات - تلاحظ واي.
2. السرعة. هذا هو أبطأ جهاز في جميع الأجهزة الرئيسية التي نتحدث عنها.
3. لا يوجد أي دعم تقريبًا من الشركة المصنعة. ويهدف هذا المنتج في عشاق.

الايجابيات:

1. سعر. لا ، بالطبع ، إذا كنت تولد اللوح بنفسك ، فبإمكانك استخدام gyrfalcone لتتمكن من جعله أرخص بكثير. لكن على الأرجح هذا غير واقعي. حيث يكون أداء RPi كافيًا - سيكون أرخص الحلول.
2. شعبية. عندما خرج Caffe2 ، كان هناك نسخة لـ Rpi في الإصدار الأساسي. ضوء Tensorflow؟ بالطبع انها تعمل. I.T.D.، I.T.P. ما لا تقوم به الشركة المصنعة هو نقل المستخدمين. ركضت على مختلف RPi و Caffe و Tensorflow و PyTorch ، وحفنة من الأشياء النادرة.
3. الراحة للأحزاب الصغيرة / قطعة. مجرد فلاش محرك فلاش وتشغيل. هناك واي فاي على متن الطائرة ، على عكس JetsonNano. يمكنك ببساطة تشغيله عبر PoE (يبدو أنك بحاجة لشراء محول يباع بنشاط).

سنتحدث عن سرعة Rpi في النهاية. نظرًا لأن الشركة المصنعة لا تفترض أن منتجه للخلايا العصبية ، فهناك القليل من المعايير. الجميع يفهم أن Rpi ليس مثاليًا في السرعة. ولكن حتى انه مناسب لبعض المهام.
كان لدينا اثنين من المهام شبه المنتج التي قمنا بتنفيذها في Rpi. الانطباع كان لطيفا.

Movidius 2

من هنا وما دونه ، لن يتم استخدام أي معالجات كاملة ، ولكن معالجات مصممة خصيصًا للشبكات العصبية. يبدو كما لو أن نقاط القوة والضعف لديهم في نفس الوقت.
هكذا. Movidius. تم شراء الشركة من قبل شركة إنتل في عام 2016. في الجزء الذي يهمنا ، أصدرت الشركة منتجين ، Movidius و Movidius 2. والثاني أسرع ، سنتحدث فقط عن الثاني.
لا ، ليس هكذا. يجب ألا تبدأ المحادثة بـ Movidius ، ولكن مع Intel OpenVino . أود أن أقول إن هذه أيديولوجية. بشكل أكثر تحديدا ، والإطار. في الواقع ، هذه هي مجموعة من الخلايا العصبية المدربة مسبقًا واستنتاجات لهم ، والتي تم تحسينها لمنتجات Intel (المعالجات ، وحدات معالجة الرسومات ، أجهزة الكمبيوتر الخاصة).متكامل مع OpenCV ، مع Raspberry Pi ، مع مجموعة من الصفارات والفرتس الأخرى.
ميزة OpenVino هي أنه يحتوي على الكثير من الخلايا العصبية. بادئ ذي بدء ، أشهر أجهزة الكشف. الخلايا العصبية للاعتراف بالأشخاص والأشخاص والأرقام والحروف والشكلات وما إلى ذلك ، إلخ. ( 1 ، 2 ، 3 ). وهم مدربون. ليس عن طريق مجموعات البيانات المفتوحة ، ولكن عن طريق مجموعات البيانات التي جمعتها إنتل نفسها. فهي أكبر بكثير / أكثر تنوعا وأفضل انفتاحا. يمكن إعادة تدريبهم وفقًا لحالاتك ، ثم سيعملون بشكل رائع.
هل من الممكن أن تفعل أفضل؟ بالطبع يمكنك ذلك. على سبيل المثال ، كان الاعتراف بالأرقام التي قمنا بها - أفضل بكثير. لكننا أمضينا سنوات عديدة في تطويره وفهم كيفية جعله مثاليًا. وهنا يمكنك الحصول على جودة سخيف من خارج منطقة الجزاء ، وهو ما يكفي لمعظم الحالات.
OpenVino ، بالطبع ، لديه العديد من المشاكل. شبكات لا تظهر هناك على الفور. إذا ظهر شيء جديد ، عليك الانتظار لفترة طويلة. الشباك هناك تظهر البقالة العميقة. لن تجد أي شبكات جان هناك. فائدة عميقة فقط. وفي تجربتنا ، من الصعب للغاية تجاوز الشبكة هناك إذا كان لديك أي حيل في الهندسة المعمارية تختلف عن المعايير القاسية. لكن الرجال تفوقوا على بعض النماذج المعقدة للغاية:

يبدو لي أن Intel مع OpenVino لديها قد اختارت إستراتيجية شيقة للغاية. هم في دور اللحاق بالركب المستمر. لكن الشخص الذي ينتشر بعد اللحاق بالركب. في تلك اللحظة ، عندما يتم إخراج كل شيء من الخلايا العصبية ، ستأتي إنتل وتستحوذ على السوق النهائي. الآن في 70٪ من المهام ، يمكنك بناء حل يعتمد على OpenVino.
وكجزء من هذه الاستراتيجية ، تبدو Movidius مكمّلة منطقية لها. هذا هو الجهاز الذي تحتاج إلى الاهتمام بكل هذه الثروة. يتم تحسين معظم الشبكات خصيصًا لذلك (في بعض الأحيان حتى بالنسبة للهيكل الثنائي ، وهو سريع جدًا).
على الصعيد العالمي ، لديه ناقص واحد. USB هو ، اللعنة ، وليس موصل الغذاء! لا يمكنك إنشاء جهاز باستخدام USB. هناك طريقة للخروج. انتل تبيع رقائق. حتى شيء من هذا القبيل معروض للبيع على الجيل الأخير ( 1 ،2 )
يبدو أن هناك منتجات على ذلك. لكنني لم أر لوحة منتج واحدة لتطوير أي شيء عليها. ولم تبدأ أي شركة صغيرة متوسطة الحجم مألوفة في تطوير أي شيء على أساس هذه الشريحة.
من ناحية أخرى ، ماذا سيحدث للدبابات؟ .. سوف يستمر في اللحاق بنا وسحقنا :)
أوه نعم ، وبفرح. OpenVino ، كما أفهمها ، يجري تطويره في روسيا ، في نيجني نوفغورود (يبدو لي أن نصف رؤية الكمبيوتر يتم هناك). هنا سيرجي يخبر عنه:

(من المرجح أن يكون التقرير حول الإصدار 2.0 من AI ، ولكن هناك الكثير حول OpenVino).

حسنًا ، لقد قالوا كل شيء تقريبًا. مقتطف قصير من قبل Movidius 2. سلبيات:

1. . Rpi Jetson Nano. — . . Third Party ?
2. . . .
3. . .
4. . USB 3.0
5. , . -. . Movidius . .

الايجابيات:

1. . . .
2. انخفاض استهلاك الطاقة ، لا ارتفاع درجة الحرارة
3. دعم جيد ، كما سمعت

نحن أنفسنا لم نستخدمها في أي مشروع. جميع أصدقائنا الذين اختبروها لمهام الاستدلال - كنتيجة لذلك ، لم يأخذوها إلى مرحلة الإنتاج.
لكن بعض الشركات التي نصحتها ، حيث كانت هناك مهام على المستوى "نحتاج إلى وضع 20-30 كاميرا على الحواجز ، لكننا لا نريد شراء أي شيء ، سنطورها بأنفسنا" - يبدو أنها في النهاية أخذوها Movidius. أعلنت
شركة إنتل مؤخراً عن منصة جديدة. ولكن حتى الآن لا توجد معلومات مفصلة ، دعنا نرى.

UPD
أرسلوا رابط لهذا . رسوم مع اثنين من movidius الثانية. إنه تنسيق مضمن تمامًا. كثير من الناس يستخدمون ناقل PCI-e لهذا الغرض. لمثل هذه الأمور أرخص الأفلام من 200 دولار للتخفيف. ستحتاج إلى أن تصبح اللوحة الخاصة بك ...

جوجل المرجان

أنا بخيبة أمل. لا ، لا يوجد شيء لا أتوقعه. لكنني أشعر بخيبة أمل لأن جوجل قررت الإفراج عن هذا. الاختبار معجزة في بداية الصيف. ربما تغير شيء ما منذ ذلك الحين ، لكنني سأصف تجربتي في ذلك الوقت.
الإعداد ... لفلاش Jetson Tk-Tx1-Tx2 ، كان عليك توصيله بالكمبيوتر المضيف ومزود الطاقة. وكان هذا كافيا. لفلاش Jetson Nano و RPi ، تحتاج فقط إلى دفع الصورة على محرك أقراص فلاش USB.
وإلى وميض كورال ، تحتاج إلى عصا ثلاثة أسلاك بالترتيب الصحيح :

ولا تحاول أن ترتكب خطأ! بالمناسبة ، هناك أخطاء / سلوك لا يوصف في الدليل. ربما لن أصفها ، لأنه من بداية الصيف كان بإمكانهم إصلاح شيء ما. أتذكر أنه بعد تثبيت Mendel ، فقد أي وصول عبر ssh ، بما في ذلك الذي تم وصفه من قبلهم ، واضطررت إلى تعديل بعض إعدادات Linux يدويًا.
استغرق الأمر مني 2-3 ساعات لإكمال هذه العملية.
تقريبا. أطلقت. هل تعتقد أنه من السهل تشغيل الشبكة الخاصة بك على ذلك؟ لا شيء تقريبا :)
فيما يلي قائمة بما يمكنك تركه.
أن نكون صادقين ، أنا لم تصل إلى هذه النقطة بسرعة. قضيت نصف يوم. لا حقا لا يمكنك تنزيل النموذج من مستودع TF وتشغيله على الجهاز. أو هناك لا بد من تقاطع جميع الطبقات. لم أجد تعليمات.
لذلك هنا. من الضروري أخذ النموذج من المستودع من الأعلى. لا يوجد الكثير منها (تمت إضافة 3 طرز منذ بداية الصيف). وكيف تدربها؟ فتح في TensorFlow في خط أنابيب قياسي؟ HAHAHAHAHAHAHA. بالطبع لا !!!
لديك حاوية Doker خاصة ، وسوف يتدرب النموذج عليها فقط. (ربما ، يمكنك الاستهزاء بشكل ما بـ TF الخاص بك أيضًا ... ولكن هناك تعليمات وتعليمات ... لم تكن ولا تبدو كذلك).
تحميل / تثبيت / إطلاق. ما هو ... لماذا هو GPU في صفر؟ .. لأن التدريب سيكون على وحدة المعالجة المركزية. عامل الميناء هو فقط بالنسبة له! تريد بعض المرح أكثر؟ دليل يقول "على أساس وحدة المعالجة المركزية 6 النواة مع 64G محطة عمل الذاكرة". يبدو أن هذه هي النصيحة فقط؟ ربما. الآن فقط لم يكن لدي ما يكفي من 8 العربات على هذا الخادم حيث تتدرب معظم النماذج. التدريب في الساعة الرابعة عشر استهلكهم جميعًا. شعور قوي بأن لديهم شيء يتدفق. حاولت يومين مع معايير مختلفة على أجهزة مختلفة ، وكان التأثير واحد.
لم أقم بالتأكد من ذلك قبل نشر المقال. أن نكون صادقين ، كان يكفي لي مرة واحدة.
ماذا لإضافة؟ أن هذا الرمز لا يولد نموذجا؟ لتوليد ذلك يجب عليك:

1. تأخر العد
2. تحويله إلى tflite
3. ترجمة إلى TPU الحافة الرسمية. الحمد لله الآن يتم ذلك على جهاز كمبيوتر. في الربيع لا يمكن أن يتم إلا عبر الإنترنت. وكان من الضروري وضع علامة "لن أستخدمها من أجل الشر / أنا لا أخالف أي قوانين بهذا النموذج". الآن ، والحمد لله لا يوجد شيء من هذا.

هذا هو أكبر إزعاج واجهته فيما يتعلق بمنتج تكنولوجيا المعلومات في العام الماضي ...
على المستوى العالمي ، ينبغي أن يكون لدى كورال نفس الإيديولوجية التي لدى OpenVino مع Movidius. الآن فقط إنتل على هذا المسار لعدة سنوات. مع كتيبات ممتازة والدعم ومنتجات جيدة ... وجوجل. حسنًا ، إنها Google فقط ...
سلبيات:

1. هذا المجلس ليس بقالة على مستوى ميلادي. لم أسمع عن بيع رقائق => الإنتاج غير واقعي
2. مستوى التنمية أمر فظيع قدر الإمكان. كل شيء bazhet. لا يتوافق خط أنابيب التطوير مع المخططات التقليدية.
3. المروحة. على "الشريحة الأمثل حيوية" وضعوا عليه. حسنًا ، لم أتحدث عن الإنتاج بعد الآن.
4. التكلفة. أغلى من TX2.
5. لا يمكن الاحتفاظ بشبكتين في الذاكرة في نفس الوقت. من الضروري القيام بتحميل التحميل. مما يبطئ الاستدلال على عدة شبكات.

الايجابيات:

1. من كل ما نتحدث عنه ، كورال هو الأسرع
2. من المحتمل ، إذا ظهرت الشريحة ، فهي أكثر إنتاجية من Movidius. ويبدو أن هندسته المعمارية مبررة أكثر للخلايا العصبية.

سنقر طائر

آخر سنة ونصف كانت تتحدث عن هذا الوحش الصيني. حتى قبل عام ، كنت أقول شيئا عنه. لكن الكلام شيء ، وإعطاء المعلومات شيء آخر. لقد تحدثت مع 3-4 شركات كبيرة ، حيث أخبرني مدراء / مدراء المشاريع بمدى روعة هذا Girfalkon. لكنهم لم يكن لديهم أي وثائق. ولم يروه حياً. لا يحتوي الموقع على أي معلومات تقريبًا. قم بتنزيل ما لا يقل عن شركاء من الموقع (مطورو الأجهزة). علاوة على ذلك ، فإن المعلومات الموجودة على الموقع متناقضة للغاية. في مكان واحد يكتبون أنهم يدعمون VGG فقط ، في مكان آخر أن الخلايا العصبية الخاصة بهم فقط تعتمد على GNet (والتي ، طبقًا لتأكيداتهم ، صغيرة جدًا ولا تُفقد الدقة في الحقيقة). في الثالثة ، يتم كتابة أن كل شيء يتم تحويله باستخدام TF | Caffe | PyTorch ، وفي الرابع يتم كتابته عن الهاتف المحمول والسحر الآخر.
فهم الحقيقة يكاد يكون من المستحيل. بمجرد أن أحفر وحفر بعض مقاطع الفيديو التي تنزلق فيها بعض الأرقام على الأقل:


إذا كان هذا صحيحًا ، فهذا يعني أن SSD (على الهاتف المحمول؟) تحت 224 * 224 على شريحة GTI2801 لديهم ~ 60 مللي ثانية ، وهو ما يشبه إلى حد بعيد movidius.
يبدو أن لديهم شريحة 2803 أسرع بكثير ، لكن المعلومات المتعلقة بها أقل:


حصلنا هذا الصيف على لوحة من اليراع في أيدينا (تم تثبيت هذه الوحدة هناك لإجراء العمليات الحسابية).

كان هناك أمل في النهاية أننا سوف نرى على قيد الحياة. لكنها لم تنجح. كانت اللوحة مرئية ، لكنها لم تنجح. بالزحف إلى عبارات فردية باللغة الإنجليزية في الوثائق الصينية ، فهم يكادون يفهمون ماهية المشكلة (لم يكن النظام المخرش الأولي يدعم الوحدة العصبية ، كان من الضروري إعادة بناء وإعادة تدوير كل شيء بأنفسنا). لكنها لم تنجح ، وكانت هناك بالفعل شكوك بأن اللوحة لن تتناسب مع مهمتنا (2 غيغابايت من ذاكرة الوصول العشوائي صغيرة جدًا بالنسبة لأنظمة الشبكات العصبية +. بالإضافة إلى ذلك ، لم يكن هناك دعم لشبكتين في نفس الوقت).
لكنني تمكنت من رؤية الوثائق الأصلية. من ذلك ، يفهم القليل جدا (الصينية). من أجل الخير كان من الضروري اختبار وإلقاء نظرة على المصدر.
سجل الدعم الفني RockChip بغباء علينا.
على الرغم من هذا الرعب ، من الواضح لي أنه هنا ، على الرغم من ذلك ، فإن عضادات RockChip موجودة هنا أولاً. ولدي أمل في أن لوحة Gyrfalcon العادية يمكن أن تستخدم بشكل كبير. ولكن بسبب نقص المعلومات ، يصعب علي القول.

سلبيات:

1. لا مبيعات مفتوحة ، تتفاعل فقط مع الشركات
2. القليل من المعلومات ، لا مجتمع. المعلومات الحالية غالبا ما تكون باللغة الصينية. لا يمكن التنبؤ بميزات النظام الأساسي مسبقًا
3. على الأرجح أن الاستدلال ليس أكثر من شبكة واحدة في كل مرة.
4. يمكن فقط لمصنعي الحديد التفاعل مع الطائرة الدورانية نفسها. الباقي بحاجة إلى البحث عن بعض الوسطاء / الشركات المصنعة للوحات.

الايجابيات:

1. كما أفهمها ، فإن سعر شريحة girfcon أرخص بكثير من غيرها. حتى في شكل محركات أقراص فلاش.
2. هناك بالفعل أجهزة تابعة لجهة خارجية تحتوي على شريحة متكاملة. لذلك ، التنمية أسهل إلى حد ما من movidius.
3. إنهم يؤكدون أن هناك العديد من الشبكات المدربة مسبقًا ، ونقل الشبكات أسهل بكثير من Movidius | Coral. لكنني لن أضمن هذا كحقيقة. لم ننجح.

باختصار ، الاستنتاج هو هذا: القليل من المعلومات. لا يمكنك الاستلقاء فقط على هذا النظام الأساسي. وقبل القيام بشيء ما - عليك إجراء مراجعة ضخمة.

سرعة

يعجبني حقًا كيف أن 90٪ من مقارنات الأجهزة المدمجة تقلل من سرعة المقارنات. كما فهمت أعلاه ، هذه الخاصية تعسفية للغاية. بالنسبة إلى Jetson Nano ، يمكنك تشغيل الخلايا العصبية مثل tensorflow النقي ، أو يمكنك استخدام tensorflow-tensorrt ، أو يمكنك استخدام tensorrt النقي. يمكن أن تكون الأجهزة ذات بنية التينور الخاصة (movidius | coral | gyrfalcone) سريعة ، ولكن في المقام الأول لا يمكنها العمل إلا مع البنى القياسية. حتى بالنسبة لـ Raspberry Pi ، فكل شيء ليس بهذه البساطة. الخلايا العصبية من xnor.ai تعطي تسع مرات ونصف. لكنني لا أعرف مدى صدقهم ، وما الذي تم تحقيقه عن طريق التحول إلى int8 أو النكات الأخرى.
في الوقت نفسه ، شيء آخر مثير للاهتمام هو هذه اللحظة. وكلما زاد تعقيد الخلايا العصبية ، زاد تعقيد الجهاز للاستدلال - وكلما كان التسارع النهائي الذي لا يمكن التنبؤ به أكثر قابلية للتنبؤ به. خذ بعض OpenPose. هناك شبكة غير بديهية ومعقدة بعد المعالجة. يمكن تحسين كل من هذا وذاك بسبب:

• الهجرة بعد معالجة GPU
• تحسين مرحلة ما بعد المعالجة
• تحسين الشبكة العصبية لميزات النظام الأساسي ، على سبيل المثال:
  
  • باستخدام الشبكات الأمثل منصة
  • باستخدام وحدات الشبكة للنظام الأساسي
  
  
• ترقية إلى int8 | int16 | binarization
• باستخدام آلات حاسبة متعددة (GPU | وحدة المعالجة المركزية | إلخ). أتذكر في Jetson TX1 أننا تسرنا جيدًا عندما نقلنا جميع الوظائف المتعلقة ببث الفيديو إلى المعجلات المدمجة لهذا الغرض. مبتذلة ، ولكن تسارعت الشبكة. عند الموازنة ، يطفو على السطح الكثير من المجموعات المثيرة للاهتمام

في بعض الأحيان يحاول شخص ما تقييم شيء ما لجميع المجموعات الممكنة. لكن في الحقيقة ، كما يبدو لي ، هذا غير مجد. تحتاج أولاً إلى اتخاذ قرار بشأن النظام الأساسي ، وبعد ذلك فقط حاول سحب كل ما هو ممكن تمامًا.

لماذا أنا كل هذا. علاوة على ذلك ، يعد اختبار " المدة التي يستغرقها MobileNet " اختبارًا سيئًا للغاية. يمكنه أن يقول أن المنصة X هي الأمثل. ولكن عندما تحاول نشر الخلايا العصبية الخاصة بك وما بعد المعالجة هناك ، قد تشعر بخيبة أمل كبيرة.
ولكن مقارنة mobilnet'ov لا يزال يعطي بعض المعلومات حول النظام الأساسي. لمهام بسيطة. بالنسبة للحالات التي تفهم فيها أن المهمة على أي حال ، من السهل تقليلها إلى الطرق القياسية. عندما تريد تقييم سرعة الآلة الحاسبة.
الجدول أدناه مأخوذ من عدة أماكن:

• هذه الدراسات هي: 1 ، 2 ، 3
• بالنسبة لـ SSD ، يوجد مثل هذا "عدد فئات الإخراج". ومن هذه المعلمة ، يمكن أن يختلف معدل الاستدلال إلى حد كبير. حاولت اختيار الدراسات مع نفس العدد من الفصول. ولكن هذا قد لا يكون هو الحال في كل مكان.
• تجربتنا مع TensorRT. كنت أعرف أي نوع من أنواع العمل لا.
• بالنسبة إلى gyrfalcon ، تعتمد مقاطع الفيديو هذه على حقيقة أن mobilnet v2 هناك + تقدير لمدى تكلفة المنطقة. هذا الفيديو يقول أن 2803 يمكن أن يكون 3-4 مرات أسرع. ولكن لعام 2803 لا توجد تقييمات SSD. بشكل عام ، أشك في السرعات في هذه المرحلة.
• حاولت اختيار الدراسة التي أعطت السرعة القصوى الحقيقية (لم أحمل نسخة Nvidia بدون NMS ، على سبيل المثال)
• بالنسبة إلى Jetson TX2 ، استخدمت هذه التصنيفات ، ولكن هناك 5 فصول ، على نفس العدد من الفصول التي سيكون الباقي فيها أبطأ. أحسبت بطريقة أو بأخرى من التجربة / المقارنة مع نانو في النوى ما الذي يجب أن يكون هناك
• أنا لم تأخذ في الاعتبار النكات مع معدل بت. أنا لا أعرف ما الشاهد موفيدوس وجيرفالكون عملت على.

نتيجة لذلك ، لدينا:

مقارنة النظام الأساسي

سأحاول إحضار كل ما قلته أعلاه إلى طاولة واحدة. لقد سلطت الضوء باللون الأصفر على تلك الأماكن التي لا تكفي معرفتي فيها لإيجاد نتيجة لا لبس فيها. وفي الواقع 1-6 - هذا هو بعض التقييم المقارن للمنصات. أقرب إلى 1 ، كان ذلك أفضل.

وأنا أعلم أن استهلاك الطاقة أمر بالغ الأهمية بالنسبة للكثيرين. ولكن يبدو لي أن كل شيء هنا غامض إلى حد ما ، وأنا أفهم هذا بشكل سيء للغاية - لذلك لم أدخله. علاوة على ذلك ، يبدو أن الإيديولوجية نفسها هي نفسها في كل مكان.

خطوة جانبية

ما كنا نتحدث عنه هو مجرد نقطة صغيرة في مساحة واسعة من الاختلافات في نظامك. ربما الكلمات الشائعة التي يمكن أن تميز هذا المجال:

• انخفاض استهلاك الطاقة
• حجم صغير
• قوة الحوسبة عالية

ولكن ، على المستوى العالمي ، إذا قمت بتقليل أهمية أحد المعايير ، يمكنك إضافة العديد من الأجهزة الأخرى إلى القائمة. أدناه سوف أذهب إلى كل الطرق التي التقيت بها.

إنتل

كما قلنا عندما ناقشنا Movidius ، لدى Intel منصة OpenVino. لأنها تتيح معالجة فعالة للغاية من الخلايا العصبية على معالجات إنتل. علاوة على ذلك ، تتيح لك المنصة دعم جميع أنواع intel-gpu على الشريحة. أخشى الآن أن أقول بالضبط أي نوع من الأداء موجود لأي مهام. ولكن ، كما أفهمها ، فإن الحجر الجيد الذي يحتوي على وحدة معالجة الرسومات على متن الطائرة - يعطي أداءً يبلغ 1080. بالنسبة لبعض المهام ، يمكن أن يكون أسرع.

في هذه الحالة ، يكون عامل الشكل ، على سبيل المثال Intel NUC ، مضغوطًا تمامًا. تبريد جيد ، والتغليف ، الخ ستكون السرعة أسرع من Jetson TX2. حسب توافر / سهولة الشراء - أسهل بكثير. استقرار المنصة خارج الصندوق أعلى.
سلبيات اثنين - استهلاك الطاقة والسعر. التنمية هي أكثر تعقيدا قليلا.

جيتسون agx

هذا هو jetson آخر. أساسا أقدم نسخة. السرعة هي أسرع مرتين من Jetson TX2 بالإضافة إلى وجود دعم لحسابات int8 ، والتي تتيح لك رفع تردد التشغيل 4 مرات أخرى. بالمناسبة ، تحقق من هذه الصورة من نفيديا:

يقارنون اثنين من Jetson الخاصة بهم. واحد في int8 ، والثاني في int32. لا أعرف حتى ما أقوله من كلمات هنا ... باختصار: "لا تصدق أبداً رسوميات NVIDIA".
على الرغم من حقيقة أن AGX جيد - فهو لا يصل إلى وحدات معالجة الرسومات العادية من Nvidia من حيث القوة الحاسوبية. ومع ذلك ، من حيث كفاءة استخدام الطاقة - فهي رائعة جدا. الرئيسي ناقص السعر.
نحن أنفسنا لم نعمل معهم ، لذلك من الصعب علي أن أقول شيئًا أكثر تفصيلًا ، لوصف مجموعة المهام التي تكون فيها الأكثر مثالية.

نفيديا gpu | نسخة الكمبيوتر المحمول

إذا قمت بإزالة القيود الصارمة المفروضة على استهلاك الطاقة ، فإن Jetson TX2 لا يبدو مثاليًا. مثل AGX. عادة الناس خائفون من استخدام GPU في الإنتاج. دفع منفصلة ، كل ذلك.
ولكن هناك ملايين الشركات التي تقدم لك تجميع حل مخصص في لوحة واحدة. عادة ما تكون هذه لوحات لأجهزة الكمبيوتر المحمولة / الحواسيب الصغيرة. أو في النهاية ، مثل هذا :

إحدى الشركات الناشئة التي عملت فيها منذ 2.5 عام ( CherryHome ) قد سلكت هذا المسار بالذات. ونحن راضون جدا.
ناقص ، كالعادة ، في استهلاك الطاقة ، والتي لم تكن حاسمة بالنسبة لنا. حسنا ، السعر يعض قليلا.

الهواتف المحمولة

لا أريد التعمق في هذا الموضوع. لتخبر كل ما هو موجود في الهواتف المحمولة الحديثة عن الخلايا العصبية / أي الأطر / أي الأجهزة ، وما إلى ذلك ، ستحتاج إلى أكثر من مقال بهذا الحجم. ومع الأخذ في الاعتبار حقيقة أننا صرنا في هذا الاتجاه 2-3 مرات فقط ، فأنا أعتبر نفسي غير قادر على ذلك. لذلك فقط بضع ملاحظات:

1. هناك العديد من مسرعات الأجهزة التي يمكن تحسين الخلايا العصبية عليها.
2. لا يوجد حل عام يسير على ما يرام في كل مكان. الآن هناك بعض المحاولات لجعل Tensorflow لايت مثل هذا الحل. لكن ، كما أفهمها ، لم تصبح بعد واحدة.
3. بعض الشركات المصنعة لها أعمالها الزراعية الخاصة. لقد ساعدنا في تحسين إطار Snapdragon قبل عام. وكان فظيعا. نوعية الخلايا العصبية هناك أقل بكثير من كل شيء تحدثت عنه اليوم. لا يوجد دعم لـ 90٪ من الطبقات ، حتى الطبقات الأساسية ، مثل "الإضافة".
4. نظرًا لعدم وجود بيثون ، فإن الاستدلال على الشبكات غريب جدًا وغير منطقي وغير مريح.
5. من حيث الأداء ، يحدث أن كل شيء جيد جدًا (على سبيل المثال ، على بعض أجهزة iphone).

يبدو لي أنه بالنسبة للهواتف المحمولة المدمجة ، ليس الحل الأفضل (الاستثناء هو بعض أنظمة التعرف على الوجوه منخفضة الميزانية). لكنني رأيت بضع حالات عندما تم استخدامها كنماذج مبكرة.

GAP8

كان مؤخرا في مؤتمر يوداتا . وكان هناك أحد التقارير حول استنتاج الخلايا العصبية بأقل النسب المئوية (GAP8). وكما يقولون ، فإن الحاجة إلى الاختراعات ماكرة. في القصة ، كان مثالًا بعيد المنال. لكن المؤلف أخبرهم كيف تمكنوا من تحقيق الاستنتاج وجهاً في ظرف ثانية. على شبكة بسيطة جدا ، أساسا دون كاشف. عن طريق التحسينات والجنون ومدخرات طويلة في المباريات.
أنا لا أحب هذه المهام دائمًا. لا بحث ، سوى الدم.
ولكن ، من الجدير بالذكر أنه يمكنني تخيل الألغاز التي تعطي فيها النسب المئوية المنخفضة الاستهلاك نتيجة رائعة. ربما ليس للتعرف على الوجوه. ولكن في مكان ما حيث يمكنك التعرف على صورة الإدخال في 5-10 ثواني ...

جروف منظمة العفو الدولية هات

أثناء إعداد هذه المقالة ، صادفت هذه المنصة المدمجة. هناك القليل جدا من المعلومات على ذلك. كما أفهمها ، ودعم الصفر. الإنتاجية أيضًا عند مستوى الصفر ... وليس اختبارًا واحدًا على السرعة ...

الخادم / التعرف على عن بعد

في كل مرة يأتون إلينا للحصول على المشورة على منصة مدمجة ، أريد أن أصرخ "تشغيل ، أيها الحمقى!". من الضروري إجراء تقييم دقيق للحاجة إلى مثل هذا الحل. تحقق من أي خيارات أخرى. أنصح الجميع دائمًا بعمل نموذج أولي لهندسة الخادم. والأمر متروك لك أثناء تشغيلها لتقرر ما إذا كنت ستقوم بتطبيق مضمن حقيقي أم لا. بعد كل شيء ، مضمن هو:

1. زيادة وقت التنمية ، في كثير من الأحيان 2-3 مرات.
2. دعم متطور وتصحيح الأخطاء في الإنتاج. أي تطور مع ML هو مراجعة مستمرة ، تحديث الخلايا العصبية ، تحديثات النظام. مضمن لا يزال أكثر صعوبة. كيفية إعادة تحميل البرامج الثابتة؟ وإذا كان لديك بالفعل حق الوصول إلى جميع الوحدات ، فلماذا حساب عليها عندما يمكنك حساب على جهاز واحد؟
3. تعقيد النظام / زيادة المخاطر. المزيد من نقاط الفشل. في الوقت نفسه ، بينما لا يعمل النظام ككل ، قد لا يفهم المرء: هل النظام الأساسي مناسب لهذه المهمة؟
4. زيادة السعر. إنه شيء واحد وضع لوحة بسيطة مثل nano pi. والآخر هو لشراء TX2.

نعم ، أعلم أن هناك مهام لا يمكن فيها اتخاذ قرارات الخادم. لكن الغريب أنها أصغر بكثير مما يعتقد.

النتائج

في المقال ، حاولت الاستغناء عن استنتاجات واضحة. إنها بالأحرى قصة عما هو الآن. لاستخلاص النتائج - من الضروري التحقيق في كل حالة. وليس منصات فقط. لكن المهمة نفسها. يمكن تبسيط أي مهمة / تعديلها قليلاً / شحذها قليلاً تحت الجهاز.
المشكلة في هذا الموضوع هي أن الموضوع يتغير. الأجهزة / الأطر / النهج الجديدة قادمة. على سبيل المثال ، إذا قامت NVIDIA بتشغيل دعم int8 لـ Jetson Nano غدًا ، فسيتغير الموقف بشكل كبير. عندما أكتب هذه المقالة - لا يمكنني التأكد من أن المعلومات لم تتغير منذ يومين. ولكني آمل أن تساعدك قصتي القصيرة في تحسين مشروعك القادم.
سيكون رائعًا إذا كانت لديك معلومات إضافية / فاتني شيء / قلت شيئًا خاطئًا - اكتب التفاصيل هنا.

ملاحظة
بالفعل عندما انتهيت من كتابة المقال تقريبًا ، أسقطت snakers4 منشورًا حديثًا من قناة Spark برقي ، وهو ما يقرب من نفس المشكلات مع Jetson. ولكن ، كما كتبت أعلاه ، - في ظروف أي استهلاك للطاقة - أود أن أضع شيئًا ما مثل zotacs أو IntelNUC. وكما jetson المضمنة ليست أسوأ منصة.