لقد وصفت مؤخرًا ، وذلك بفضل الروبوتات التي ستبدأ غدًا بشكل أفضل بكثير للتفكير (منشور حول تسريع أجهزة الشبكات العصبية ). اليوم ، سنرى لماذا سيكون من الأفضل رؤية الروبوتات قريبًا. في بعض الحالات ، أفضل بكثير من شخص.

سنتحدث عن الكاميرات العميقة التي تقوم بتصوير الفيديو ، حيث يتم تخزين كل بكسل منها ليس اللون ، ولكن المسافة إلى الكائن في هذه المرحلة. كانت هذه الكاميرات موجودة لأكثر من 20 عامًا ، لكن في السنوات الأخيرة زادت سرعة تنميتها عدة مرات ويمكننا بالفعل التحدث عن الثورة. ومتعددة ناقلات. يحدث التطور السريع في المجالات التالية:

• إضاءة هيكلية للكاميرا ، أو كاميرا إضاءة هيكلية ، عندما يكون هناك جهاز عرض (غالبًا ما يكون بالأشعة تحت الحمراء) وكاميرا تسجل الضوء الهيكلي لجهاز الإسقاط ؛
  
• كاميرات زمن الرحلة ، أو الكاميرات القائمة على قياس التأخير في الضوء المنعكس ؛
  
• العمق من كاميرات الاستريو - الاتجاه الكلاسيكي وربما الأكثر شهرة لعمق البناء من الاستريو ؛
  
• Light Field Camera - هي أيضًا كاميرات ضوئية أو كاميرات plenoptic ، والتي كان يوجد عنها منشور تفصيلي منفصل ؛
  
• وأخيرًا ، تقوم الكاميرات القائمة على تقنية Lidar ، وخاصة Lidars الصلبة الجديدة ، التي تعمل بدون عطل بحوالي 100 مرة أطول من اللدارات العادية وتنتج الصورة المستطيلة المعتادة.
  

من يهتم بما سيبدو عليه ، وكذلك مقارنة بين الطرق المختلفة وتطبيقها الحالي وغدًا - مرحبًا بك!

لذلك! سنقوم بتحليل الاتجاهات الرئيسية لتطوير غرف العمق أو مبادئ مختلفة بالفعل لقياس العمق. مع إيجابيات وسلبيات.

الطريقة 1: كاميرا الضوء المهيكل

لنبدأ بواحدة من أبسط وأقدم وأساليب رخيصة نسبيا لقياس الضوء منظم العمق. ظهرت هذه الطريقة على الفور في الحال ، بمجرد ظهور الكاميرات الرقمية ، أي منذ أكثر من 40 عامًا وتبسيطها إلى حد كبير في وقت لاحق ، مع ظهور أجهزة العرض الرقمية.

الفكرة الأساسية بسيطة للغاية. نضع بجانب جهاز الإسقاط ، الذي يقوم ، على سبيل المثال ، بإنشاء خطوط أفقية (ثم رأسية) وبجانب الكاميرا ، والتي تلتقط صورة بها خطوط ، كما هو موضح في هذا الشكل:

المصدر: أوتوديسك: المسح الضوئي للضوء ثلاثي الأبعاد

نظرًا لتعويض الكاميرا وجهاز الإسقاط عن بعضهما البعض ، سيتم أيضًا نقل الشرائط بما يتناسب مع المسافة إلى الموضوع. بقياس هذا الإزاحة ، يمكننا حساب المسافة إلى الكائن:
المصدر: http://www.vision-systems.com/

في الواقع ، مع أرخص جهاز عرض (بسعر يبدأ من 3000 روبل) وهاتف ذكي ، يمكنك قياس عمق المشاهد الساكنة في غرفة مظلمة:

المصدر: أوتوديسك: المسح الضوئي للضوء ثلاثي الأبعاد

من الواضح أنه في هذه الحالة ، سيتعين حل مجموعة كاملة من المشكلات - وهي معايرة جهاز الإسقاط ومعايرة كاميرا الهاتف والتعرف على تحول الشريط وما إلى ذلك ، ولكن كل هذه المهام قادرة تمامًا حتى على برامج تعلم طلاب المدارس الثانوية المتقدمة.

أصبح مبدأ قياس العمق هذا هو الأكثر انتشارًا على نطاق واسع عندما أصدرت Microsoft في عام 2010 مستشعر عمق MS Kinect مقابل 150 دولارًا ، وهو ما كان رخيصًا في ذلك الوقت.

المصدر: إعادة تعمير الكائنات المغطاة جزئيًا باستخدام مستشعرات Kinect المتعددة

على الرغم من حقيقة أنه بالإضافة إلى قياس العمق فعليًا باستخدام جهاز عرض IR وكاميرا الأشعة تحت الحمراء ، قام Kinect أيضًا بتصوير فيديو RGB عادي ، وكان به أربعة ميكروفونات مع تقليل الضوضاء ويمكنه ضبط نفسه مع شخص في الارتفاع ، إمالة تلقائيًا لأعلى أو لأسفل ، تم دمجه مباشرة داخل معالجة البيانات ، والتي أصدرت على الفور وحدة عمق خريطة جاهزة:

المصدر: تنفيذ أزرار واجهة المستخدم الطبيعية باستخدام Kinect

في المجموع ، تم بيع حوالي 35 مليون جهاز ، مما جعل Kinect أول كاميرا عمق الكتلة في التاريخ. وإذا كنت تعتقد أن هناك بالتأكيد كاميرات عميقة ، ولكن عادة ما يبيعون المئات كحد أقصى ويكلفون ما لا يقل عن أمر من حيث الحجم أغلى - كانت هذه ثورة وفرت استثمارات كبيرة في هذا المجال.

كان أحد الأسباب المهمة للنجاح أنه بحلول الوقت الذي أصدرت فيه Microsoft جهاز Xbox 360 ، كان هناك بالفعل عدد قليل من الألعاب التي تستخدم Kinect بنشاط كجهاز استشعار. كانت الإقلاع سريعة:


علاوة على ذلك ، نجح Kinect في إدخال كتاب غينيس للأرقام القياسية باعتباره الأداة الأكثر مبيعًا في التاريخ. صحيح أن Apple سرعان ما طردت Microsoft من هذا المكان ، لكن مع ذلك. بالنسبة لمستشعر تجريبي جديد يعمل بالإضافة إلى الجهاز الرئيسي ليصبح أسرع جهاز إلكتروني مبيعًا في التاريخ ، فهذا ببساطة إنجاز رائع:


في المحاضرة ، أود أن أسأل الجمهور من أين يأتي كل هؤلاء الملايين من العملاء. الذين كانوا كل هؤلاء الناس؟

كقاعدة عامة ، لا أحد يخمن ، ولكن في بعض الأحيان ، خاصة إذا كان الجمهور أكبر سناً وأكثر خبرة ، فإنهم يقدمون الإجابة الصحيحة: المبيعات كانت مدفوعة من قبل الآباء والأمهات الأميركيين ، الذين رأوا بسرور أن أطفالهم يمكن أن يلعبوا على وحدة التحكم وعدم الجلوس على الأريكة مع غنيمة سميكة ، والقفز أمام التلفزيون. لقد كانت طفرة !!! هرع الملايين من الأمهات والآباء لطلب جهاز لأطفالهم.

بشكل عام ، عندما يتعلق الأمر بالتعرف على الإيماءات ، عادة ما يعتقد الناس بسذاجة أن البيانات من كاميرا ثنائية الأبعاد كافية. بعد كل شيء ، رأوا الكثير من العروض الجميلة! الواقع أشد بكثير. تختلف دقة التعرف على الإيماءات من دفق الفيديو ثنائي الأبعاد من الكاميرا ودقة التعرف على الإيماءات من عمق الكاميرا حسب ترتيب الحجم. من كاميرا العمق ، أو بالأحرى ، من كاميرا RGB المدمجة مع كاميرا العمق (الأخيرة مهمة) ، يمكنك التعرف على الإيماءات بدقة أكبر وبتكلفة أقل (حتى لو كانت الغرفة مظلمة) وقد حقق هذا النجاح لأول كاميرا عمق الكتلة.

حول Kinect on Habré في الوقت الذي كتبوا فيه الكثير ، باختصار شديد كيف يعمل.

يعطي جهاز العرض بالأشعة تحت الحمراء مجموعة من النقاط العشوائية الزائفة في الفضاء ، والتي يحدد إزاحتها العمق في بكسل معين:


المصدر: هياكل مستو الاستشعار عن العمق: الكشف عن تكوينات أثاث المكاتب

تم إعلان دقة الكاميرا على أنها 640 × 480 ، ولكن يوجد في الواقع حوالي 320 × 240 بتصفية قوية إلى حد ما ، وتبدو الصورة على أمثلة حقيقية بهذا الشكل (أي ، مخيفة جدًا):

المصدر: إعادة تعمير الكائنات المغطاة جزئيًا باستخدام مستشعرات Kinect المتعددة

تكون "الظلال" من الكائنات مرئية بوضوح ، نظرًا لأن الكاميرا وجهاز العرض منفصلان بدرجة كافية. يمكن أن نرى أن تحولات عدة نقاط من جهاز العرض تؤخذ في التنبؤ بالعمق. بالإضافة إلى ذلك ، هناك ترشيح (صعب) للجيران المباشرين ، لكن لا تزال خريطة العمق صاخبة للغاية ، خاصة على الحدود. هذا يؤدي إلى ضجيج ملحوظ إلى حد ما على سطح الكائنات الناتجة ، والتي يجب أن تكون سلسة بالإضافة إلى ذلك وبدون عناء:

المصدر: مكتبة جافا J4K لجهاز Kinect SDK من Microsoft

ومع ذلك ، فقط 150 دولار ( اليوم هو بالفعل 69 دولارًا ، على الرغم من أنه أفضل من 200 دولار ، بالطبع) - وأنت "ترى" العمق! هناك حقا الكثير من المنتجات التسلسلية.

بالمناسبة ، في فبراير من هذا العام ، تم الإعلان عن Azure Kinect جديد:

المصدر: أعلنت Microsoft عن Azure Kinect ، وهو متاح للطلب المسبق الآن

يجب أن تبدأ عمليات التسليم للمطورين في الولايات المتحدة الأمريكية والصين في 27 يونيو ، أي حرفيا الآن. من بين الإمكانيات ، بالإضافة إلى دقة أفضل بشكل ملحوظ من RGB وجودة أفضل للكاميرات العميقة (يعدون 1024 × 1024 في 15 FPS و 512 × 512 في 30 إطارًا في الثانية وجودة أعلى واضحة للعرض التجريبي ، يتم الإعلان عن دعم كاميرا ToF) لتعاون العديد من الأجهزة من خارج منطقة الجزاء الشمس ، الخطأ أقل من 1 سم على مسافة 4 أمتار و 1-2 ملم على مسافة أقل من 1 متر ، مما يبدو مثيرا للاهتمام للغاية ، لذلك نحن ننتظر ، ننتظر:

المصدر: تقديم Azure Kinect DK

لم يكن المنتج الشامل التالي ، حيث تم تحقيق كاميرا عميقة في ضوء منظم ، وحدة تحكم بلعبة ، ولكن ... (لفة الأسطوانة) بشكل صحيح - iPhone X !

تقنية Face ID هي كاميرا عمق نموذجية مع جهاز عرض Dot نموذجي للأشعة تحت الحمراء وكاميرا تحت الحمراء (بالمناسبة ، أنت الآن تدرك سبب تواجدها على أطراف الانفجارات ، متباعدة قدر الإمكان عن بعضها البعض - هذه قاعدة استريو ):


دقة خريطة العمق أقل من دقة Kinect - حوالي 150 × 200. من الواضح أنك إذا قلت: "قرارنا هو حوالي 150 × 200 بكسل أو 0.03 ميغابكسل" ، سيقول الناس لفترة وجيزة ومختصرة: "تمتص!" وإذا قلت "جهاز الإسقاط Dot: تم عرض أكثر من 30،000 نقطة غير مرئية على وجهك" ، يقول الناس: "Wow ، 30 ألف نقطة غير مرئية ، باردة!". سوف تسأل بعض الشقراوات عما إذا كانت النمش تظهر من نقاط غير مرئية. والموضوع سوف يذهب إلى الجماهير! لذلك ، كان الخيار الثاني بعيد النظر في الإعلان. الدقة صغيرة لثلاثة أسباب: أولاً ، متطلبات المصغرة ، وثانيًا ، استهلاك الطاقة ، وثالثًا ، الأسعار.

ومع ذلك ، فهذه هي الكاميرا الأخرى ذات العمق في ضوء منظم ، والتي دخلت في سلسلة من ملايين النسخ وكررت بالفعل من قبل الشركات المصنعة للهواتف الذكية الأخرى ، على سبيل المثال ، (مفاجأة مفاجئة!) Huawei (التي تجاوزت Apple في مبيعات الهواتف الذكية العام الماضي). يوجد لدى Huawei فقط كاميرا على اليمين ، وجهاز الإسقاط على اليسار ، ولكن أيضًا ، بالطبع ، على حواف "الانفجارات":

المصدر: يتيح تحديث Huawei Mate 20 Pro للمستخدمين إضافة وجه ثانٍ لفتح الوجه

في الوقت نفسه ، تم إعلان 300000 نقطة ، أي أكثر بعشر مرات من Apple ، والكاميرا الأمامية أفضل ، والخط أكبر . هل هناك مبالغة فيما يتعلق بـ 300 ألف - من الصعب القول ، لكن Huawei تعرض مسحًا ثلاثي الأبعاد جيدًا للكائنات باستخدام كاميرا أمامية . تعتبر الاختبارات المستقلة أكثر رعبا ، لكن من الواضح أن هذه هي البداية الأولى للموضوع ، كما أن طفرة تكنولوجيا الكاميرات العميقة المصغرة الموفرة للطاقة وإعلانات الكاميرا في نهاية هذا العام هي بالفعل أفضل بشكل ملحوظ في الأداء.

في الوقت نفسه ، من المفهوم سبب استخدام تقنية التعرف على الوجوه في الهواتف. أولاً ، لا يمكنك الآن خداع الكاشف عن طريق عرض صورة لوجهك (أو فيديو من الجهاز اللوحي). ثانياً ، يتغير الوجه كثيرًا عند تغير الإضاءة ، ولكن لا يتغير شكله ، مما يسمح لنا بتحديد الشخص بدقة أكبر مع البيانات من كاميرا RGB:

المصدر: صورة TI للشخص نفسه

من الواضح أن جهاز استشعار الأشعة تحت الحمراء لديه مشاكل متأصلة. أولاً ، يضيء جهاز العرض الضعيف نسبيًا على الشمس لمرة أو مرتين ، لذلك لا تعمل هذه الكاميرات في الشارع. حتى في الظل ، إذا أضاءت الشمس على الجدار الأبيض للمبنى ، فقد تواجهك مشكلات كبيرة في Face ID. يتدحرج مستوى الضوضاء في Kinect أيضًا حتى عندما تكون الشمس مغطاة بالغيوم:

المصدر: هذا والصورتان التاليتان - مواد Basler AG

مشكلة كبيرة أخرى هي التفكير والتفكير. نظرًا لأن ضوء الأشعة تحت الحمراء ينعكس أيضًا ، لتصوير غلاية باهظة الثمن من الفولاذ المقاوم للصدأ ، فإن وجود طاولة ملونة أو غطاء زجاجي مع Kinect سيكون مشكلة:


وأخيرًا ، يمكن أن تتداخل كاميرتان تطلقان كائنًا واحدًا معًا. ومن المثير للاهتمام ، في حالة الإضاءة المنظمة ، يمكنك جعل جهاز العرض تومض وفهم مكان وجودنا وأين لا ، ولكن هذه قصة منفصلة ومعقدة إلى حد ما:


الآن أنت تعرف كيفية كسر FaceID ...

ومع ذلك ، بالنسبة للأجهزة المحمولة ، يبدو الضوء المهيكل هو الحل الوسط الأكثر منطقية اليوم:

المصدر: شركات الهواتف الذكية تتدافع لتتناسب مع أداء كاميرا أبل ثلاثية الأبعاد وتكلفتها

بالنسبة للضوء المنظم ، فإن تكلفة المستشعر التقليدي رخيصة للغاية بحيث يكون استخدامه في معظم الحالات أكثر من مبرر. ما أدى إلى ظهور عدد كبير من الشركات الناشئة التي تعمل وفقًا للمعادلة: جهاز استشعار رخيص + برنامج معقد = نتيجة مقبولة تمامًا.

على سبيل المثال ، قام طالب الدراسات العليا السابق مكسيم فيديوكوف ، الذي شارك في إعادة الإعمار ثلاثي الأبعاد منذ عام 2004 ، بإنشاء Texel ، منتجه الرئيسي عبارة عن منصة بها 4 كاميرات وبرامج Kinect تحول الشخص إلى نصب تذكاري محتمل في 30 ثانية. حسنا ، أو تمثال سطح المكتب. هذا هو الذي لديه ما يكفي من المال. أو يمكنك إرسال صور أصدقاء رخيصة ومبهجة لنموذج ثلاثي الأبعاد إلى أصدقائك (لسبب ما ، القضية الأكثر شيوعًا لسبب ما). الآن يرسلون منصاتهم وبرامجهم إلى الخارج من المملكة المتحدة إلى أستراليا:

المصدر: إنشاء نموذج ثلاثي الأبعاد لشخص في 30 ثانية

كراقصة راقصة ، لا يمكنني الوقوف بشكل جميل ، لذلك أنا فقط ننظر بعناية في زعنفة القرش التي تسبح في الماضي:

المصدر: مواد المؤلف

بشكل عام ، نتج عن نوع جديد من أجهزة الاستشعار مشاريع فنية جديدة. في فصل الشتاء ، شاهدت فيلم VR غريبًا جدًا مع فيلم Kinect. في ما يلي تصور مثير للاهتمام للرقص ، المصنوع أيضًا من Kinect (يبدو أنه تم استخدام 4 كاميرات) ، وعلى عكس المثال السابق ، لم يقاتلوا مع الضوضاء ، لكنهم أضافوا تفاصيل المرح:

المصدر: أداء رقص تم التقاطه باستخدام مستشعر Kinect ومرئي باستخدام برامج ثلاثية الأبعاد

ما هي الاتجاهات التي يمكن ملاحظتها في المنطقة:

• كما تعلمون ، فإن المستشعرات الرقمية للكاميرات الحديثة حساسة للإشعاع تحت الأحمر ، لذلك يجب عليك استخدام مرشحات حجب خاصة حتى لا تفسد ضوضاء الأشعة تحت الحمراء الصورة (حتى اتجاه التصوير الفني في نطاق الأشعة تحت الحمراء ، بما في ذلك عند إزالة المرشح من المستشعر). وهذا يعني أنه يتم استثمار مبالغ ضخمة من المال في التصغير ، وزيادة الدقة وأجهزة استشعار أرخص ، والتي يمكن استخدامها كأشعة تحت الحمراء (مع مرشح خاص ).
  
• وبالمثل ، فإن خوارزميات معالجة خرائط العمق تتحسن الآن بسرعة ، بما في ذلك أساليب ما يسمى التصفية المتقاطعة ، عندما تتيح لك البيانات من جهاز استشعار RGB والبيانات الصاخبة بعمق الحصول على فيديو جيد للغاية من العمق معًا. في الوقت نفسه ، باستخدام نهج الشبكة العصبية ، يصبح من الممكن زيادة سرعة الحصول على نتيجة جيدة بشكل كبير.
  
• جميع الشركات الكبرى تعمل في هذا المجال ، وخاصة مصنعي الهواتف الذكية.
  

نتيجة لذلك:

• يمكننا أن نتوقع زيادة كبيرة في دقة ودقة إطلاق كاميرات عمق الإضاءة المهيكلة في السنوات الخمس المقبلة.
  
• سيكون هناك (وإن كان أبطأ) انخفاضًا في استهلاك الطاقة لأجهزة الاستشعار المحمولة ، مما يبسط استخدام أجهزة استشعار الجيل التالي في الهواتف الذكية والأجهزة اللوحية وغيرها من الأجهزة المحمولة.
  

في أي حال ، ما نراه الآن هو بداية التكنولوجيا. المنتجات الضخمة الأولى التي يتم فيها إطلاقًا تصحيح أخطاء الإنتاج واستخدام نوع بيانات غير عادي جديد - فيديو بعمق.

الطريقة 2: وقت كاميرا الطيران

الطريقة التالية للحصول على العمق هي أكثر إثارة للاهتمام. يعتمد ذلك على قياس تأخر ضوء الرحلة ذهابًا وإيابًا (ToF - وقت الرحلة ). كما تعلمون ، فإن سرعة المعالجات الحديثة عالية ، وسرعة الضوء صغيرة. في دورة واحدة من ساعة المعالج عند 3 جيجا هرتز ، يتمكن الضوء من الطيران فقط 10 سم. أو 10 تدابير لكل متر. كثير من الوقت ، إذا كان أي شخص يشارك في تحسين المستوى المنخفض. وفقًا لذلك ، نقوم بتثبيت مصدر ضوء نابض وكاميرا خاصة:

المصدر: كاميرا وقت الرحلة (ToF) Basler

في الواقع ، نحن بحاجة إلى قياس التأخير الذي يعود به الضوء إلى كل نقطة:

المصدر: كاميرا وقت الرحلة (ToF) Basler

أو ، إذا كان لدينا العديد من المستشعرات مع أوقات مختلفة لتراكم الشحن ، فعندئذ نعلم تحول الوقت بالنسبة إلى مصدر كل مستشعر وسطوع وميض اللقطة ، يمكننا حساب التغير ، وبالتالي ، المسافة إلى الكائن ، وزيادة عدد المستشعرات ، نزيد الدقة:


المصدر: لاري لي وقت الطيران الكاميرا - مقدمة

والنتيجة هي مثل هذا المخطط للكاميرا مع إضاءة LED أو ، أقل شيوعًا ، إضاءة ليزر ( VCSEL ):

المصدر: وصف وظيفي جيد جدًا لـ ToF على allaboutcircuits.com

في هذه الحالة ، يتم الحصول على الصورة بدقة منخفضة إلى حد ما (لأننا نحتاج إلى وضع عدة أجهزة استشعار بأوقات اقتراع مختلفة بجانب بعضها البعض) ، ولكن مع وجود FPS عالي. والمشاكل هي أساسا في حدود الأجسام (وهو أمر نموذجي لجميع الكاميرات العمق). ولكن بدون "الظلال" النموذجية للضوء المنظم:

المصدر: فيديو Basler AG

على وجه الخصوص ، كان هذا النوع من الكاميرا (ToF) هو الذي قام باختبار Google في وقت واحد بشكل نشط في مشروع Google Tango ، والذي كان ممثلاً جيدًا في هذا الفيديو . كان المعنى بسيطًا - للجمع بين بيانات الجيروسكوب ومقياس التسارع وكاميرا RGB وكاميرا العمق ، وبناء مشهد ثلاثي الأبعاد أمام الهاتف الذكي:

المصدر: مشروع جوجل تانجو الآن بحجم للهواتف الذكية

المشروع نفسه لم يذهب (في رأيي أنه كان إلى حد ما قبل وقته) ، لكنه خلق متطلبات مسبقة هامة لخلق موجة من الاهتمام في AR - الواقع المعزز - وبالتالي تطوير أجهزة استشعار يمكنها العمل معها. الآن يتم سكب جميع إنجازاته في ARCore من Google.

بشكل عام ، يزداد حجم السوق لكاميرات ToF بحوالي 30٪ كل 3 سنوات ، وهو نمو هائل ، وينمو عدد قليل من الأسواق بهذه السرعة:

المصدر: إمكانات كاميرات وقت الطيران واختراق السوق

المحرك الجاد للسوق اليوم هو التطور السريع (والأسي أيضًا) للروبوتات الصناعية ، والتي تعد كاميرات ToF حلاً مثاليًا لها. على سبيل المثال ، إذا كان روبوتك يحزم الصناديق ، ثم بكاميرا عادية ثنائية الأبعاد ، فإن تحديد أنك بدأت في التشويش على الورق المقوى هو مهمة غير تافهة للغاية. وبالنسبة لكاميرا ToF ، من التافه "رؤيتها" ومعالجتها. وسريع جدا. نتيجة لذلك ، نرى طفرة في كاميرات ToF الصناعية :


وبطبيعة الحال ، يؤدي هذا أيضًا إلى ظهور منتجات منزلية الصنع باستخدام كاميرات عمق. على سبيل المثال ، كاميرا أمان مع وحدة فيديو ليلية وكاميرا عمق ToF من تقنيات PMD الألمانية ، التي تعمل على تطوير كاميرات ثلاثية الأبعاد لأكثر من 20 عامًا :

المصدر: استشعار عمق وقت الطيران ثلاثي الأبعاد يجلب السحر إلى الكاميرا الذكية للمنارة الجديدة

هل تتذكر عباءة الخفاء التي كان يختبئ بها هاري بوتر؟

المصدر: عباءة هاري بوتر الخفية تحصل على قصة أصل وقد تتواجد قريبًا في الحياة الحقيقية

أخشى أن تكتشفها الكاميرا الألمانية مرة أو مرتين. وسيكون من الصعب وضع شاشة مع صورة أمام مثل هذه الكاميرا (هذه ليست واقية تشتيت انتباهك):

المصدر: جزء من فيلم "المهمة مستحيلة: بروتوكول فانتوم"

يبدو أنه بالنسبة لكاميرات CCTV الجديدة ، سيُطلب من سحر Hogwarts غير الطفولي خداعهم بكاميرا عمق ToF ، قادرة على تصوير هذا الفيديو في ظلام دامس:

إن التظاهر بأنه جدار وشاشة وطرق أخرى لحماية نفسك من حقيقة أن كاميرا ToF + RGB المدمجة ستكتشف وجود كائن دخيل تصبح أكثر صعوبة من الناحية الفنية.

تطبيق سلمي آخر ضخم لكاميرات العمق هو التعرف على الإيماءات. في المستقبل القريب ، يمكنك أن تتوقع أجهزة التلفزيون وأجهزة التحكم والمكانس الكهربائية الروبوتية التي لن تكون قادرة على تصور الأوامر الصوتية فقط كمكبرات صوت ذكية ، ولكن أيضًا الإهمال "تنظيفها!" مع موجة من يده. بعد ذلك ، سيصبح التحكم عن بُعد (المعروف أيضًا باسم كسول) في التلفزيون الذكي غير ضروري تمامًا ، وسيظهر الخيال العلمي في الحياة. نتيجةً لذلك ، أصبح ما كان رائعًا في عام 2002 تجريبيًا في عام 2013 ، وأخيراً المسلسل في عام 2019 (في حين أن الناس لن يعلموا أن هناك كاميرا عميقة في الداخل ، ما الفرق الذي يحدثه ، وكيف يعمل هذا السحر؟ ):

المصدر: المادة ، التجارب والمنتج

والخط الكامل للتطبيقات أوسع ، بالطبع:

المصدر: فيديو لمستشعرات العمق من Terabee (بالمناسبة ، ما نوع الفئران التي تشغلها على الأرض لمقاطع فيديو 2 و 3؟ أراها ؟ مجرد مزاح ، إنها غبار في الهواء - رسم لصغر حجم المستشعر وقرب مصدر الضوء من المستشعر)

بالمناسبة - في "المتاجر التي لا تحتوي على صرافين" الشهيرة في Amazon Go ، توجد أيضًا العديد من الكاميرات تحت السقف:

المصدر: داخل متجر "أمازون" ، المزود بميزة المراقبة بدون مراقبة

علاوة على ذلك ، كما يكتب TechCrunch : "لقد تم تعزيزها بواسطة كاميرات منفصلة تستشعر عمقها (باستخدام تقنية وقت الرحلة ، أو هكذا فهمت من Kumar) التي تمتزج في الخلفية مثل البقية ، وكلها سوداء غير لامعة." بمعنى أن معجزة تحديد الرف الذي يتم أخذ اللبن منه يتم توفيرها ، من بين أشياء أخرى ، بواسطة الكاميرات السوداء الغامضة ToF السوداء (سؤال جيد ، هل هي في الصورة):


لسوء الحظ ، غالباً ما يصعب العثور على المعلومات المباشرة. ولكن هناك واحد غير مباشر. على سبيل المثال ، كان هناك شركة Softkinetic ، التي تعمل منذ عام 2007 على تطوير كاميرات ToF. بعد 8 سنوات ، تم شراؤها من قبل شركة Sony (التي ، بالمناسبة ، مستعدة لغزو أسواق جديدة تحت علامة Sony Depthsensing ). لذلك واحد من أفضل موظفي Softkinetic يعمل الآن فقط على Amazon Go. هذه صدفة! في غضون بضع سنوات ، عندما يتم طرح التكنولوجيا وتقديم براءات الاختراع الرئيسية ، من المرجح أن يتم الكشف عن التفاصيل.

حسنًا ، كالعادة ، يشعل الصينيون. على سبيل المثال ، قدمت Pico Zense ، في معرض CES 2019 ، مجموعة رائعة من كاميرات ToF ، بما في ذلك للاستخدام الخارجي:

يعدون بثورة في كل مكان. سيتم تحميل العربات بشكل أكثر كثافة نظرًا للتحميل الأوتوماتيكي ، وستكون أجهزة الصراف الآلي أكثر أمانًا ، نظرًا لكاميرات العمق في كل منها ، يصبح التنقل بين الروبوتات أسهل وأكثر دقة ، وسيتم احتساب الأشخاص (والأهم من ذلك الأطفال!) ترتيب الحجم بشكل أفضل في البث ، وستظهر محاكيات اللياقة البدنية الجديدة القدرة على التحكم في صحة التمارين بدون مدرب ، وهكذا دواليك. وبطبيعة الحال ، فإن الكاميرات الصينية الرخيصة ذات الأجيال الجديدة جاهزة بالفعل لهذا الروعة. خذ والبناء في!

ومن المثير للاهتمام ، أن أحدث مسلسل Huawei P30 Pro يحتوي على مستشعر ToF بجوار الكاميرات الرئيسية ، أي تتمتع Huawei التي طالت معاناتها بقدرة أكبر على جعل Apple تصنع مستشعرات ضوئية مبنية أمامية ، ويبدو أن Google (Project Tango ، الذي تم إغلاقه ) قد نجحت في تطبيق كاميرا بجوار كاميرات ToF الرئيسية:

المصدر: Ars Technica Huawei مراجعة التكنولوجيا الجديدة في نهاية مارس 2019

بطبيعة الحال ، لم يتم الكشف عن تفاصيل الاستخدام ، ولكن بالإضافة إلى تسريع التركيز (وهو أمر مهم بالنسبة للكاميرات الرئيسية الثلاث ذات العدسات المختلفة) ، يمكن استخدام هذا المستشعر لزيادة جودة طمس خلفية الصور (محاكاة عمق الحقل الصغير).

من الواضح أيضًا أن الجيل التالي من أجهزة استشعار العمق بجانب الكاميرات الرئيسية سيتم استخدامه في تطبيقات AR ، مما سيزيد من دقة AR من "بارد" ، ولكن في كثير من الأحيان عربات التي تجرها الدواب "إلى مستوى العمل الجماعي. ومن الواضح أنه في ضوء النجاحات الصينية ، فإن السؤال الكبير هو كم ستريد Google دعم الأجهزة الصينية الثورية في ARCore . حروب براءات الاختراع يمكن أن تبطئ سوق التكنولوجيا بشكل كبير. تطور هذه القصة الدرامية سوف نرى حرفيا في العامين المقبلين.

المجاميع الفرعية

منذ حوالي 25 عامًا ، عندما ظهرت أول أبواب أوتوماتيكية ، شاهدت شخصيًا مدى تسارع الأعمام المحترمين بشكل دوري أمام هذه الأبواب. ينجح لفتح أو ليس لديه الوقت؟ إنها كبيرة ، ثقيلة ، زجاج! عن نفس الشيء لاحظته خلال جولة أساتذة محترمين في مصنع أوتوماتيكي في الصين مؤخرًا. لقد تخلفوا قليلاً عن المجموعة ليروا ماذا سيحدث إذا وقفت على الروبوت وتحمل أجزاء بهدوء وتلعب لحنًا هادئًا في الطريق. أنا أيضًا ، توبوا ، لم أستطع مقاومة ... كما تعلمون ، توقف! ربما بسلاسة. ربما كرجل ميت. مجسات العمق تعمل!

المصدر: داخل حرم Huawei Technology الجديد

عمل الفندق أيضًا كإنسان آلي للتنظيف ، والذي بدا كالتالي:

في الوقت نفسه ، تعرضوا للتخويف بقوة أكبر من الروبوتات في المصنع. ليست صعبة كما هو الحال في اللاإنسانية بكل معنى الكلمة في Bosstown Dynamics ، بالطبع. لكنني شخصياً شاهدت كيف استيقظوا على الطريق ، حاول الروبوت الالتفاف على شخص ، تحرك الشخص ، وأغلق الطريق ... نوع من القط والفأر. بشكل عام ، يبدو أنه عندما تظهر المركبات غير المأهولة على الطرق ، في المرة الأولى التي يتم فيها قطعها أكثر من المعتاد ... أوه ، الناس ... هممم ... ومع ذلك ، فقد تصرفنا.

تلخيص النقاط الرئيسية:

• نظرًا لمبدأ التشغيل الآخر ، يمكننا وضع مصدر الضوء في كاميرا ToF بالقرب من المستشعر قدر الإمكان (حتى تحت نفس العدسة). بالإضافة إلى ذلك ، تحتوي العديد من النماذج الصناعية على مصابيح LED موجودة حول المستشعر. نتيجة لذلك ، يتم تقليل "الظلال" على خريطة العمق بشكل جذري ، أو حتى تختفي. أي عمل مبسط مع كائنات هندسية معقدة ، وهو أمر مهم للروبوتات الصناعية.
  
• نظرًا لأن الإضاءة النبضية ، كقاعدة عامة ، لا تزال تعمل بالأشعة تحت الحمراء - يتم الحفاظ على جميع عيوب كاميرا الأشعة تحت الحمراء الموضحة في القسم الأخير: التعرض لأشعة الشمس ، والصعوبات عندما تعمل كاميرتان جنبًا إلى جنب ، إلخ. ومع ذلك ، غالبًا ما تعمل الروبوتات الصناعية في الداخل ، ويتم تطوير كاميرات بها إضاءة ليزر.
  
• للأسف ، أجهزة استشعار ToF أكثر صعوبة في "تحسين" التحسين العام لمستشعرات كاميرات RGB ، لذلك تطويرها أبطأ ، لكن من المستغرب أن الأخبار عن إدخال كاميرات ToF هي كثير جدًا وما (هناك) غير موجود (فقط في الهواتف الذكية أعلنت تكامل أجهزة الاستشعار و Samsung و Google Pixel و Sony Xperia ...).
  
• وعد سوني الجديد بأن تكون كاميرتان من أصل 8 كاميرات هاتف (!!!) كاميرات ToF عمق (!) ، أي كاميرات العمق ستكون على جانبي الهاتف:
  المصدر: هاتف Hexa-cam من سوني يحصل على كشف مواصفات الكاميرا
  
• نتيجة لذلك ، سنجد الكثير من الأشياء المثيرة للاهتمام في هذا المجال حتى في العام القادم! وفي العام المقبل ، سيكون ما يصل إلى 20٪ من الهواتف الجديدة مزودة بكاميرات متعمقة (ضوء مهيكل + إضاءة ToF). بالنظر إلى أنه في عام 2017 ، كانت Apple فقط في السوق في عزلة رائعة بـ "30 ألف نقطة" ، والآن لا تضع أقل من 300 ألف ، سارت الأمور بشكل جيد:
  
  المصدر: محدودية نمو سوق أجهزة الاستشعار الذكي ثلاثي الأبعاد في عام 2019 ؛ أبل ستكون المروج الرئيسي للنمو في عام 2020
  

هل ما زلت تشك في الثورة المستمرة؟

كان هذا الجزء الأول! المقارنة العامة ستكون في الثانية.

في السلسلة التالية ، انتظر:

• الطريقة 3 ، الكلاسيكية: عمق ستيريو.
  
• طريقة 4 ، حديثاً: العمق من plenoptics ؛
  
• الطريقة الخامسة ، سريعة النمو: ليدرات ، بما في ذلك ليدرات الحالة الصلبة ؛
  
• بعض المشاكل معالجة الفيديو بعمق.
  
• وأخيرا ، مقارنة موجزة لجميع الأساليب 5 والاستنتاجات العامة.
  

يجب كسر قرطاج ... الفيديو بأكمله سيكون ثلاثي الأبعاد بحلول نهاية القرن!

ترقبوا! (إذا كان لدي ما يكفي من الوقت ، فسوف أصف الكاميرات الجديدة ، بما في ذلك اختبارات Kinect الطازجة ، بحلول نهاية العام).

الجزء 2