في الجزء الأول من هذا النص ، قمنا بفحص كاميرات عمق استنادًا إلى قياسات الإضاءة الهيكلية وقياسات تأخير الضوء ذهابًا وإيابًا ، والتي تستخدم أساسًا إضاءة الأشعة تحت الحمراء. إنها تعمل بشكل رائع في الداخل على مسافات تتراوح بين 10 سم إلى 10 أمتار ، والأهم من ذلك - أنها رخيصة جدًا. ومن هنا موجة هائلة من استخدامها الحالي في الهواتف الذكية. لكن ... بمجرد أن نذهب للخارج ، تضيء الشمس حتى من خلال السحب ضوء الأشعة تحت الحمراء وتدهور عملها بشكل حاد.

كما يقول ستيف بلانك ( لسبب آخر ، مع ذلك): "إذا كنت تريد النجاح ، فاترك المبنى". أدناه سوف نتحدث عن كاميرات عمق العمل في الهواء الطلق. اليوم هذا الموضوع مدفوع بقوة بالسيارات المستقلة ، ولكن ، كما سنرى ، ليس فقط.


المصدر: شركة Innoviz تتصور إنتاج سيارات ذاتية القيادة على نطاق واسع مع LiDAR ذات الحالة الصلبة

لذلك ، الكاميرات العميقة ، أي الأجهزة التي تقوم بتصوير الفيديو ، في كل بكسل منها المسافة إلى كائن المشهد ، تعمل في ضوء الشمس!

من يهتم - مرحبا بكم في كات!

لنبدأ مع الكلاسيكية الخالدة ...

الطريقة 3: العمق من كاميرا ستيريو +

بناء خريطة عمق من الاستريو معروف جيدًا وقد استخدم منذ أكثر من 40 عامًا . فيما يلي مثال على الكاميرا المدمجة بمبلغ 450 دولارًا ، والتي يمكن استخدامها للتحكم في الإيماءات ، جنبًا إلى جنب مع التصوير الاحترافي أو خوذات الواقع الافتراضي:


مصدر

والميزة الرئيسية لهذه الكاميرات هي أن ضوء الشمس لا يزعجها فحسب ، بل بالعكس ، يجعل نتائجها أفضل ، ونتيجة لذلك ، فإن الاستخدام الفعال لهذه الكاميرات لجميع أنواع حالات الشوارع ، على سبيل المثال ، هو مثال رائع على كيفية تصوير نموذج ثلاثي الأبعاد لقلعة قديمة في بضع دقائق:


مثال على استخدام الشارع لكاميرا ZED

تأثرت الأموال البارزة في ترجمة تشييد العمق من الاستريو إلى مستوى جديد ، بطبيعة الحال ، بموضوع السيارات المستقلة. من بين 5 طرق مدروسة لإنشاء فيديو ذي عمق ، هناك طريقتان فقط - هذا والأخير (المجسم والعازل البصري) لا تتداخل مع الشمس ولا تتداخل مع السيارات المجاورة. في الوقت نفسه ، تعتبر الأغشية القاعية أكثر تكلفة بكثير وأقل دقة عبر المسافات الطويلة. يمكن أن يحدث ذلك على أي حال ، من الصعب وضع تنبؤات ، لكن في هذه الحالة يجدر الاتفاق مع Elon Musk - ستريو من بين كل 5 طرق لديه أفضل الاحتمالات. والنتائج الحالية مشجعة للغاية:


المصدر: SLAM Direct-Scale Direct مع كاميرات ستيريو

لكن من المثير للاهتمام أنه يبدو أن المركبات غير المأهولة (التي يتم إنتاج عدد قليل منها حتى الآن) ، ولكن الأجهزة الضخمة ، حيث يتم بناء خريطة عمق استريو الآن ، سيكون لها تأثير أقوى على تطوير عمق البناء من الاستريو ، وبالتحديد ... هذا صحيح! الهواتف الذكية!

قبل ثلاث سنوات ، كان هناك ببساطة طفرة في الهواتف الذكية "ثنائية العين" ، والتي تمت الإشارة فيها حرفيًا إلى جميع العلامات التجارية ، نظرًا لأن جودة الصور التي تم التقاطها بكاميرا واحدة ونوعية الصور التي تم التقاطها مع اثنين تختلف اختلافًا جذريًا ، ولكن من وجهة نظر زيادة سعر الهاتف الذكي ، لم يكن هذا كبيرًا:



علاوة على ذلك ، مضت العملية في العام الماضي بنشاط أكبر: "هل لديك كاميرتان في هاتفك الذكي؟ تمتص! لدي ثلاثة أربعة !!! ":


المصدر: Samsung Galaxy A8 & A9

مستقبل سداسي العينين تم ذكر شركة سوني في الجزء الأول. بشكل عام ، تكتسب الهواتف الذكية متعددة العيون شعبية كبيرة بين الشركات المصنعة.

الأسباب الأساسية لهذه الظاهرة بسيطة:

• تتزايد دقة هواتف الكاميرا ، وحجم العدسة صغير. نتيجة لذلك ، على الرغم من الحيل العديدة ، يزداد مستوى الضوضاء وتنخفض الجودة ، خاصة عند التصوير في الظلام.
  
• علاوة على ذلك ، على الكاميرا الثانية ، يمكننا إزالة ما يسمى مرشح باير من المصفوفة ، أي ستكون كاميرا واحدة بالأبيض والأسود ، واللون الثاني. هذا يزيد من حساسية الأبيض والأسود بنحو 3 مرات. أي حساسية 2 الكاميرات ينمو مشروطة لا 2 ، ولكن 4 مرات (!). هناك العديد من الفروق الدقيقة ، ولكن هذه الزيادة في الحساسية واضحة للعيان بوضوح.
  
• من بين أمور أخرى ، عندما يظهر زوج ستيريو ، لدينا الفرصة لتغيير عمق المجال برمجياً ، أي طمس الخلفية ، والتي تستفيد منها العديد من الصور بشكل كبير (كتبنا عن هذا في النصف الثاني هنا ). هذا الخيار من طرازات الهواتف الذكية الجديدة سرعان ما أصبح شائعًا للغاية.
  
• مع زيادة عدد الكاميرات ، من الممكن أيضًا استخدام عدسات أخرى - بزاوية أوسع (بؤرة قصيرة) ، وعلى العكس من ذلك ، بؤرة تركيز طويلة ، والتي يمكن أن تحسن بشكل كبير من الجودة عند "الاقتراب" من الكائنات.
  
• ومن المثير للاهتمام ، أن الزيادة في عدد الكاميرات تقربنا من موضوع حقل الضوء المتعثر ، الذي يحتوي على الكثير من ميزاته وميزاته ، ومع ذلك ، فهذه قصة مختلفة.
  
• نلاحظ أيضًا أن زيادة عدد الكاميرات يتيح لك رفع الدقة عن طريق طرق استرداد الدقة .
  

بشكل عام ، هناك الكثير من المزايا الإضافية التي عندما يكون الناس على دراية بها ، يبدأون في التساؤل عن سبب عدم ضبط كاميرتين على الأقل لفترة طويلة.

ثم اتضح أن ليس كل شيء بهذه البساطة. من أجل استخدام كاميرات إضافية بشكل مفيد لتحسين الصورة (وليس فقط التبديل إلى كاميرا ذات عدسة مختلفة) ، نحن ملزمون ببناء ما يسمى خريطة التباين ، والتي يتم تحويلها مباشرة إلى خريطة عمق. وهذه مهمة غير تافهة للغاية ، والتي جاءت لتوها قوة الهواتف الذكية. وحتى الآن ، غالبًا ما تكون خرائط العمق ذات جودة مشكوك فيها. هذا هو ، قبل المطابقة الدقيقة "بكسل في الصورة اليمنى إلى بكسل على اليسار" لا تزال بحاجة إلى البقاء على قيد الحياة. على سبيل المثال ، فيما يلي أمثلة حقيقية لخرائط العمق لجهاز iPhone:


المصدر: iPhone XS & XR عمق خريطة المقارنة

حتى بالعين المجردة ، تظهر المشكلات الجماعية بوضوح على الخلفية ، عند الحدود ، أنا صامت عن الشعر الشفاف . وبالتالي ، هناك العديد من المشكلات التي تنشأ عند نقل اللون من كاميرا بالأبيض والأسود إلى لون واحد ، وخلال المعالجة الإضافية.

على سبيل المثال ، إليك مثال جيد جدًا من تقرير حول "إنشاء تأثيرات صور وفيديو باستخدام العمق" من Apple:


المصدر: إنشاء تأثيرات صور وفيديو • استخدام العمق ، Apple ، WWDC18

يمكنك أن ترى بوضوح كيف يكون العمق عربات التي تجرها الدواب تحت الشعر ، وبالفعل ضد أي خلفية موحدة أكثر أو أقل ، ولكن الأهم من ذلك ، على خريطة حصيرة الصحيحة ذهب طوق في الخلفية (أي أنه سيكون غير واضح). هناك مشكلة أخرى تتمثل في الدقة الفعلية للعمق وخريطة الفرشاة أقل بكثير من دقة الصورة ، والتي تؤثر أيضًا على الجودة أثناء المعالجة:



ومع ذلك ، كل هذا مشكلة نمو. إذا لم يكن هناك أي شكوك منذ 4 سنوات حول أي آثار خطيرة على الفيديو ، فإن الهاتف ببساطة "لم يسحبها" ، لكن معالجة الفيديو اليوم بعمق تظهر على نفسها على أفضل الهواتف التسلسلية (كان في نفس العرض التقديمي لشركة Apple):


المصدر: إنشاء تأثيرات صور وفيديو • استخدام العمق ، Apple ، WWDC18

بشكل عام ، فإن موضوع الهواتف متعددة الخلايا ، ونتيجة لذلك ، موضوع الحصول على عمق من الاستريو على الهواتف المحمولة - يغلب الجماهير دون قتال:


المصدر: "وجدت على هذه الإنترنت الخاص بك"

النتائج الرئيسية:

• عمق من الاستريو - من حيث تكلفة المعدات - أرخص وسيلة للحصول على العمق ، حيث أن الكاميرات الآن غير مكلفة وتستمر في الحصول على أرخص بسرعة. تكمن الصعوبة في أن المعالجة الإضافية تستهلك الكثير من الموارد مقارنة بالطرق الأخرى.
  
• لا يمكنك زيادة قطر العدسة على الهواتف المحمولة ، بينما تنمو الدقة بسرعة. نتيجة لذلك ، يمكن أن يؤدي استخدام كاميرتين أو أكثر إلى تحسين جودة الصورة بشكل ملحوظ ، وتقليل الضوضاء في ظروف الإضاءة المنخفضة ، وزيادة الدقة. نظرًا لأنه يتم اختيار هاتف جوال غالبًا لجودة الكاميرا ، فهذه ميزة إضافية ملموسة. بناء خريطة عمق يذهب بمثابة مكافأة جانبية غير واضحة.
  
• العيوب الرئيسية لعمق البناء من الاستريو:
  
  • ما أن يختفي النسيج أو يصبح أقل تباينًا ، تزداد الضوضاء بحدة في العمق ، ونتيجة لذلك ، حتى في الأجسام العادية ، غالبًا ما يستخدم العمق بشكل سيء (الأخطاء الجسيمة ممكنة).
    
  • أيضًا ، يتم تحديد العمق بشكل رديء على كائنات رقيقة وصغيرة الحجم (أصابع "مقطوعة" ، أو حتى أعمدة ، أعمدة غارقة ، إلخ)
    
• بمجرد أن تسمح لك قوة الحديد ببناء خريطة عمق للفيديو ، سيعطي العمق على الهواتف الذكية قوة دفع قوية لتطوير AR (في مرحلة ما ، بشكل غير متوقع تمامًا للجمهور ، ستصبح جودة تطبيقات AR على جميع طرازات الهواتف الجديدة ، بما في ذلك نماذج الميزانية ، أعلى بشكل مفاجئ وستزداد موجة جديدة) . غير متوقع تماما!
  

الطريقة التالية هي أقل تافهة وشهرة ، ولكن رائع جدا. قابلني!

الطريقة الرابعة: كاميرات عمق المجال الضوئي

لا يزال موضوع العمى المكاني (من الحور المكتمل اللاتيني - الكامل والبصري - البصري) أو الحقول الضوئية غير معروف نسبياً للجماهير ، على الرغم من أن المهنيين بدأوا في دراسته بكثافة كبيرة. تم تخصيص أقسام منفصلة لمقالات حول حقل الضوء في العديد من المؤتمرات الكبرى (ذهل المؤلف من قبل عدد الباحثين الآسيويين في المؤتمر الدولي IEEE المعني بالوسائط المتعددة والمعرض الذين يشاركون عن كثب في هذا الموضوع).

تقول Google Trends إن الولايات المتحدة وأستراليا تتصدران اهتمام "لايت فيلد" ، تليها سنغافورة وكوريا. بريطانيا العظمى روسيا في المرتبة 32 ... سنقوم بتصحيح الأعمال المتراكمة من الهند وجنوب إفريقيا:


المصدر: اتجاهات جوجل

لقد عمل خادمك المتواضع منذ فترة على مقالة مفصلة عن هابري مع وصف مفصل لكيفية عمله وما الذي يقدمه ، لذلك دعونا ننتقل لفترة وجيزة.

تتمثل الفكرة الرئيسية في محاولة الإصلاح في كل نقطة ليس فقط الضوء ، ولكن مجموعة ثنائية الأبعاد من أشعة الضوء ، مما يجعل كل إطار ثلاثي الأبعاد. في الممارسة العملية ، يتم ذلك باستخدام مجموعة من microlenses:


المصدر: plenoptic.inf (مستحسن النقر والنظر بدقة كاملة)

نتيجة لذلك ، لدينا الكثير من الفرص الجديدة ، لكن القرار يتناقص بشكل خطير. بعد أن حلوا الكثير من المشكلات الفنية المعقدة ، قاموا بزيادة الدقة بشكل كبير في Lytro (اشترتها Google) ، حيث تمت زيادة دقة مستشعر الكاميرا في Lytro Cinema إلى 755 ميجابكسل من بيانات RAW ، وكانت تبدو كبيرة مثل الكاميرات الأولى:


المصدر: NAB: تم كشف النقاب عن كاميرا Lytro Light-Field الجديدة التي قد تؤدي إلى إحداث تغييرات كبيرة في التأثيرات المرئية

من المثير للاهتمام أنه حتى المهنيين يقومون بشكل غير صحيح بتقييم انخفاض دقة الكاميرات plenoptic ، لأنهم يقللون من قدرتها على العمل على خوارزميات الدقة الفائقة التي تستعيد حقًا العديد من تفاصيل التحولات الصغيرة للصور في مجال الإضاءة (انتبه إلى إبر الحياكة الضيقة وتقلبات الحركة في الخلفية) :


المصدر: استعادة إطار بلينوبتيك ساذج وذكي وعالي الدقة من تقرير Adobe الفني "Superresolution with Plenoptic Camera 2.0"

كل هذا سيكون ذا أهمية نظرية نسبيًا إذا لم تنفذ Google plenoptics في Pixel 2 من خلال التغطية بعدسة 2 بكسل :


المصدر: مدونة جوجل

نتيجة لذلك ، تم تشكيل صورة مجهرية صغيرة ، مما مكّن من قياس العمق الذي أضافته Google ، المؤمنة بالتقاليد الجديدة ، إلى الشبكات العصبية ، واتضح بشكل عام بشكل عام:




المزيد من الأمثلة للعمق بدقة كاملة في معرض خاص .

ومن المثير للاهتمام ، أن Google تخزن العمق (مثل Huawei وغيرها) في الصورة نفسها ، حتى تتمكن من استخراجها من هناك وانظر:


المصدر: ثلاث ميزات سرية لتطبيق الكاميرا الجديد من Google التي ستفجر عقلك

وبعد ذلك يمكنك تحويل الصورة إلى ثلاثية الأبعاد:


المصدر: ثلاث ميزات سرية لتطبيق الكاميرا الجديد من Google التي ستفجر عقلك

يمكنك تجربة ذلك بشكل مستقل على الموقع http://depthy.me ، حيث يمكنك تحميل صورتك. ومن المثير للاهتمام ، أن الموقع متاح في المصدر ، أي يمكن تحسين المعالجة العميقة ، وهناك العديد من الفرص لذلك ، والآن يتم تطبيق أبسط خوارزميات المعالجة هناك.

النقاط الرئيسية:

• في أحد مؤتمرات Google ، تم الإعلان عن احتمال تغطية 4 بكسل بعدسة. سيؤدي ذلك إلى تقليل الدقة المباشرة للمستشعر ، ولكنه سيؤدي إلى تحسين خريطة العمق بشكل كبير. أولاً ، نظرًا لظهور stereopairs في اتجاهين عموديين ، وثانياً ، يرجع ذلك إلى حقيقة أن قاعدة الستيريو ستزداد بصورة مشروطة بمقدار 1.4 مرة (قطريان). هذا يعني أيضًا تحسنًا ملحوظًا في دقة العمق من مسافة بعيدة.
  
• Plenoptics نفسها (وهي أيضا صورة محسوبة) يجعل من الممكن:
  
  • إن تغيير التركيز وعمق الحقل "بصراحة" بعد التصوير هو أفضل قدرة معروفة لأجهزة الاستشعار على الأرض.
    
  • حساب شكل الفتحة.
    
  • حساب إضاءة المشهد.
    
  • قم بإزاحة نقطة التصوير إلى حد ما ، بما في ذلك تلقي ستيريو (أو إطار متعدد الزوايا) بعدسة واحدة.
    
  • احسب الدقة ، لأنه باستخدام التعقيد الحسابي الثقيل لخوارزميات الدقة الفائقة ، يمكنك بالفعل استعادة الإطار.
    
  • حساب خريطة الشفافية للحدود شفافة.
    
  • وأخيراً ، صمم خريطة عميقة ، وهي مهمة اليوم.
    
• من المحتمل ، عندما تتمكن الكاميرا الرئيسية للهاتف من إنشاء خريطة عمق عالية الجودة في الوقت الحقيقي بالتوازي مع إطلاق النار ، فإن هذا سيخلق ثورة . هذا يعتمد إلى حد كبير على قوة الحوسبة على متن الطائرة (وهذا ما يمنعنا من عمل خرائط عمق دقة أفضل وأعلى في الوقت الحقيقي اليوم). هذا أمر مثير للاهتمام بالنسبة إلى AR ، بالطبع ، ولكن ستكون هناك العديد من الفرص لتغيير الصور.
  

وأخيراً ، ننتقل إلى الأخير في طريقة المراجعة هذه لقياس العمق.

الطريقة الخامسة: الكاميرات الخاصة بتقنيات الليدار

بشكل عام ، فإن أدوات ضبط المسافة بالليزر راسخة في حياتنا ، وهي غير مكلفة وتوفر دقة عالية. أول استخدام ليدرات (من LIDaR - كشف وتحديد الضوء ) ، تم بناءه كحزم من الأجهزة المماثلة التي تدور حول محور أفقي ، استخدمها الجيش لأول مرة ، ثم تم اختبارها في الطيار الآلي للسيارات. لقد ثبت أنها جيدة للغاية هناك ، مما تسبب في زيادة قوية في الاستثمار في المنطقة. في البداية ، تدور الأغطية ، مما يعطي صورة مماثلة عدة مرات في الثانية:


المصدر: مقدمة إلى LIDAR: مستشعر السيارة ذاتية القيادة

كان غير مريح ، لا يمكن الاعتماد عليها بسبب الأجزاء المتحركة ومكلفة للغاية. يقدم توني سيبا في محاضراته بيانات مثيرة للاهتمام حول معدل الانخفاض في تكلفة النجوم. إذا كانت تكلفة الأجهزة الورقية 70 ألف دولار لأول أجهزة Google ذاتية الحكم (على سبيل المثال ، فإن HDL-64E المتخصصة المستخدمة في الأجهزة الأولى تكلف 75 ألف دولار):

المصدر: هذا والتالي من وقوف السيارات إلى الحدائق - بيلفو وتعطيل النقل

ثم ، في الإنتاج الضخم ، تهدد النماذج الجديدة للأجيال القادمة بتخفيض السعر إلى أقل من 1000 دولار بشكل كبير:


يمكن للمرء أن يجادل حول مثال توني (وعد بدء التشغيل ليس هو التكلفة النهائية) ، ولكن هناك طفرة في البحث في هذا المجال ، والزيادة السريعة في الإنتاج ، وظهور منتجات جديدة تمامًا ، وانخفاض عام في الأسعار أمر لا جدال فيه. بعد ذلك بقليل في عام 2017 ، كانت توقعات انخفاض الأسعار على النحو التالي (وستأتي لحظة الحقيقة عندما يتم وضعهم على نطاق واسع في السيارات):


المصدر: LiDAR يكمل استشعار Triumvirate

على وجه الخصوص ، في الآونة الأخيرة نسبيًا ، أطلق العديد من المصنِّعين على الفور ما يسمى ليد الحالة الصلبة ، التي لا تحتوي في الأساس على أجزاء متحركة تظهر موثوقية أعلى بشكل كبير ، خاصةً عند الاهتزاز ، والتكلفة المنخفضة ، إلخ. أوصي بمشاهدة هذا الفيديو ، حيث يتم شرح أجهزتهم بوضوح خلال 84 ثانية:


المصدر: الحالة الصلبة ليدار الاستشعار

ما يهمنا هو أن الحالة الصلبة ليدار تعطي صورة مستطيلة ، أي في الواقع ، يبدأ العمل ككاميرا عمق "طبيعية":


المصدر: شركة Innoviz تتصور إنتاج سيارات ذاتية القيادة على نطاق واسع مع LiDAR ذات الحالة الصلبة

يقدم المثال أعلاه مقطع فيديو بحجم 1024 × 256 تقريبًا و 25 إطارًا في الثانية و 12 بت لكل مكون. سيتم تثبيت هذه الأغطية تحت شواية الغطاء (حيث يسخن الجهاز جيدًا):


المصدر: الحالة الصلبة LiDAR Magna Electronics

كالعادة ، يضيء الصينيون ، الذين هم الآن في المرتبة الأولى في العالم في إنتاج السيارات الكهربائية والذين يهدفون بوضوح إلى الحصول على المركز الأول في العالم في السيارات ذاتية الحكم:


المصدر: علي بابا ، RoboSense تطلق مركبة بدون طيار باستخدام LIDAR الحالة الصلبة

على وجه الخصوص ، تعد تجاربهم على "بكسل" غير مربعة من العمق مثيرة للاهتمام ، إذا قمت بمعالجة مشتركة باستخدام كاميرا RGB ، فيمكنك زيادة الدقة وهذا حل وسط مثير للاهتمام إلى حد ما ("مربع" البيكسلات مهم ، في الواقع ، لشخص واحد):


المصدر: ممس Lidar للمركبات بدون سائق يأخذ خطوة كبيرة أخرى

يتم تثبيت Lidars في مخططات مختلفة حسب تكلفة المجموعة وقوة النظام على متن الطائرة ، والتي سوف تحتاج إلى معالجة جميع هذه البيانات. وفقا لذلك ، فإن الخصائص العامة للطيار الآلي تتغير أيضا. نتيجة لذلك ، ستكون السيارات الأكثر تكلفة أفضل في حمل الطرق المغبرة وأسهل "لتفادي" السيارات التي تدخل السيارات عند التقاطعات على الجانب ، فإن السيارات الرخيصة لن تساعد إلا في تقليل عدد (الاختناقات) المرورية الغبية:


المصدر: الوصف RoboSense RS-LiDAR-M1

لاحظ أنه بالإضافة إلى الحالة الصلبة للأسعار المنخفضة ، فإننا نعدك بمزيد من المناطق التي تتطور فيها النجوم. إن التنبؤ بشيء ما هنا هو مهمة ناكر للجميل ، حيث أن الكثير منها لا يعتمد على الخصائص الهندسية المحتملة للتكنولوجيا ، ولكن ، على سبيل المثال ، على براءات الاختراع. إن العديد من الشركات تعمل بالفعل في Solid-State ، لذلك يبدو الموضوع أكثر واعدة. لكن قول أي شيء عن الباقي سيكون غير عادل:


المصدر: عنق الزجاجة LiDAR 2017 يتسبب في اندفاع الذهب في العصر الحديث

إذا تحدثنا عن lidars ككاميرات ، تجدر الإشارة إلى ميزة أخرى مهمة تكون مهمة عند استخدام lidars الحالة الصلبة. بطبيعتها ، تعمل مثل الكاميرات مع مصراع متحرك منسي بالفعل ، والذي يقدم تشوهات ملحوظة عند تصوير الكائنات المتحركة:


المصدر: ما هو الفرق بين مصراع عالمي (عالمي) ومصراع دوارة ؟

بالنظر إلى أنه على الطريق ، وخاصة على الطريق السريع بسرعة 150 كم / ساعة ، كل شيء يتغير بسرعة كبيرة ، وهذه الميزة من lidars ستشوه الأشياء إلى حد كبير ، بما في ذلك تلك التي تطير بسرعة نحونا ... بما في ذلك العمق ... لاحظ أن الطريقتين السابقتين الحصول على عمق ليست مشكلة من هذا القبيل.


المصدر: الرسوم المتحركة نيس ويكيبيديا تظهر تشويه السيارة

, FPS , , .

, , - . , FPS, . , Lytro Cinema ( — , 300 FPS, ):


: Lytro poised to forever change filmmaking: debuts Cinema prototype and short film at NAB

إذا تم دمج مستشعرين عميقين في كاميرا فيلم ، ثم في أجهزة أخرى (من الهواتف الذكية إلى السيارات) ، يمكن توقع التوزيع الشامل لأجهزة الاستشعار الهجينة لضمان أقصى درجات الجودة.

بمعنى ما ، لا تزال النجوم تدور حول الاستثمارات ، والتي بلغت في السنوات الثلاث الماضية حوالي 1.5 مليار دولار (لحسن الحظ ، يقدر هذا السوق بنحو 10 مليارات في 6 سنوات ويوضح الرسم البياني أدناه كيف نما متوسط ​​حجم المعاملات):


المصدر: للاهتمام مراجعة مارس للاتجاهات في سوق الليدر بواسطة Techcrunch

إن دورة تطوير منتج مبتكر حتى في الأسواق شديدة التنافس تتراوح من 1.5 إلى 2 سنوات ، لذلك سنرى قريباً منتجات مثيرة للاهتمام للغاية. أنها موجودة بالفعل كنماذج.

النقاط الرئيسية:

• الإيجابيات من lidars:
  
  • , ,
    
  • , ,
    
  • ,
    
• :
  
  • ,
    
  • ,
    
  • مصراع التشغيل والحاجة إلى التعويض عن ذلك أثناء المعالجة ،
    
  • تتداخل الطبقات المجاورة مع بعضها البعض ، وهو أمر ليس من السهل تعويضه.
    
• ومع ذلك ، فإننا نلاحظ كيف ، حرفيًا في غضون عامين ، ظهر نوع جديد من الكاميرات العميقة ذات الإمكانات الممتازة وسوق ضخمة محتملة. في السنوات القادمة ، يمكننا أن نتوقع حدوث انخفاض كبير في الأسعار ، بما في ذلك ظهور ليدرات عالمية صغيرة للروبوتات الصناعية.
  

معالجة الفيديو مع العمق

باختصار ، فكر في سبب عدم سهولة التعامل مع العمق.

فيما يلي مثال للبيانات الخام بتعمق من مجموعة جيدة جدًا من كاميرات Intel RealSense . على الأصابع في هذا الفيديو ، يمكنك بسهولة نسبياً "عن طريق العين" تقييم تشغيل الكاميرا ومعالجة الخوارزميات:


المصدر: فيما بعد - مواد المؤلف

المشاكل النموذجية لكاميرات العمق واضحة للعيان:

• البيانات غير مستقرة في القيمة ، بكسل "الضوضاء" في العمق.
  
• على طول الحدود ذات العرض الكبير إلى حد ما ، تكون البيانات أيضًا صاخبة جدًا (لهذا السبب بالذات ، غالبًا ما تخفي قيم العمق على طول الحدود حتى لا تتداخل مع العمل).
  
• حول الرأس ، يمكنك رؤية الكثير من وحدات البكسل "المشي" (على ما يبدو ، القرب من الجدار في الظهر + الشعر يبدأ في التأثير).
  

لكن هذا ليس كل شيء. إذا نظرنا إلى البيانات عن قرب ، فمن الواضح أن البيانات الأعمق "في بعض الأماكن" تتألق "في أقرب البيانات:



هذا لأنه ، لراحة المعالجة ، يتم تقليل الصورة إلى الصورة من كاميرا RGB ، وحيث أن الحدود غير محددة بدقة ، يصبح من الضروري معالجة مثل هذه "التداخلات" ، وإلا تنشأ مشاكل ، مثل "الثغرات" بعمق في الذراع:



عند المعالجة ، هناك الكثير من المشكلات ، على سبيل المثال:

• "التسرب" من العمق من كائن إلى آخر.
  
• عدم الاستقرار من العمق مع مرور الوقت.
  
• التعرج (تشكيل "سلم") ، عندما يؤدي قمع الضوضاء في العمق إلى تقدير قيم العمق:
  

ومع ذلك ، فمن الواضح أن الصورة قد تحسنت بشكل كبير. لاحظ أنه لا يزال بإمكان الخوارزميات الأبطأ تحسين الجودة بشكل ملحوظ.

بشكل عام ، تعتبر المعالجة العميقة للفيديو موضوعًا ضخمًا منفصلاً ، والذي لا يشارك حتى الآن في هذا العدد الكبير من الناس ، ولكنه يكتسب شعبية بسرعة. السوق السابق ، الذي غيرت تماما - هو تحويل الأفلام من 2D إلى 3D. تحسنت نتيجة الإنشاء اليدوي للاستريو من الفيديو ثنائي الأبعاد بسرعة كبيرة ، وأظهرت نتائج أكثر قابلية للتنبؤ بها ، وتسببت في صداع أقل وأقل تكلفة في السينما ثلاثية الأبعاد ، بعد حوالي 100 عام من التصوير (!) ، وبسرعة توقفوا عن التصوير بالكامل تقريبًا وبدأوا في التحويل فقط . حتى أنه كان هناك فنان منفصل - عمق ، وكان مصورو الصور في المدرسة القديمة في حالة صدمة ("ka-ak-a-ak؟"). وكان الدور الرئيسي في هذه الثورة هو التحسن السريع في خوارزميات معالجة الفيديو. ربما في يوم من الأيام سأجد وقتًا للكتابة عن سلسلة منفصلة من المقالات ، لأن مادتي بكميات كبيرة.

يمكن توقع نفس الشيء تقريبًا في المستقبل القريب لكاميرات العمق الخاصة بالروبوتات والهواتف الذكية والسيارات المستقلة.

استيقظ! الثورة قادمة!

بدلا من الاستنتاج

قبل بضع سنوات ، قدم خادمك المتواضع مقارنة بين الطرق المختلفة للحصول على الفيديو بعمق في لوحة واحدة. بشكل عام ، خلال هذا الوقت لم يتغير الوضع. الفصل هنا تعسفي إلى حد ما ، نظرًا لأن المصنعين يدركون جيدًا عيوب التقنيات ويحاولون تعويضها (أحيانًا بنجاح كبير). ومع ذلك ، بشكل عام ، يمكن استخدامه لمقارنة الطرق المختلفة:


المصدر: مواد المؤلف

دعنا نذهب على الطاولة:

• بدقة ، يكون عمق الاستريو في المقدمة ، لكن كل شيء يعتمد إلى حد كبير على المشهد (إذا كان الصوت أحادي اللون ، يكون الأمر عبارة عن أنبوب).
  
• من حيث الدقة ، فإن النجوم خارج المنافسة ، فإن الوضع مع القوالب المفصلية هو الأسوأ ، بالمناسبة.
  
• من خلال تعقيد المعالجة - فقط ToF و Lidars يحصلان على "العمق" مباشرة ، يتطلب الحصول على العمق من الاستريو و plenoptics الكثير من العمليات الحسابية غير البسيطة.
  
• وفقًا لـ FPS ، تعد كاميرات ToF جيدة من الناحية الهيكلية وفي المستقبل القريب ، عندما يتم سحب المكواة ، سيتم اكتشافها بكاميرات استريو (قادرة على توفير ما يصل إلى 300 إطارًا في الثانية). Lidaram حتى الآن حلم فقط.
  
• وفقًا للنتائج في ظروف الإضاءة المنخفضة ، من المتوقع أن تفقد أجهزة الستيريو والبلاينوبتيك.
  
• عند العمل في الهواء الطلق - لا تعمل التوفل وكاميرات الإضاءة المركبة بشكل جيد.
  

في الوقت نفسه ، من المهم فهم الوضع في أسواق محددة جيدًا. على سبيل المثال ، يبدو النهج الحجاجي متخلفًا بوضوح. ومع ذلك ، إذا اتضح أن هذا هو الأفضل بالنسبة إلى AR (وسيصبح هذا واضحًا في الأعوام الثلاثة إلى الأربعة القادمة) ، فسيأخذ مكانه الصحيح في كل هاتف وجهاز لوحي. يُرى أيضًا أن ليدرات الحالة الصلبة تبدو الأفضل (الأكثر خضرة) ، ولكن هذه هي التكنولوجيا الأصغر سناً ، وهذه هي مخاطرها الخاصة ، ولا سيما براءات الاختراع (هناك عدد كبير من براءات الاختراع الجديدة التي لن تنتهي صلاحيتها قريبًا):

المصدر: LiDAR: نظرة عامة على مشهد البراءات

ومع ذلك ، فإننا لا ننسى - سوق أجهزة الاستشعار العميقة للهواتف الذكية مخطط له بمبلغ 6 مليارات دولار العام المقبل ، ولا يمكن أن يكون أقل من 4 ، حيث بلغ العام الماضي أكثر من 3 مليارات. هذا مبلغ ضخم من المال لن يذهب فقط لعائد الاستثمار (للمستثمرين الأكثر نجاحًا) ، ولكن أيضًا لتطوير أجيال جديدة من أجهزة الاستشعار. لا يوجد نمو مماثل في النجوم بعد ، لكن بكل المؤشرات ، سوف يستمر حرفيًا في السنوات الثلاث القادمة. ثم هذه هي عملية عادية مثل الأسيوية ، والتي حدثت بالفعل أكثر من مرة.

المستقبل القريب لكاميرات العمق تبدو مثيرة للاهتمام للغاية!

يجب كسر قرطاج ... الفيديو بأكمله سيكون ثلاثي الأبعاد بحلول نهاية القرن!

ترقبوا!

الذي لم يقرأ - الجزء الأول من النص !