इस पाठ के पहले भाग में , हमने संरचनात्मक प्रकाश और गोल-यात्रा प्रकाश विलंब माप के आधार पर गहराई वाले कैमरों की जांच की, जो मुख्य रूप से अवरक्त रोशनी का उपयोग करते हैं। वे 10 सेंटीमीटर से 10 मीटर की दूरी पर महान घर के अंदर काम करते हैं, और सबसे महत्वपूर्ण बात - बहुत सस्ते हैं। इसलिए स्मार्टफोन में उनके वर्तमान उपयोग की व्यापक लहर। लेकिन ... जैसे ही हम बाहर जाते हैं, बादलों के माध्यम से सूरज भी अवरक्त प्रकाश को रोशन करता है और उनका काम तेजी से बिगड़ता है।

जैसा कि स्टीव ब्लैंक कहते हैं ( एक अन्य कारण के लिए , हालांकि): "यदि आप सफलता चाहते हैं, तो भवन छोड़ दें।" नीचे हम गहराई से काम करने वाले कैमरों के बारे में बात करेंगे। आज यह विषय स्वायत्त कारों द्वारा दृढ़ता से संचालित है, लेकिन, जैसा कि हम देखेंगे, न केवल।


स्रोत: इनोवेटिव एनविज़न मास ने सॉलिड स्टेट LiDAR के साथ सेल्फ-ड्राइविंग कारों का उत्पादन किया

तो, गहराई वाले कैमरे, अर्थात्। वे उपकरण जो वीडियो शूट करते हैं, जिनमें से प्रत्येक पिक्सेल में दृश्य वस्तु की दूरी, सूर्य के प्रकाश में काम करना!

कौन परवाह करता है - कैट में आपका स्वागत है!

आइए, कालजयी क्लासिक्स से शुरू करते हैं ...

विधि 3: स्टीरियो कैमरा + से गहराई

स्टीरियो से गहराई का नक्शा बनाना सर्वविदित है और इसका उपयोग 40 वर्षों से किया जा रहा है। नीचे $ 450 के लिए एक कॉम्पैक्ट कैमरा का एक उदाहरण है, जिसका उपयोग इशारों को नियंत्रित करने के लिए किया जा सकता है, पेशेवर फोटोग्राफी के साथ या वीआर हेलमेट के साथ:


स्रोत

ऐसे कैमरों का मुख्य लाभ यह है कि सूरज की रोशनी न केवल उन्हें परेशान करती है, बल्कि इसके विपरीत, उनके परिणामों को बेहतर बनाती है, और परिणामस्वरूप, सभी प्रकार के सड़क मामलों के लिए ऐसे कैमरों का सक्रिय उपयोग, उदाहरण के लिए, एक जोड़े में एक पुराने किले के तीन आयामी मॉडल को शूट करने का एक शानदार उदाहरण है:


जेडईडी कैमरे के सड़क उपयोग का एक उदाहरण

स्टीरियो से गहराई के निर्माण का एक नए स्तर पर अनुवाद करने में ध्यान देने योग्य धन, निश्चित रूप से स्वायत्त कारों के विषय से प्रभावित था। गहराई के वीडियो के निर्माण के 5 तरीकों में से केवल दो - यह और अगला (स्टीरियो और प्लेनोप्टिक्स) सूर्य के साथ हस्तक्षेप नहीं करते हैं और पड़ोसी कारों के साथ हस्तक्षेप नहीं करते हैं। इसी समय, प्लेनोप्टिक्स लंबी दूरी पर कई गुना अधिक महंगी और कम सटीक होती है। यह वैसे भी हो सकता है, पूर्वानुमान लगाना मुश्किल है, लेकिन इस मामले में यह एलोन मस्क के साथ सहमत होने के लायक है - सभी 5 तरीकों में से स्टीरियो सबसे अच्छी संभावनाएं हैं। और वर्तमान परिणाम बहुत उत्साहजनक हैं:


स्रोत: स्टीरियो कैमरा के साथ बड़े पैमाने पर प्रत्यक्ष SLAM

लेकिन यह दिलचस्प है कि ऐसा लगता है कि मानव रहित वाहन (जिनमें से कुछ अब तक उत्पादित किए गए हैं), लेकिन बहुत अधिक बड़े पैमाने पर उपकरण, जहां एक स्टीरियो डेप्थ मैप बनाया जा रहा है, स्टीरियो से गहराई के निर्माण के विकास पर और भी अधिक प्रभाव पड़ेगा, अर्थात् ... यह सही है! स्मार्टफोन!

तीन साल पहले, बस "दो-आंख वाले" स्मार्टफोन का उछाल आया था, जिसमें शाब्दिक रूप से सभी ब्रांड नोट किए गए थे, क्योंकि एक कैमरा के साथ ली गई तस्वीरों की गुणवत्ता और दो अलग-अलग रूप से ली गई तस्वीरों की गुणवत्ता में नाटकीय रूप से वृद्धि हुई थी, लेकिन स्मार्टफोन की कीमत बढ़ाने के दृष्टिकोण से यह इतना महत्वपूर्ण नहीं था:



इसके अलावा, पिछले साल यह प्रक्रिया सक्रिय रूप से और भी आगे बढ़ गई: “क्या आपके स्मार्टफोन में 2 कैमरे हैं? बेकार! मेरे पास तीन चार हैं !!! ”:


स्रोत: सैमसंग गैलेक्सी ए 8 और ए 9

पहले भाग में छह आंखों वाले भविष्य के सोनी का उल्लेख किया गया था। सामान्य तौर पर, बहु-आंखों वाले स्मार्टफोन निर्माताओं के बीच काफी लोकप्रियता हासिल कर रहे हैं।

इस घटना के मूल कारण सरल हैं:

• कैमरा फोन का रिज़ॉल्यूशन बढ़ रहा है, और लेंस का आकार छोटा है। परिणामस्वरूप, कई चालों के बावजूद, शोर का स्तर बढ़ता है और गुणवत्ता घट जाती है, खासकर जब अंधेरे में शूटिंग होती है।
  
• इसके अलावा, दूसरे कैमरे पर, हम मैट्रिक्स से तथाकथित बायर फिल्टर को हटा सकते हैं, अर्थात। एक कैमरा ब्लैक एंड व्हाइट और दूसरा कलर होगा। इससे श्वेत-श्याम संवेदनशीलता लगभग 3 गुना बढ़ जाती है। यानी 2 कैमरों की संवेदनशीलता सशर्त रूप से 2 नहीं, बल्कि 4 बार (!) बढ़ती है। कई बारीकियाँ हैं, लेकिन संवेदनशीलता में वृद्धि वास्तव में आंख से स्पष्ट रूप से दिखाई देती है।
  
• अन्य बातों के अलावा, जब एक स्टीरियो जोड़ी दिखाई देती है, तो हमारे पास प्रोग्राम की गहराई से फ़ील्ड की गहराई को बदलने का अवसर होता है, अर्थात। पृष्ठभूमि को धुंधला करें, जिसमें से कई तस्वीरें काफी लाभान्वित करती हैं (हमने इसके बारे में यहां दूसरी छमाही में लिखा था)। नए स्मार्टफोन मॉडल का यह विकल्प बहुत जल्दी लोकप्रिय हो गया।
  
• कैमरों की संख्या में वृद्धि के साथ, अन्य लेंसों का उपयोग करना भी संभव है - अधिक चौड़े कोण (शॉर्ट-फ़ोकस), और, इसके विपरीत, लंबे समय तक फ़ोकस, जो "वस्तुओं के पास" आने पर गुणवत्ता में काफी सुधार कर सकता है।
  
• दिलचस्प है, कैमरों की संख्या में वृद्धि हमें एक दुर्लभ प्रकाश क्षेत्र के विषय के करीब लाती है, जिसमें इसकी बहुत सारी विशेषताएं और फायदे हैं, हालांकि, यह एक अलग कहानी है।
  
• हम यह भी ध्यान देते हैं कि कैमरों की संख्या बढ़ाने से आप संकल्प वसूली विधियों द्वारा संकल्प को बढ़ा सकते हैं।
  

सामान्य तौर पर, इतने सारे प्लसस होते हैं कि जब लोगों को उनके बारे में पता चलता है, तो वे आश्चर्य करना शुरू कर देते हैं कि कम से कम 2 कैमरे लंबे समय तक सेट क्यों नहीं किए गए हैं।

और फिर यह पता चला कि सब कुछ इतना सरल नहीं है। छवि को बेहतर बनाने के लिए सार्थक रूप से अतिरिक्त कैमरों का उपयोग करने के लिए (और न केवल एक अलग लेंस वाले कैमरे पर स्विच करने के लिए), हम एक तथाकथित असमानता मानचित्र बनाने के लिए बाध्य हैं, जो सीधे गहराई के नक्शे में बदल जाता है। और यह एक बहुत ही गैर-तुच्छ कार्य है, जिसके समाधान के लिए स्मार्टफ़ोन की शक्ति बस आ गई। और अब भी, गहराई के नक्शे अक्सर संदिग्ध गुणवत्ता के हैं। यही है, सटीक मैच से पहले "पिक्सेल पर दाईं ओर चित्र पिक्सेल पर बाईं ओर" अभी भी जीवित रहने की आवश्यकता है। उदाहरण के लिए, iPhone के लिए गहराई के नक्शे के वास्तविक उदाहरण हैं:


स्रोत: iPhone XS और XR गहराई मानचित्र तुलना

आंख से भी, बड़े पैमाने पर समस्याएं पृष्ठभूमि पर स्पष्ट रूप से दिखाई देती हैं, सीमाओं पर, मैं पारभासी बालों के बारे में चुप हूं। इसलिए कई समस्याएं हैं जो एक काले और सफेद कैमरे से रंग को एक रंग में स्थानांतरित करते समय और आगे की प्रक्रिया के दौरान दोनों को उत्पन्न करती हैं।

उदाहरण के लिए, Apple की "फोटो और वीडियो प्रभाव का उपयोग करते हुए निर्माण" पर एक रिपोर्ट से एक बहुत अच्छा उदाहरण है:


स्रोत: फोटो और वीडियो प्रभाव बनाना • गहराई का उपयोग करना, Apple, WWDC18

आप स्पष्ट रूप से देख सकते हैं कि बालों के नीचे की गहराई कितनी छोटी है, और वास्तव में किसी भी अधिक या कम समान पृष्ठभूमि के खिलाफ है, लेकिन इससे भी महत्वपूर्ण बात यह है कि सही मैटिंग मैप पर कॉलर पृष्ठभूमि में चला गया (अर्थात यह धुंधला हो जाएगा)। एक अन्य समस्या गहराई का वास्तविक रिज़ॉल्यूशन है और मैटिंग मैप छवि रिज़ॉल्यूशन की तुलना में काफी कम है, जो प्रसंस्करण के दौरान गुणवत्ता को भी प्रभावित करता है:



हालाँकि, यह सब वृद्धि की समस्या है। अगर 4 साल पहले वीडियो पर कोई गंभीर प्रभाव का कोई सवाल ही नहीं था, तो फोन केवल "उन्हें खींच नहीं" था, लेकिन आज गहराई के साथ वीडियो प्रसंस्करण शीर्ष सीरियल फोन पर ही दिखाया गया है (यह Apple द्वारा उसी प्रस्तुति में था):


स्रोत: फोटो और वीडियो प्रभाव बनाना • गहराई का उपयोग करना, Apple, WWDC18

सामान्य तौर पर, मल्टी-मल्टी-सेल फोन का विषय, और, परिणामस्वरूप, मोबाइल फोन पर स्टीरियो से गहराई प्राप्त करने का विषय - एक लड़ाई के बिना जनता को जीतता है:


स्रोत: "अपने इंटरनेट पर इन पाया"

मुख्य निष्कर्ष:

• स्टीरियो से गहराई - उपकरणों की लागत के संदर्भ में - गहराई प्राप्त करने का सबसे सस्ता तरीका, क्योंकि कैमरे अब सस्ते हैं और जल्दी से सस्ता हो रहे हैं। कठिनाई यह है कि आगे की प्रक्रिया अन्य तरीकों की तुलना में अधिक संसाधन-गहन है।
  
• मोबाइल फोन पर आप लेंस का व्यास नहीं बढ़ा सकते हैं, जबकि संकल्प तेजी से बढ़ रहा है। नतीजतन, दो या दो से अधिक कैमरों के उपयोग से फोटो की गुणवत्ता में काफी सुधार हो सकता है, कम रोशनी की स्थिति में शोर कम हो सकता है, और संकल्प बढ़ सकता है। चूंकि आज एक मोबाइल फोन अक्सर कैमरे की गुणवत्ता के लिए चुना जाता है, इसलिए यह एक बहुत ही ठोस है। गहराई का नक्शा बनाना एक अगोचर साइड बोनस के रूप में जाता है।
  
• स्टीरियो से गहराई बनाने का मुख्य नुकसान:
  
  • जैसे ही बनावट गायब हो जाती है या बस कम विषम हो जाता है, शोर गहराई में तेजी से बढ़ जाता है, परिणामस्वरूप, यहां तक ​​कि सादे वस्तुओं पर, गहराई अक्सर खराब होती है (गंभीर त्रुटियां संभव हैं)।
    
  • इसके अलावा, गहराई को पतले और छोटे आकार की वस्तुओं ("कट ऑफ" उंगलियों, या यहां तक ​​कि हाथ, डूबने वाले कॉलम, आदि) पर खराब तरीके से निर्धारित किया जाता है।
    
• जैसे ही लोहे की शक्ति आपको वीडियो के लिए एक गहन मानचित्र बनाने की अनुमति देती है, स्मार्टफ़ोन पर गहराई एआर के विकास के लिए एक शक्तिशाली प्रेरणा देगी (कुछ बिंदु पर, जनता के लिए पूरी तरह से अप्रत्याशित रूप से, बजट वाले सहित सभी नए फोन मॉडल पर एआर अनुप्रयोगों की गुणवत्ता अचानक ध्यान देने योग्य हो जाएगी और एक नई लहर बन जाएगी) । पूरी तरह से अप्रत्याशित!
  

अगली विधि कम तुच्छ और प्रसिद्ध है, लेकिन बहुत शांत है। मुझसे मिलो!

विधि 4: लाइट फील्ड डेप्थ कैमरा

प्लेनोप्टिक्स का विषय (लैटिन प्लेनस से - पूर्ण और ऑप्टिको - दृश्य) या प्रकाश क्षेत्र अभी भी अपेक्षाकृत खराब रूप से जनता के लिए जाना जाता है, हालांकि पेशेवरों ने बहुत घनीभूत रूप से इससे निपटना शुरू किया। कई शीर्ष सम्मेलनों में लाइट फील्ड पर लेखों के लिए अलग-अलग खंड आवंटित किए गए हैं (लेखक कभी मल्टीमीडिया और एक्सपो में आईईईई अंतर्राष्ट्रीय सम्मेलन में एशियाई शोधकर्ताओं की संख्या से टकरा गया था जो इस विषय में निकटता से जुड़े हुए हैं)।

Google रुझानों का कहना है कि संयुक्त राज्य अमेरिका, ऑस्ट्रेलिया लाइट फील्ड में रुचि रखते हैं, इसके बाद सिंगापुर और कोरिया हैं। ग्रेट ब्रिटेन रूस 32 वें स्थान पर है ... हम भारत और दक्षिण अफ्रीका के बैकलॉग को सही करेंगे:


स्रोत: Google रुझान

आपके विनम्र सेवक ने कुछ समय पहले Habré पर एक विस्तृत लेख दिया था कि यह कैसे काम करता है और क्या देता है, इसका विस्तृत विवरण है, तो आइए संक्षेप में आगे बढ़ते हैं।

मुख्य विचार प्रत्येक बिंदु पर न केवल प्रकाश को ठीक करने की कोशिश करना है, बल्कि प्रकाश किरणों का एक दो-आयामी सरणी है, जिससे प्रत्येक फ्रेम को चार-आयामी बनाया जाता है। व्यवहार में, यह microlenses की एक सरणी का उपयोग करके किया जाता है:


स्रोत: plenoptic.inf (पूर्ण संकल्प में क्लिक करने और देखने के लिए अनुशंसित)

परिणामस्वरूप, हमारे पास बहुत सारे नए अवसर हैं , लेकिन संकल्प गंभीरता से गिर रहा है। बहुत सी जटिल तकनीकी समस्याओं को हल करने के बाद, उन्होंने मूल रूप से लिटरो (Google द्वारा खरीदे गए) पर रिज़ॉल्यूशन बढ़ा दिया, जहाँ लिटरो सिनेमा में कैमरा सेंसर के रिज़ॉल्यूशन को 755 मेगापिक्सेल RAW डेटा तक बढ़ा दिया गया था, और यह पहले कैमरों की तरह भारी दिख रहा था:


स्रोत: NAB: नया लिटरो लाइट-फील्ड कैमरा जो विजुअल इफेक्ट्स के काम में बड़ा बदलाव ला सकता है

यह दिलचस्प है कि यहां तक ​​कि पेशेवर भी नियमित रूप से प्लेनोप्टिक कैमरों के रिज़ॉल्यूशन ड्रॉप का गलत तरीके से आकलन करते हैं, क्योंकि वे इस बात को कम आंकते हैं कि वे सुपर रिज़ॉल्यूशन एल्गोरिदम पर कितनी अच्छी तरह काम कर सकते हैं, जो वास्तव में प्रकाश क्षेत्र में छवि माइक्रो-शिफ्ट के कई विवरणों को बहाल करते हैं (पृष्ठभूमि में धुंधली बुनाई सुइयों और चलती स्विंग पर ध्यान दें) :


स्रोत: एडोब तकनीकी रिपोर्ट से उत्कृष्ट , स्मार्ट और सुपर रिज़ॉल्यूशन प्लेनोप्टिक फ्रेम बहाली "प्लेनोप्टिक कैमरा 2.0 के साथ सुपरसेक्शन"

यह सब अपेक्षाकृत सैद्धांतिक हित का होगा यदि Google ने पिक्सेल 2 में लेंस 2 पिक्सल के साथ कवर करके प्लेनोप्टिक्स को लागू नहीं किया:


स्रोत: एआई गूगल ब्लॉग

नतीजतन, एक माइक्रो स्टीरियोपेयर का गठन हुआ, जिसने Google को नई परंपराओं के प्रति आस्थावान, तंत्रिका नेटवर्क को जोड़ने के लिए गहराई को मापना संभव बना दिया और यह आम तौर पर उल्लेखनीय रूप से बदल गया:




एक विशेष गैलरी में पूर्ण संकल्प में गहराई के अधिक उदाहरण।

दिलचस्प बात यह है कि गहराई को Google द्वारा (जैसे Huawei, और अन्य) छवि में संग्रहीत किया गया है, इसलिए आप इसे वहां से निकाल सकते हैं और देख सकते हैं:


स्रोत: Google के नए कैमरा ऐप की तीन गुप्त विशेषताएं जो आपके दिमाग को उड़ा देंगी

और फिर आप फोटो को त्रि-आयामी में बदल सकते हैं:


स्रोत: Google के नए कैमरा ऐप की तीन गुप्त विशेषताएं जो आपके दिमाग को उड़ा देंगी

आप स्वतंत्र रूप से इस साइट http://depthy.me पर प्रयोग कर सकते हैं, जहां आप अपनी तस्वीर अपलोड कर सकते हैं। दिलचस्प है, साइट स्रोत में उपलब्ध है , अर्थात्। गहराई प्रसंस्करण में सुधार किया जा सकता है, इसके लिए कई अवसर हैं, अब सबसे सरल प्रसंस्करण एल्गोरिदम वहां लागू होते हैं।

मुख्य बिंदु:

• Google के एक सम्मेलन में, यह घोषणा की गई थी कि, शायद, 4 पिक्सेल एक लेंस के साथ कवर किए जाएंगे। यह सेंसर के प्रत्यक्ष रिज़ॉल्यूशन को कम करेगा, लेकिन गहराई से मानचित्र में नाटकीय रूप से सुधार करेगा। सबसे पहले, दो लंबवत दिशाओं में स्टीरियोपेयर की उपस्थिति के कारण, और दूसरी बात, इस तथ्य के कारण कि स्टीरियो बेस सशर्त रूप से 1.4 गुना (दो विकर्ण) बढ़ेगा। यह भी दूरी पर गहराई सटीकता में एक उल्लेखनीय सुधार का मतलब है।
  
• प्लेनोप्टिक्स स्वयं (यह भी एक परिकलित फोटोग्राफ है) इससे संभव होता है:
  
  • "ईमानदारी से" शूटिंग के बाद क्षेत्र का फोकस और गहराई बदलना प्लेनोप्टिक सेंसर की सबसे अच्छी ज्ञात क्षमता है।
    
  • एपर्चर आकार की गणना करें।
    
  • गणना दृश्य प्रकाश।
    
  • शूटिंग बिंदु को कुछ हद तक स्थानांतरित करें, जिसमें एक लेंस के साथ स्टीरियो (या बहु-कोण फ्रेम) प्राप्त करना शामिल है।
    
  • रिज़ॉल्यूशन की गणना करें, क्योंकि सुपर रिज़ॉल्यूशन एल्गोरिदम की भारी कम्प्यूटेशनल जटिलता का उपयोग करके, आप वास्तव में फ्रेम को पुनर्स्थापित कर सकते हैं।
    
  • पारभासी सीमाओं के लिए एक पारदर्शिता मानचित्र की गणना करें।
    
  • और अंत में, एक गहरा नक्शा बनाएं, जो आज महत्वपूर्ण है।
    
• संभावित रूप से, जब फोन का मुख्य कैमरा शूटिंग के साथ समानांतर में वास्तविक समय में एक उच्च-गुणवत्ता की गहराई का नक्शा बना सकता है, तो यह एक क्रांति पैदा करेगा । यह काफी हद तक बोर्ड पर कंप्यूटिंग शक्ति पर निर्भर करता है (यह वही है जो हमें वास्तविक समय में बेहतर और उच्च रिज़ॉल्यूशन की गहराई वाले नक्शे बनाने से रोकता है)। एआर के लिए यह सबसे दिलचस्प है, ज़ाहिर है, लेकिन फ़ोटो बदलने के कई अवसर होंगे।
  

और अंत में, हम गहराई मापने के इस समीक्षा पद्धति में अंतिम पर चलते हैं।

विधि 5: लिडार प्रौद्योगिकियों पर कैमरे

सामान्य तौर पर, लेजर रेंजफाइंडर हमारे जीवन में दृढ़ता से भरे होते हैं, सस्ते होते हैं और उच्च सटीकता प्रदान करते हैं। पहले लिडर्स (एलडीएआरआर - लाइट आइडेंटिफिकेशन डिटेक्शन एंड रेंजिंग से ), एक क्षैतिज अक्ष के चारों ओर घूमने वाले समान उपकरणों के बंडलों के रूप में बनाया गया था, जिन्हें पहले सैन्य द्वारा इस्तेमाल किया गया था, और फिर कारों के ऑटोपिलॉट्स में परीक्षण किया गया था। वे वहां काफी अच्छे साबित हुए, जिससे क्षेत्र में निवेश में जोरदार उछाल आया। प्रारंभ में, लिडर्स को घुमाया गया, प्रति सेकंड कई बार एक समान चित्र दिया गया:


स्रोत: LIDAR का एक परिचय: प्रमुख स्व-ड्राइविंग कार सेंसर

यह चलती भागों के कारण असुविधाजनक, अविश्वसनीय था और काफी महंगा था। टोनी सेबा अपने व्याख्यान में लिडार की लागत में कमी की दर पर दिलचस्प डेटा प्रदान करता है। यदि पहले स्वायत्त Google मशीनों के लिए लिडार की लागत $ 70 हजार थी (उदाहरण के लिए, पहली मशीनों पर इस्तेमाल किया जाने वाला विशेष HDL-64E 75 हजार की लागत):

स्रोत: यह और अगला पार्किंग से पार्कों तक -Bellevue और परिवहन का व्यवधान

फिर, बड़े पैमाने पर उत्पादन में, अगली पीढ़ी के नए मॉडल $ 1000 से कम कीमत को कम करने की धमकी देते हैं:


टोनी के उदाहरण के बारे में एक तर्क दे सकता है (स्टार्टअप का वादा अंतिम लागत नहीं है), लेकिन यह है कि इस क्षेत्र में अनुसंधान में उछाल है, उत्पादन में तेजी से वृद्धि, पूरी तरह से नए उत्पादों की उपस्थिति और कीमतों में सामान्य कमी निर्विवाद है। 2017 में थोड़ी देर बाद, कीमतों में गिरावट का पूर्वानुमान इस प्रकार था (और सच्चाई का क्षण तब आएगा जब वे बड़े पैमाने पर कारों में डाल दिए जाएंगे):


स्रोत: LiDAR सस्पेंसिंग ट्राइमुविरेट

विशेष रूप से, अपेक्षाकृत हाल ही में, कई निर्माताओं ने तथाकथित सॉलिड स्टेट लिडार को तुरंत लॉन्च किया, जिसमें मूल रूप से कोई चलते हुए हिस्से नहीं होते हैं, जो मौलिक रूप से उच्च विश्वसनीयता दिखाते हैं, खासकर जब मिलाते हुए, कम लागत , आदि। मैं इस वीडियो को देखने की सलाह देता हूं, जहां उनकी डिवाइस को 84 सेकंड में बहुत स्पष्ट रूप से समझाया गया है:


स्रोत: सॉलिड स्टेट लिडार सेंसर

हमारे लिए जो महत्वपूर्ण है वह यह है कि सॉलिड स्टेट लिडार एक आयताकार चित्र देता है, अर्थात्। वास्तव में, यह "सामान्य" गहराई वाले कैमरे की तरह काम करना शुरू करता है:


स्रोत: इनोवेटिव एनविज़न मास ने सॉलिड स्टेट LiDAR के साथ सेल्फ-ड्राइविंग कारों का उत्पादन किया

ऊपर दिया गया उदाहरण लगभग 1024x256, 25 FPS, 12 बिट प्रति घटक का एक वीडियो देता है। इस तरह के लिडर्स को हुड ग्रिल के नीचे लगाया जाएगा (जैसा कि डिवाइस अच्छी तरह से गर्म होता है):


स्रोत: सॉलिड-स्टेट LiDAR मैग्ना इलेक्ट्रॉनिक्स

हमेशा की तरह, चीनी जलाए जाते हैं, जो अब इलेक्ट्रिक वाहनों के उत्पादन में दुनिया में पहले स्थान पर हैं और जो स्वायत्त कारों में दुनिया में पहले स्थान के लिए स्पष्ट रूप से लक्ष्य कर रहे हैं:


स्रोत: अलीबाबा, RoboSense ठोस राज्य LIDAR का उपयोग मानव रहित वाहन का शुभारंभ

विशेष रूप से, गहराई के एक गैर-वर्ग "पिक्सेल" के साथ उनके प्रयोग दिलचस्प हैं, यदि आप एक आरजीबी कैमरे के साथ संयुक्त प्रसंस्करण करते हैं, तो आप रिज़ॉल्यूशन बढ़ा सकते हैं और यह एक दिलचस्प समझौता है (पिक्सेल का "वर्ग" महत्वपूर्ण है, वास्तव में, केवल एक व्यक्ति के लिए):


स्रोत: ड्राइवरलेस वाहनों के लिए एमईएमएस लिडार एक और बड़ा कदम है

किट की लागत और ऑन-बोर्ड सिस्टम की शक्ति के आधार पर विभिन्न योजनाओं में लिडार माउंट किए जाते हैं, जिन्हें सभी डेटा को संसाधित करने की आवश्यकता होती है। तदनुसार, ऑटोपायलट की सामान्य विशेषताएं भी बदलती हैं। नतीजतन, अधिक महंगी कारें धूल भरी सड़कों पर ले जाने से बेहतर होंगी और साइड में चौराहों पर कारों में प्रवेश करने वाली "चकमा" कारों के लिए आसान, सस्ते वाले केवल (कई) बेवकूफ ट्रैफिक जाम की संख्या को कम करने में मदद करेंगे:


स्रोत: विवरण RoboSense RS-LiDAR-M1

ध्यान दें कि सॉलिड-स्टेट कम कीमतों के अलावा कुछ और क्षेत्रों का वादा करता है जिसमें लिडार विकसित हो रहे हैं। यहां कुछ का अनुमान लगाने के लिए धन्यवाद का काम है, क्योंकि बहुत ज्यादा प्रौद्योगिकी के संभावित इंजीनियरिंग विशेषताओं पर नहीं, बल्कि, उदाहरण के लिए, पेटेंट पर निर्भर करेगा। यह सिर्फ इतना है कि कई कंपनियां पहले से ही सॉलिड-स्टेट में लगी हुई हैं, इसलिए यह विषय सबसे अधिक आशाजनक है। लेकिन बाकी के बारे में कुछ भी कहना अनुचित होगा:


स्रोत: यह 2017 LiDAR टोंटी एक आधुनिक दिन गोल्ड रश के कारण है

यदि हम लिडार के बारे में कैमरों के रूप में बात करते हैं, तो यह एक और महत्वपूर्ण विशेषता का उल्लेख करने योग्य है जो ठोस अवस्था के लिडार का उपयोग करते समय महत्वपूर्ण है। अपनी प्रकृति के अनुसार, वे पहले से ही भूल गए शटर के साथ कैमरों की तरह काम करते हैं, जो चलती वस्तुओं को शूट करते समय ध्यान देने योग्य विकृतियों का परिचय देते हैं:


स्रोत: एक वैश्विक (वैश्विक) शटर और एक रोलिंग शटर के बीच अंतर क्या है ?

यह देखते हुए कि सड़क पर, विशेष रूप से 150 किमी / घंटा की गति से ऑटोबान पर, सब कुछ काफी तेज़ी से बदलता है, लिडार की यह विशेषता वस्तुओं को बहुत विकृत कर देगी, जिनमें वे तेजी से हमारी ओर उड़ रहे हैं ... गहराई में शामिल हैं ... ध्यान दें कि पिछले दो तरीके गहराई प्राप्त करना ऐसी कोई समस्या नहीं है।


स्रोत: कार विकृति दिखाते हुए नाइस विकिपीडिया एनीमेशन

, FPS , , .

, , - . , FPS, . , Lytro Cinema ( — , 300 FPS, ):


: Lytro poised to forever change filmmaking: debuts Cinema prototype and short film at NAB

, ( ) , .

- — , 1.5 ( 10 6 , ):


: Techcrunch

— 1.5-2 , . .

:

• :
  
  • , ,
    
  • , ,
    
  • ,
    
• :
  
  • ,
    
  • अपेक्षाकृत कम फ्रेम दर
    
  • चल रहे शटर और प्रसंस्करण के दौरान इसके लिए क्षतिपूर्ति करने की आवश्यकता,
    
  • पास के लिडार एक दूसरे के साथ हस्तक्षेप करते हैं, जिसकी भरपाई करना इतना आसान नहीं है।
    
• फिर भी, हम देख रहे हैं कि कैसे, 2 वर्षों में वस्तुतः उत्कृष्ट संभावनाओं के साथ एक नए तरह के गहराई वाले कैमरे और एक विशाल संभावित बाजार दिखाई दिया है। आने वाले वर्षों में हम औद्योगिक रोबोटों के लिए छोटे सार्वभौमिक लिडार की कीमतों सहित कीमतों में गंभीर कमी की उम्मीद कर सकते हैं।
  

गहराई के साथ वीडियो प्रसंस्करण

संक्षेप में, विचार करें कि गहराई को संभालना इतना आसान क्यों नहीं है।

नीचे इंटेल RealSense कैमरों की एक बहुत अच्छी लाइन से गहराई में कच्चे डेटा का एक उदाहरण है। इस वीडियो में उंगलियों पर, आप अपेक्षाकृत आसानी से "आंख से" कैमरे के संचालन और प्रसंस्करण एल्गोरिदम का मूल्यांकन कर सकते हैं:


स्रोत: इसके बाद - लेखक की सामग्री

गहराई वाले कैमरों की विशिष्ट समस्याएं स्पष्ट रूप से दिखाई देती हैं:

• डेटा मूल्य में अस्थिर है, पिक्सेल "शोर" गहराई से।
  
• एक बड़ी चौड़ाई से अधिक की सीमाओं के साथ, डेटा भी बहुत शोर है (इस कारण से, सीमाओं के साथ गहराई का मान अक्सर काम के साथ हस्तक्षेप नहीं करने के लिए मुखौटा होता है)।
  
• सिर के चारों ओर आप बहुत सारे "वॉकिंग" पिक्सल्स देख सकते हैं (जाहिरा तौर पर, बैक + हेयर पर दीवार से निकटता प्रभावित होने लगती है)।
  

लेकिन यह सब नहीं है। यदि हम डेटा को करीब से देखते हैं, तो यह स्पष्ट है कि कुछ स्थानों में गहरा डेटा "करीबियों के माध्यम से" चमकता है:



ऐसा इसलिए है, क्योंकि प्रसंस्करण की सुविधा के लिए, छवि को आरजीबी कैमरे से छवि के लिए कम किया जाता है, और चूंकि सीमाएं सटीक रूप से निर्धारित नहीं की जाती हैं, इसलिए विशेष रूप से "ओवरलैप्स" की प्रक्रिया करना आवश्यक हो जाता है, अन्यथा समस्याएं पैदा होती हैं, जैसे कि बांह की गहराई में "छेद"।



जब प्रसंस्करण, बहुत सारी समस्याएं हैं, उदाहरण के लिए:

• एक वस्तु से दूसरी वस्तु में गहराई का "रिसाव"।
  
• समय के साथ गहराई की अस्थिरता।
  
• अलियासिंग (एक "सीढ़ी" का गठन), जब गहराई में शोर के दमन से गहराई के मूल्यों का विवेक होता है:
  

फिर भी, यह स्पष्ट है कि तस्वीर में बहुत सुधार हुआ है। ध्यान दें कि धीमी एल्गोरिदम अभी भी गुणवत्ता में काफी सुधार कर सकती है।

सामान्य तौर पर, गहराई वीडियो प्रसंस्करण एक बहुत बड़ा विषय है, जो अब तक बहुत सारे लोगों में नहीं है, लेकिन जो तेजी से लोकप्रियता हासिल कर रहा है। पिछला बाजार, जिसे उसने पूरी तरह से बदल दिया है - 2 डी से 3 डी तक फिल्मों का रूपांतरण है। 2D वीडियो से स्टीरियो के मैन्युअल निर्माण के परिणाम में इतनी तेज़ी से सुधार हुआ, इतना अधिक अनुमानित परिणाम दिखाई दिया, जिससे सिरदर्द कम और लागत कम हो गई कि 3 डी सिनेमा में, लगभग 100 वर्षों की शूटिंग (!) के बाद, बहुत जल्दी उन्होंने शूटिंग पूरी तरह से बंद कर दी और केवल रूपांतरित करना शुरू कर दिया! । यहां तक ​​कि एक अलग विशेषता थी - गहराई वाले कलाकार , और पुराने स्कूल के कट्टरपंथी सदमे में थे ("का-एक-एक-एक?")। और इस क्रांति में मुख्य भूमिका वीडियो प्रसंस्करण एल्गोरिदम के तेजी से सुधार द्वारा निभाई गई थी। शायद किसी दिन मुझे इस लेख की एक अलग श्रृंखला के बारे में लिखने का समय मिलेगा, क्योंकि मेरी सामग्री बड़ी मात्रा में है।

निकट भविष्य में रोबोट, स्मार्टफोन और स्वायत्त कारों के गहन कैमरों से भी ऐसी ही उम्मीद की जा सकती है।

जागो! क्रांति आ रही है!

एक निष्कर्ष के बजाय

कुछ साल पहले, आपके विनम्र सेवक ने एक प्लेट में गहराई के साथ वीडियो प्राप्त करने के लिए विभिन्न तरीकों की तुलना की। सामान्य तौर पर, इस समय के दौरान स्थिति नहीं बदली है। यहां अलगाव अलग से मनमाना है, क्योंकि निर्माता प्रौद्योगिकियों के नुकसान के बारे में अच्छी तरह से जानते हैं और उनके लिए क्षतिपूर्ति करने की कोशिश करते हैं (कभी-कभी बेहद सफलतापूर्वक)। फिर भी, सामान्य तौर पर, इसका उपयोग विभिन्न तरीकों की तुलना करने के लिए किया जा सकता है:


स्रोत: लेखक की सामग्री

चलो मेज पर चलते हैं:

• संकल्प से, स्टीरियो से गहराई का नेतृत्व होता है, लेकिन सब कुछ बहुत कुछ दृश्य पर निर्भर करता है (यदि यह मोनोफोनिक है, तो बात एक पाइप है)।
  
• सटीकता के संदर्भ में , लिडार प्रतिस्पर्धा से परे हैं, प्लेनोप्टिक्स के साथ स्थिति सबसे खराब है।
  
• प्रसंस्करण की जटिलता से - केवल TOF और लिडार को सीधे "गहराई" मिलती है, स्टीरियो और प्लेनोप्टिक्स से गहराई प्राप्त करने के लिए बहुत गैर-तुच्छ गणना की आवश्यकता होती है।
  
• FPS के अनुसार, TOF कैमरे संरचनात्मक रूप से अच्छे हैं और निकट भविष्य में, जब लोहा ऊपर खींचेगा, तो उन्हें स्टीरियो कैमरों (300 एफपीएस तक पहुंचाने में सक्षम) के साथ पकड़ा जाएगा। लिडाराम अब तक केवल सपने देखते हैं।
  
• कम रोशनी की स्थिति में परिणामों के अनुसार, स्टीरियो और प्लेनोप्टिक्स को खोने की उम्मीद है।
  
• बाहर काम करते समय - टीओएफ और संरचित लाइट कैमरे अच्छी तरह से काम नहीं करते हैं।
  

इसी समय, विशिष्ट बाजारों में स्थिति को अच्छी तरह से समझना महत्वपूर्ण है। उदाहरण के लिए, प्लेनोप्टिक दृष्टिकोण स्पष्ट रूप से पिछड़ रहा है। हालांकि, अगर यह एआर के लिए सबसे अच्छा है (और यह अगले 3-4 वर्षों में स्पष्ट हो जाएगा), तो यह हर फोन और टैबलेट में अपना सही स्थान लेगा। यह भी देखा जाता है कि सॉलिड-स्टेट लिडार सबसे अच्छे लगते हैं ("सबसे हरे रंग के"), लेकिन यह सबसे कम उम्र की तकनीक है, और ये उनके अपने जोखिम हैं, मुख्य रूप से पेटेंट वाले (क्षेत्र में बहुत सारे नए पेटेंट हैं जो जल्द ही समाप्त नहीं होंगे):

स्रोत: लिडार: पेटेंट लैंडस्केप का अवलोकन

फिर भी, हम यह नहीं भूलते हैं - स्मार्टफ़ोन के लिए गहराई सेंसर के लिए बाजार अगले साल $ 6 बिलियन में योजनाबद्ध है , और यह 4 से कम नहीं हो सकता है, क्योंकि पिछले साल इसकी मात्रा 3 बिलियन से अधिक थी। यह एक बड़ी धनराशि है जो न केवल निवेश (सबसे सफल निवेशकों) पर वापस जाने के लिए जाएगी, बल्कि सेंसर की नई पीढ़ियों को विकसित करने के लिए भी होगी। लिडार में अभी तक समान वृद्धि नहीं हुई है, लेकिन सभी संकेतों से यह अगले 3 वर्षों में सचमुच बढ़ जाएगा। और फिर यह एक सामान्य हिमस्खलन जैसी घातीय प्रक्रिया है, जो पहले ही एक से अधिक बार हो चुकी है।

गहराई वाले कैमरों का निकट भविष्य बेहद दिलचस्प लगता है!

कार्टेज को तोड़ा जाना चाहिए ... पूरी वीडियो सदी के अंत तक त्रि-आयामी होगी!

देखते रहो!

किसने नहीं पढ़ा है - पाठ का पहला भाग !