हाल ही में, मैंने वर्णन किया, धन्यवाद कि कौन से रोबोट कल MUCH को सोचने के लिए बेहतर शुरू करेंगे ( तंत्रिका नेटवर्क के हार्डवेयर त्वरण के बारे में एक पोस्ट)। आज हम देखेंगे कि रोबोट जल्द ही क्यों देखने के लिए बेहतर होंगे। कुछ स्थितियों में, एक व्यक्ति की तुलना में बहुत बेहतर है।

हम गहराई वाले कैमरों के बारे में बात करेंगे जो वीडियो शूट करते हैं, जिनमें से प्रत्येक पिक्सेल में रंग जमा नहीं होता है, लेकिन इस बिंदु पर ऑब्जेक्ट की दूरी। ऐसे कैमरे 20 से अधिक वर्षों से मौजूद हैं, लेकिन हाल के वर्षों में उनके विकास की गति कई बार बढ़ी है और हम पहले से ही क्रांति के बारे में बात कर सकते हैं। और मल्टी-वेक्टर। निम्नलिखित क्षेत्रों में तेजी से विकास हो रहा है:

• एक कैमरे की संरचित लाइट , या एक संरचनात्मक प्रकाश कैमरा, जब एक प्रोजेक्टर (अक्सर अवरक्त) और एक कैमरा होता है जो प्रोजेक्टर के संरचनात्मक प्रकाश को रिकॉर्ड करता है;
  
• परावर्तित प्रकाश में देरी को मापने के आधार पर उड़ान कैमरों , या कैमरों का समय ;
  
• स्टीरियो कैमरों से गहराई - क्लासिक और, शायद, स्टीरियो से गहराई बनाने की सबसे प्रसिद्ध दिशा;
  
• लाइट फील्ड कैमरा - वे लाइट फील्ड कैमरा या प्लेनोप्टिक कैमरे भी होते हैं, जिनके बारे में एक अलग विस्तृत पोस्ट था ;
  
• और अंत में, लिडार प्रौद्योगिकियों पर आधारित कैमरे, विशेष रूप से ताजा सॉलिड स्टेट लिडार , जो सामान्य लिडरों की तुलना में लगभग 100 गुना अधिक विफलता के बिना काम करते हैं और सामान्य आयताकार चित्र का उत्पादन करते हैं।
  

कौन परवाह करता है कि यह कैसा दिखेगा, साथ ही विभिन्न दृष्टिकोणों की तुलना और उनके वर्तमान और कल के आवेदन - कट के तहत स्वागत!

तो! हम गहराई को मापने के लिए गहराई कक्षों या वास्तव में विभिन्न सिद्धांतों के विकास की मुख्य दिशाओं का विश्लेषण करेंगे। उनके पेशेवरों और विपक्षों के साथ।

विधि 1: संरचित लाइट कैमरा

चलो गहराई को मापने के सबसे सरल, सबसे पुराने और अपेक्षाकृत सस्ते तरीकों में से एक के साथ शुरू करते हैं - संरचित प्रकाश। यह विधि अनिवार्य रूप से तुरंत दिखाई दी, जैसे ही डिजिटल कैमरे दिखाई दिए, अर्थात्। 40 साल पहले और डिजिटल प्रोजेक्टर के आगमन के साथ थोड़ा बाद में बहुत सरल हो गया।

मूल विचार अत्यंत सरल है। हम प्रोजेक्टर के बगल में रखते हैं, जो बनाता है, उदाहरण के लिए, क्षैतिज (और फिर ऊर्ध्वाधर) धारियों और कैमरे के बगल में, जो धारियों के साथ एक तस्वीर लेता है, जैसा कि इस आंकड़े में दिखाया गया है:

स्रोत: ऑटोडेस्क: संरचित लाइट 3 डी स्कैनिंग

चूंकि कैमरा और प्रोजेक्टर एक-दूसरे से ऑफसेट हैं, इसलिए स्ट्रिप्स को विषय के लिए दूरी के अनुपात में भी विस्थापित किया जाएगा। इस विस्थापन को मापकर, हम वस्तु की दूरी की गणना कर सकते हैं:
स्रोत: http://www.vision-systems.com/

वास्तव में, सबसे सस्ता प्रोजेक्टर (और उनकी कीमत 3,000 रूबल से शुरू होती है) और एक स्मार्टफोन, आप अंधेरे कमरे में स्थिर दृश्यों की गहराई को माप सकते हैं:

स्रोत: ऑटोडेस्क: संरचित लाइट 3 डी स्कैनिंग

यह स्पष्ट है कि ऐसा करने पर, कार्यों का एक पूरा गुच्छा हल करना होगा - यह प्रोजेक्टर कैलिब्रेशन, फोन कैमरा कैलिब्रेशन, स्ट्रिप शिफ्ट रिकॉग्निशन, और इसी तरह है, लेकिन ये सभी कार्य प्रोग्रामिंग सीखने वाले उन्नत हाई स्कूल के छात्रों के लिए भी काफी सक्षम हैं।

गहराई को मापने का यह सिद्धांत सबसे व्यापक रूप से ज्ञात हो गया, जब 2010 में, Microsoft ने $ 150 के लिए एमएस किनेक्ट गहराई सेंसर जारी किया, जो उस समय क्रांतिकारी सस्ता था।

स्रोत: कई Kinect सेंसर का उपयोग करके आंशिक रूप से सम्‍मिलित ऑब्जेक्ट पुनर्निर्माण

इस तथ्य के बावजूद कि वास्तव में आईआर प्रोजेक्टर और आईआर कैमरा के साथ गहराई को मापने के अलावा, किनेक्ट ने नियमित आरजीबी वीडियो भी शूट किया, जिसमें शोर में कमी के साथ चार माइक्रोफोन थे और खुद को ऊंचाई पर या नीचे झुकाने वाले व्यक्ति को समायोजित कर सकता था, यह तुरंत अंदर था। डेटा प्रोसेसिंग, जो कंसोल को एक तैयार गहराई मानचित्र को तुरंत जारी करता है:

स्रोत: काइनेट का उपयोग करके प्राकृतिक यूजर इंटरफेस बटन का कार्यान्वयन

कुल मिलाकर, लगभग 35 मिलियन डिवाइस बेचे गए, जिससे किनेक्ट को इतिहास में पहला सामूहिक गहराई वाला कैमरा बना दिया गया। और अगर आप मानते हैं कि इससे पहले निश्चित रूप से गहराई वाले कैमरे थे, लेकिन वे आमतौर पर सैकड़ों में सबसे अधिक बिकते थे और कम से कम परिमाण के एक आदेश को अधिक महंगा बनाते थे - यह एक क्रांति थी जिसने इस क्षेत्र में महान निवेश प्रदान किया था।

सफलता का एक महत्वपूर्ण कारण यह था कि जब तक माइक्रोसॉफ्ट ने Xbox 360 को जारी किया, तब तक पहले से ही कुछ गेम थे जो कि सेंसर के रूप में किनेक्ट का सक्रिय रूप से उपयोग करते थे। टेकऑफ़ तेज थी:


इसके अलावा, Kinect इतिहास में सबसे तेजी से बिकने वाले गैजेट के रूप में गिनीज बुक ऑफ रिकॉर्ड्स में भी प्रवेश करने में सफल रही। सच है, Apple ने जल्द ही Microsoft को इस स्थान से हटा दिया, लेकिन फिर भी। एक नए प्रायोगिक सेंसर के लिए जो इतिहास में सबसे तेजी से बिकने वाला इलेक्ट्रॉनिक उपकरण बनने के लिए मुख्य डिवाइस के अलावा काम करता है, यह केवल एक बड़ी उपलब्धि है:


व्याख्यान देने में, मुझे दर्शकों से पूछना पसंद है कि ये सभी लाखों ग्राहक कहाँ से आते हैं। ये सभी लोग कौन थे?

एक नियम के रूप में, कोई भी अनुमान नहीं लगाता है, लेकिन कभी-कभी, विशेष रूप से अगर दर्शक बड़े और अधिक अनुभवी होते हैं, तो वे सही उत्तर देते हैं: बिक्री अमेरिकी माता-पिता द्वारा संचालित की गई, जिन्होंने खुशी के साथ देखा कि उनके बच्चे कंसोल पर खेल सकते हैं और मोटी लूट के साथ सोफे पर नहीं बैठ सकते हैं, और टीवी के सामने कूद गया। यह एक सफलता थी !!! लाखों माता और पिता अपने बच्चों के लिए एक उपकरण का आदेश देने के लिए दौड़े।

सामान्य तौर पर, जब यह इशारा मान्यता की बात आती है, तो लोग आमतौर पर भोलेपन से मानते हैं कि सिर्फ एक 2 डी कैमरा से डेटा पर्याप्त है। आखिरकार, उन्होंने बहुत सारे खूबसूरत डेमो देखे! वास्तविकता बहुत अधिक गंभीर है। एक कैमरे से 2 डी वीडियो स्ट्रीम से इशारों की पहचान सटीकता और एक कैमरा गहराई से इशारों की मान्यता की सटीकता परिमाण के एक क्रम से भिन्न होती है। एक गहराई वाले कैमरे से, या बल्कि, एक आरजीबी कैमरे से जो एक गहराई वाले कैमरे के साथ संयुक्त है (बाद वाला महत्वपूर्ण है), आप इशारों को अधिक सटीक रूप से और कम लागत पर (भले ही कमरे में अंधेरा हो) पहचान सकते हैं और इससे पहले बड़े पैमाने पर गहराई वाले कैमरे में सफलता मिली है।

उस समय के बारे में किबेर्ट के बारे में हैबर ने बहुत कुछ लिखा, इसलिए बहुत संक्षेप में कि यह कैसे काम करता है।

एक अवरक्त प्रोजेक्टर अंतरिक्ष में एक छद्म-यादृच्छिक सेट देता है, जिसका विस्थापन किसी दिए गए पिक्सेल में गहराई निर्धारित करता है:


स्रोत: डेप्थ सेंसिंग प्लानर स्ट्रक्चर्स: ऑफिस फर्नीचर कॉन्फ़िगरेशन का पता लगाना

कैमरा रिज़ॉल्यूशन को 640x480 के रूप में घोषित किया गया है, लेकिन वास्तव में लगभग 320x240 के आसपास काफी मजबूत फ़िल्टरिंग है और वास्तविक उदाहरणों पर चित्र इस तरह दिखता है (यानी, बहुत डरावना):

स्रोत: कई Kinect सेंसर का उपयोग करके आंशिक रूप से सम्‍मिलित ऑब्जेक्ट पुनर्निर्माण

वस्तुओं से "छाया" स्पष्ट रूप से दिखाई देते हैं, क्योंकि कैमरा और प्रोजेक्टर काफी अलग हैं। यह देखा जा सकता है कि प्रोजेक्टर की कई बिंदुओं की शिफ्ट गहराई की भविष्यवाणी करने के लिए ली गई है। इसके अलावा, तत्काल पड़ोसियों द्वारा फ़िल्टरिंग (कठोर) है, लेकिन फिर भी गहराई का नक्शा काफी शोर है, खासकर सीमाओं पर। यह परिणामी वस्तुओं की सतह पर काफी ध्यान देने योग्य शोर की ओर जाता है, जो अतिरिक्त रूप से और निर्विवाद रूप से चिकना होना चाहिए:

स्रोत: माइक्रोसॉफ्ट के Kinect SDK के लिए J4K जावा लाइब्रेरी

फिर भी, केवल $ 150 ( आज यह पहले से ही $ 69 है , हालांकि यह $ 200 के करीब है , निश्चित रूप से) - और आप गहराई को "देखते हैं"! वास्तव में बहुत सारे सीरियल उत्पाद हैं।

वैसे, इस वर्ष के फरवरी में, एक नए एज़्योर किन्क्ट की घोषणा की गई थी:

स्रोत: Microsoft Azure Kinect की घोषणा करता है, जो अब प्री-ऑर्डर के लिए उपलब्ध है

संयुक्त राज्य अमेरिका और चीन में डेवलपर्स के लिए इसकी डिलीवरी 27 जून से शुरू होनी चाहिए, अर्थात्। सचमुच अभी। क्षमताओं में से, आरजीबी के उल्लेखनीय रूप से बेहतर रिज़ॉल्यूशन और गहराई वाले कैमरों की बेहतर गुणवत्ता के अलावा (वे 15 एफपीएस पर 1024x1024 और 30 एफपीएस पर 512x512 उच्च गुणवत्ता का वादा करते हैं और डेमो द्वारा उच्च गुणवत्ता स्पष्ट रूप से दिखाई देती है , बॉक्स से बाहर कई उपकरणों के सहयोग के लिए टीओएफ कैमरा घोषित है, कम रोशनी सूरज, त्रुटि 4 मीटर की दूरी पर 1 सेमी से कम और 1 मीटर से कम की दूरी पर 1-2 मिमी है, जो बेहद दिलचस्प लगता है, इसलिए हम इंतजार करते हैं, हम इंतजार करते हैं:

स्रोत: एज़्यूर किनेक्ट डीके का परिचय

अगला मास उत्पाद, जहाँ एक गहराई वाले कैमरे में एक संरचित प्रकाश का एहसास हुआ, गेम कंसोल नहीं था, लेकिन ... (ड्रम रोल) सही ढंग से - आईफोन एक्स !

इसकी फेस आईडी तकनीक एक विशिष्ट इंफ्रारेड डॉट प्रोजेक्टर और इन्फ्रारेड कैमरा के साथ एक विशिष्ट गहराई वाला कैमरा है (वैसे, अब आप समझ गए हैं कि वे बैंग्स के किनारों पर क्यों हैं, एक दूसरे से जितना संभव हो उतना दूरी पर स्थित है - यह एक स्टीरियो बेस है ):


डेप्थ मैप का रिज़ॉल्यूशन किनेक्ट से भी कम है - लगभग 150x200। यह स्पष्ट है कि यदि आप कहते हैं: "हमारा संकल्प लगभग 150x200 पिक्सेल या 0.03 मेगापिक्सेल है," लोग संक्षेप में और संक्षिप्त रूप से कहेंगे: "बेकार है!" और अगर आप कहते हैं "डॉट प्रोजेक्टर: आपके चेहरे पर 30,000 से अधिक अदृश्य डॉट्स अनुमानित हैं" , तो लोग कहते हैं: "वाह, 30 हजार अदृश्य बिंदु, शांत!"। कुछ गोरे लोग पूछेंगे कि क्या freckles अदृश्य बिंदुओं से प्रकट होते हैं। और विषय जन-जन तक जाएगा! इसलिए, विज्ञापन में दूसरा विकल्प दूरदर्शी था। संकल्प तीन कारणों से छोटा है: पहला, लघु की आवश्यकताएं, दूसरा, ऊर्जा की खपत और तीसरा, कीमतें।

फिर भी, यह संरचित प्रकाश में एक और गहराई वाला कैमरा है, जो लाखों प्रतियों की एक श्रृंखला में चला गया है और पहले से ही अन्य स्मार्टफोन निर्माताओं द्वारा दोहराया गया है, उदाहरण के लिए, (आश्चर्य-आश्चर्य!) हुआवेई (जिसने पिछले साल स्मार्टफोन की बिक्री में एप्पल को बाईपास किया था)। केवल Huawei में दाईं ओर एक कैमरा और बाईं ओर प्रोजेक्टर है, लेकिन साथ ही, निश्चित रूप से "बैंग्स" के किनारों के साथ:

स्रोत: हुआवेई मेट 20 प्रो अपडेट से उपयोगकर्ता फेस अनलॉक के लिए दूसरा चेहरा जोड़ सकते हैं

उसी समय, 300,000 अंक घोषित किए जाते हैं, अर्थात , Apple की तुलना में 10 गुना अधिक , और फ्रंट कैमरा बेहतर है, और फ़ॉन्ट बड़ा है । क्या 300 हज़ार के बारे में एक अतिशयोक्ति है - यह कहना मुश्किल है, लेकिन Huawei फ्रंट कैमरे के साथ वस्तुओं का बहुत अच्छा 3 डी स्कैन दिखाता है। स्वतंत्र परीक्षण अधिक डरावने हैं , लेकिन यह स्पष्ट रूप से विषय की बहुत शुरुआत है और इस वर्ष के अंत में लघु ऊर्जा-कुशल गहराई वाले कैमरों और कैमरा घोषणाओं की तकनीक का शैशव प्रदर्शन में पहले से ही बेहतर है।

इसी समय, यह समझ में आता है कि फोन में चेहरे की पहचान तकनीक का उपयोग क्यों किया गया था। सबसे पहले, अब आप अपने चेहरे की एक तस्वीर (या टैबलेट से वीडियो) दिखाकर डिटेक्टर को धोखा नहीं दे सकते। दूसरे, चेहरा बदलने वाली लाइटिंग के साथ नाटकीय रूप से बदल जाता है, लेकिन इसका आकार ऐसा नहीं होता है, जो हमें आरजीबी कैमरे से डेटा के साथ-साथ व्यक्ति की सही पहचान करने की अनुमति देता है:

स्रोत: एक ही व्यक्ति की तस्वीर टीआई

जाहिर है, अवरक्त सेंसर में अंतर्निहित समस्याएं हैं। सबसे पहले, हमारे अपेक्षाकृत कमजोर प्रोजेक्टर सूरज पर एक या दो बार चमकते हैं, इसलिए ये कैमरे सड़क पर काम नहीं करते हैं। यहां तक ​​कि छाया में, अगर किसी इमारत की सफेद दीवार को सूरज से जलाया जाता है, तो आपको फेस आईडी के साथ बड़ी समस्याएं हो सकती हैं। Kinect में शोर स्तर तब भी लुढ़कता है जब सूरज बादलों से ढक जाता है:

स्रोत: यह और अगली दो तस्वीरें - सामग्री बेसलर एजी

एक और बड़ी समस्या प्रतिबिंब और प्रतिबिंब है। चूंकि इंफ्रारेड लाइट भी परिलक्षित होती है, इसलिए महंगे स्टेनलेस स्टील की केतली की तस्वीर लगाने के लिए, एक वार्निश टेबल या किनेक्ट के साथ एक ग्लास शेड समस्याग्रस्त होगा:


और अंत में, एक वस्तु को शूट करने वाले दो कैमरे एक दूसरे के साथ हस्तक्षेप कर सकते हैं। दिलचस्प है, संरचित प्रकाश के मामले में, आप प्रोजेक्टर को झिलमिलाहट बना सकते हैं और समझ सकते हैं कि हमारे बिंदु कहां हैं और कहां नहीं हैं, लेकिन यह एक अलग और जटिल कहानी है:


अब आप जानते हैं कि फेसआईडी कैसे तोड़ें ...

हालाँकि, मोबाइल उपकरणों के लिए, संरचित प्रकाश आज सबसे उचित समझौता जैसा दिखता है:

स्रोत: एप्पल 3 डी कैमरा प्रदर्शन और लागत का मिलान करने के लिए स्मार्टफ़ोन कंपनियाँ

संरचित प्रकाश के लिए, एक पारंपरिक सेंसर की सस्ताता ऐसी है कि ज्यादातर मामलों में इसका उपयोग उचित से अधिक है। सूत्र के अनुसार काम करने वाले बड़ी संख्या में स्टार्टअप जीवन के लिए क्या लाए: सस्ते सेंसर + जटिल सॉफ्टवेयर = काफी स्वीकार्य परिणाम।

उदाहरण के लिए, हमारे पूर्व स्नातक छात्र मैक्सिम फेड्योकोव , जिन्होंने 2004 के बाद से 3 डी पुनर्निर्माण में लगे हुए हैं, ने टेक्सल को बनाया, जिसका मुख्य उत्पाद 4 Kinect कैमरा और सॉफ्टवेयर वाला एक मंच है जो एक व्यक्ति को 30 सेकंड में संभावित स्मारक में बदल देता है। खैर, या एक डेस्कटॉप मूर्ति। यह वह है जिसके पास पर्याप्त पैसा है। या आप अपने 3 डी मॉडल के सस्ते और हंसमुख दोस्तों के फोटो अपने दोस्तों को भेज सकते हैं (किसी कारण से, किसी कारण के लिए सबसे लोकप्रिय मामला)। अब वे यूके से ऑस्ट्रेलिया में अपने प्लेटफॉर्म और सॉफ्टवेयर विदेश भेजते हैं:

स्रोत: 30 सेकंड में किसी व्यक्ति का 3D मॉडल बनाना

एक बैलेरीना के रूप में, मैं खूबसूरती से खड़ा नहीं हो सकता, इसलिए मैं केवल शार्क तैराकी के फाइनल में विचारशील रूप से देखता हूं:

स्रोत: लेखक की सामग्री

सामान्य तौर पर, एक नए प्रकार के सेंसर ने नई कला परियोजनाओं को जन्म दिया। सर्दियों में, मैंने काइनेक्ट के साथ एक उत्सुक उत्सुक वीआर फिल्म की शूटिंग देखी। नीचे नृत्य का एक दिलचस्प दृश्य है, जिसे किनेक्ट के साथ भी बनाया गया है (ऐसा लगता है कि 4 कैमरों का उपयोग किया गया था), और पिछले उदाहरण के विपरीत, उन्होंने शोर के साथ लड़ाई नहीं की, उन्होंने मज़ेदार बारीकियों को जोड़ा:

स्रोत: एक नृत्य प्रदर्शन एक Kinect सेंसर के साथ कैप्चर किया गया और 3D सॉफ़्टवेयर के साथ विज़ुअलाइज़ किया गया

क्षेत्र में कौन से रुझान देखे जा सकते हैं:

• जैसा कि आप जानते हैं, आधुनिक कैमरों के डिजिटल सेंसर अवरक्त विकिरण के प्रति संवेदनशील हैं, इसलिए आपको विशेष अवरुद्ध फिल्टर का उपयोग करना होगा ताकि अवरक्त शोर तस्वीर को खराब न करें (यहां तक कि अवरक्त रेंज में कलात्मक शूटिंग की दिशा दिखाई देती है, जिसमें सेंसर से फिल्टर हटाए जाने पर भी शामिल है)। इसका अर्थ है कि बड़ी मात्रा में धन का निवेश लघुकरण, बढ़े हुए रिज़ॉल्यूशन और सस्ते सेंसरों में किया जाता है, जिसे इन्फ्रारेड (एक विशेष फिल्टर के साथ ) के रूप में इस्तेमाल किया जा सकता है।
  
• इसी तरह, गहराई के नक्शे के प्रसंस्करण के लिए एल्गोरिदम अब तेजी से सुधार कर रहे हैं, जिसमें तथाकथित क्रॉस-फ़िल्टरिंग के तरीके शामिल हैं, जब आरजीबी सेंसर और गहराई से शोर डेटा आपको गहराई से एक साथ एक बहुत अच्छा वीडियो प्राप्त करने की अनुमति देता है। इसी समय, तंत्रिका नेटवर्क दृष्टिकोण का उपयोग करते हुए, एक अच्छे परिणाम प्राप्त करने की गति को नाटकीय रूप से बढ़ाना संभव हो जाता है।
  
• सभी शीर्ष कंपनियां इस क्षेत्र में काम करती हैं, खासकर स्मार्टफोन निर्माता।
  

परिणामस्वरूप:

• हम अगले 5 वर्षों में संरचित लाइट डेप्थ कैमरों की शूटिंग के संकल्प और सटीकता में नाटकीय वृद्धि की उम्मीद कर सकते हैं।
  
• मोबाइल सेंसर की ऊर्जा खपत में कमी (हालांकि धीमी) होगी, जो स्मार्टफोन, टैबलेट और अन्य मोबाइल उपकरणों में अगली पीढ़ी के सेंसर के उपयोग को सरल बनाएगी।
  

किसी भी मामले में, जो हम अभी देख रहे हैं वह प्रौद्योगिकी का शैशव काल है। पहले बड़े पैमाने पर उत्पाद, जिस पर नए असामान्य डेटा प्रकार के उत्पादन और उपयोग के डिबगिंग को केवल लॉन्च किया जा रहा है - गहराई के साथ वीडियो।

विधि 2: फ्लाइट कैमरा का समय

गहराई पाने का अगला तरीका अधिक दिलचस्प है। यह राउंड-ट्रिप लाइट डिले (टीओएफ - टाइम-ऑफ-फ्लाइट ) के माप पर आधारित है। जैसा कि आप जानते हैं, आधुनिक प्रोसेसर की गति अधिक है, और प्रकाश की गति छोटी है। 3 GHz पर प्रोसेसर के एक घड़ी चक्र में, प्रकाश सिर्फ 10 सेंटीमीटर उड़ान भरने का प्रबंधन करता है। या प्रति मीटर 10 उपाय। बहुत समय, अगर कोई निम्न-स्तर के अनुकूलन में लगा हुआ था। तदनुसार, हम एक स्पंदित प्रकाश स्रोत और एक विशेष कैमरा स्थापित करते हैं:

स्रोत: बेसलर टाइम-ऑफ-फ़्लाइट (ToF) कैमरा

वास्तव में, हमें उस विलंब को मापने की आवश्यकता है जिसके साथ प्रकाश प्रत्येक बिंदु पर लौटता है:

स्रोत: बेसलर टाइम-ऑफ-फ़्लाइट (ToF) कैमरा

या, यदि हमारे पास अलग-अलग चार्ज संचय समय के साथ कई सेंसर हैं, तो, प्रत्येक सेंसर के लिए स्रोत के सापेक्ष समय शिफ्ट और शॉट फ्लैश चमक को जानते हुए, हम शिफ्ट की गणना कर सकते हैं और तदनुसार, वस्तु की दूरी, और सेंसर की संख्या में वृद्धि करते हुए, हम सटीकता बढ़ाते हैं:


स्रोत: लैरी ली टाइम-ऑफ-फ़्लाइट कैमरा - एक परिचय

परिणाम एलईडी के साथ कैमरे की ऐसी योजना है या, कम सामान्यतः, लेजर ( VCSEL ) अवरक्त रोशनी:

स्रोत: allaboutcircuits.com पर TOF का एक बहुत अच्छा काम विवरण

उसी समय, चित्र काफी कम रिज़ॉल्यूशन पर प्राप्त होता है (आखिरकार, हमें अलग-अलग मतदान समय के साथ उनके बगल में कई सेंसर लगाने की आवश्यकता होती है), लेकिन संभवतः उच्च एफपीएस के साथ। और समस्याएं मुख्य रूप से वस्तुओं की सीमाओं पर हैं (जो सभी गहराई वाले कैमरों के लिए विशिष्ट है)। लेकिन संरचित प्रकाश के "छाया" के बिना:

स्रोत: बेसलर एजी वीडियो

विशेष रूप से, यह इस प्रकार का कैमरा (टीओएफ) था कि एक समय में Google टैंगो परियोजना में सक्रिय रूप से Google का परीक्षण किया गया था, जिसे इस वीडियो में अच्छी तरह से दर्शाया गया था। अर्थ सरल था - स्मार्टफोन के सामने गाइरोस्कोप, एक्सेलेरोमीटर, आरजीबी कैमरा और डेप्थ कैमरा के डेटा को संयोजित करने के लिए:

स्रोत: Google का प्रोजेक्ट टैंगो स्मार्टफ़ोन के लिए अब आकार दिया गया है

यह परियोजना स्वयं नहीं चली (मेरी राय है कि यह अपने समय से कुछ आगे था), लेकिन इसने एआर-संवर्धित वास्तविकता में रुचि की लहर बनाने के लिए महत्वपूर्ण पूर्वापेक्षाएँ बनाईं - और, तदनुसार, सेंसर विकसित कर सकते हैं जो इसके साथ काम कर सकते हैं। अब उनकी सारी उपलब्धियां Google के ARCore में डाली गई हैं।

सामान्य तौर पर, TOF कैमरों की बाजार मात्रा हर 3 साल में लगभग 30% बढ़ जाती है, जो काफी घातीय वृद्धि है, और कुछ बाजार इतनी तेजी से बढ़ते हैं:

स्रोत: टाइम-ऑफ़-फ़्लाइट कैमरा और मार्केट पेनेट्रेशन की क्षमता

बाजार का एक गंभीर ड्राइवर आज औद्योगिक रोबोट का तेजी से (और भी घातीय) विकास है, जिसके लिए टीओएफ कैमरे एक आदर्श समाधान हैं। उदाहरण के लिए, यदि आपका रोबोट बक्से को पैक करता है, तो एक साधारण 2 डी कैमरा के साथ, यह निर्धारित करना कि आप कार्डबोर्ड को जाम करना शुरू कर रहे हैं, एक अत्यंत गैर-तुच्छ कार्य है। और ToF कैमरे के लिए, इसे "देखना" और संसाधित करने का तुच्छ है। और बहुत तेज। नतीजतन, हम औद्योगिक ToF कैमरों में उछाल देखते हैं:


स्वाभाविक रूप से, यह गहराई वाले कैमरों का उपयोग करके घर-निर्मित उत्पादों की उपस्थिति की ओर भी जाता है। उदाहरण के लिए, जर्मन पीएमडी टेक्नोलॉजीज से एक नाइट वीडियो यूनिट और एक टोफ़ डेप्थ कैमरा वाला एक सुरक्षा कैमरा, जो 20 से अधिक वर्षों से 3 डी कैमरा विकसित कर रहा है:

स्रोत: 3 डी टाइम-ऑफ-फ्लाइट डेप्थ सेंसिंग ब्रिंग मैजिक टू न्यू लाइटहाउस स्मार्ट होम कैमरा

अदृश्यता का लबादा याद रखें कि हैरी पॉटर किसके नीचे छिपा था?

स्रोत: हैरी पॉटर की अदृश्यता क्लोक एक मूल कहानी और मई जल्द ही वास्तविक जीवन में मौजूद है

मुझे डर है कि जर्मन कैमरा एक या दो बार इसका पता लगा लेगा। और ऐसे कैमरे के सामने चित्र के साथ स्क्रीन लगाना मुश्किल होगा (यह आपके लिए विचलित करने वाला गार्ड नहीं है):

स्रोत: फिल्म "मिशन असंभव: प्रेत प्रोटोकॉल" का टुकड़ा

ऐसा लगता है कि नए सीसीटीवी कैमरों के लिए हॉगवर्ट्स के गैर-बचकाने जादू को टफ गहराई वाले कैमरे के साथ छल करने की आवश्यकता होगी, जो इस तरह के वीडियो को पूरी तरह से अंधेरे में शूट करने में सक्षम है:

एक दीवार, एक स्क्रीन और अन्य तरीकों से खुद को इस तथ्य से बचाने के लिए कि संयुक्त ToF + RGB कैमरा एक बाहरी वस्तु का पता लगाएगा तकनीकी रूप से कार्डिनली अधिक कठिन हो जाता है।

गहराई कैमरों के लिए एक और बड़े पैमाने पर शांतिपूर्ण अनुप्रयोग इशारा मान्यता है। निकट भविष्य में, आप टेलीविज़न, कंसोल और रोबोट वैक्यूम क्लीनर की उम्मीद कर सकते हैं जो न केवल वॉयस कमांड को स्मार्ट स्पीकर के रूप में देख पाएंगे, बल्कि लापरवाह "इसे साफ कर सकते हैं!" उसके हाथ की एक लहर के साथ। फिर स्मार्ट टीवी के लिए रिमोट कंट्रोल (उर्फ आलसी) पूरी तरह से अनावश्यक हो जाएगा, और विज्ञान कथा जीवन में आ जाएगी। नतीजतन, जो 2002 में शानदार था , 2013 में प्रयोगात्मक बन गया , और आखिरकार, 2019 में धारावाहिक (जबकि लोगों को पता नहीं होगा कि अंदर एक गहरा कैमरा है, इससे क्या फर्क पड़ता है, यह जादू कैसे काम करता है? ):

स्रोत: लेख , प्रयोग और उत्पाद

और आवेदनों की पूरी लाइन भी व्यापक है, निश्चित रूप से:

स्रोत: टेराबि से गहराई सेंसर का वीडियो (वैसे, 2 और 3 वीडियो के लिए वे किस तरह के चूहों को फर्श पर चलाते हैं? उन्हें देखें? बस मजाक कर रहे हैं, यह हवा में धूल है - सेंसर के छोटे आकार और सेंसर के लिए प्रकाश स्रोत की निकटता के लिए एक शुल्क)

वैसे - अमेज़न गो के प्रसिद्ध "स्टोर्स विदाउट कैशर्स" में छत के नीचे भी कई कैमरे हैं:

स्रोत: अमेज़ॅन के निगरानी-संचालित, नो-चेकआउट सुविधा स्टोर के अंदर

इसके अलावा, जैसा कि टेकक्रंच लिखता है: "वे अलग - अलग गहराई-संवेदी कैमरों (एक समय-की-उड़ान तकनीक का उपयोग करके, या इसलिए मुझे कुमार से समझ में आया) द्वारा संवर्धित किया गया है, जो बाकी की तरह पृष्ठभूमि में मिश्रण करते हैं, सभी मैट काले।" यही है, यह निर्धारित करने का चमत्कार है कि दही को किस शेल्फ से लिया गया है, अन्य चीजों के अलावा, रहस्यमय काले मैट ToF कैमरों (एक अच्छा सवाल है, वे फोटो में हैं) द्वारा प्रदान किया गया है:


दुर्भाग्य से, प्रत्यक्ष जानकारी अक्सर ढूंढना मुश्किल होता है। लेकिन एक अप्रत्यक्ष है। उदाहरण के लिए, एक कंपनी सॉफ्टकिनटिक थी , जो 2007 से टीओएफ कैमरे विकसित कर रही है। 8 साल बाद, उन्हें सोनी द्वारा खरीदा गया था (जो संयोग से, सोनी डेप्थेसिंग ब्रांड के तहत नए बाजारों को जीतने के लिए तैयार है)। सोफ्टिनेटिक के शीर्ष कर्मचारी अब अमेजन गो पर काम करते हैं। ऐसा संयोग! कुछ वर्षों के भीतर, जब प्रौद्योगिकी को लाया जाता है और मुख्य पेटेंट दायर किए जाते हैं, तो विवरण सबसे अधिक सामने आएगा।

खैर, हमेशा की तरह, चीनी प्रज्वलित। उदाहरण के लिए, पिको ज़ेंस , सीईएस 2019 में प्रस्तुत किया गया था, जो बाहरी उपयोग के लिए, टीओएफ कैमरों की एक बहुत प्रभावशाली पंक्ति है:

वे हर जगह एक क्रांति का वादा करते हैं। स्वचालित लोडिंग के कारण वैगनों को उतारा जाएगा, एटीएम सुरक्षित होंगे, प्रत्येक में गहराई वाले कैमरों के कारण, रोबोटों का नेविगेशन आसान और अधिक सटीक हो जाएगा, लोग (और, सबसे महत्वपूर्ण बात, बच्चों!) धारा में बेहतर परिमाण के एक आदेश को गिना जाएगा, नए फिटनेस सिमुलेटर सी दिखाई देंगे प्रशिक्षक के बिना अभ्यास की शुद्धता को नियंत्रित करने की क्षमता, और इसी तरह और आगे। स्वाभाविक रूप से, एक नई पीढ़ी की गहराई के सस्ते चीनी कैमरे इस सभी भव्यता के लिए पहले से ही तैयार हैं। लो और में निर्माण!

दिलचस्प बात यह है कि नवीनतम धारावाहिक हुआवेई पी 30 प्रो में मुख्य कैमरों के बगल में एक टीओएफ सेंसर है, अर्थात। लंबे समय से पीड़ित हुआवेई एप्पल को बेहतर बनाने में सक्षम है ललाट संरचित प्रकाश सेंसर और, ऐसा लगता है कि अधिक सफलतापूर्वक Google (प्रोजेक्ट टैंगो, जो बंद हो गया था ) ने मुख्य ToF कैमरों के बगल में एक कैमरा लागू किया है:

स्रोत: मार्च 2019 के अंत में Ars Technica Huawei नई प्रौद्योगिकी समीक्षा

उपयोग के विवरण, ज़ाहिर नहीं हैं, लेकिन फ़ोकसिंग में तेजी लाने के अलावा (जो कि विभिन्न लेंस वाले तीन मुख्य कैमरों के लिए महत्वपूर्ण है), इस सेंसर का उपयोग फ़ोटो की पृष्ठभूमि को धुंधला करने की गुणवत्ता बढ़ाने के लिए किया जा सकता है ( क्षेत्र की छोटी गहराई का अनुकरण)।

यह भी स्पष्ट है कि मुख्य कैमरों के बगल में गहराई सेंसर की अगली पीढ़ी का उपयोग एआर अनुप्रयोगों में किया जाएगा, जो वर्तमान "कूल, लेकिन अक्सर छोटी गाड़ी" से एआर की सटीकता को बड़े पैमाने पर काम कर रहा है। और, जाहिर है, चीनी सफलताओं के मद्देनजर , बड़ा सवाल यह है कि एआरकोर में Google क्रांतिकारी चीनी हार्डवेयर का कितना समर्थन करना चाहेगा । पेटेंट युद्ध प्रौद्योगिकी बाजार को धीमा कर सकते हैं। इस नाटकीय कहानी का विकास हम अगले दो वर्षों में सचमुच देखेंगे।

उप-योगों

लगभग 25 साल पहले, जब पहले स्वचालित दरवाजे दिखाई देते थे, तो मैंने व्यक्तिगत रूप से देखा कि इस तरह के दरवाजों के सामने समय-समय पर कितने सम्मानजनक अंकल तेजी से बढ़ते हैं। उसके पास खुलने का समय होगा या नहीं? वह बड़ा, भारी, कांच है! इसी बात के बारे में मैंने हाल ही में चीन में एक स्वचालित कारखाने में काफी सम्मानित प्रोफेसरों के दौरे के दौरान देखा। वे समूह से थोड़ा पीछे हो गए, यह देखने के लिए कि यदि आप रोबोट पर खड़े हैं, तो शांति से भागों को ले जाने और रास्ते में एक शांत सुखद धुन बजाने से क्या होगा। मैं भी पश्चाताप, विरोध नहीं कर सका ... तुम्हें पता है, यह बंद हो जाता है! शायद आसानी से। शायद मरे हुए आदमी के रूप में। गहराई सेंसर काम करते हैं!

स्रोत: हुआवेई प्रौद्योगिकी के नए परिसर के अंदर

होटल ने सफाई रोबोट के रूप में भी काम किया, जो कुछ इस तरह दिखता था:

उसी समय, वे कारखाने में रोबोटों की तुलना में अधिक दृढ़ता से परेशान थे। बोसटाउन डायनामिक्स के हर अर्थ में अमानवीय के रूप में कठिन नहीं है, निश्चित रूप से। लेकिन मैंने व्यक्तिगत रूप से देखा कि वे सड़क पर कैसे उठे, रोबोट ने एक व्यक्ति के चारों ओर जाने की कोशिश की, वह व्यक्ति चला गया, सड़क अवरुद्ध कर रहा था ... बिल्ली और चूहे की तरह। सामान्य तौर पर, ऐसा लगता है कि जब मानव रहित वाहन सड़कों पर दिखाई देते हैं, तो पहली बार वे सामान्य से अधिक बार कट जाएंगे ... ओह, लोग-लोग ... हम्मम ... हालांकि, हम विचलित थे।

प्रमुख बिंदुओं का सारांश:

• ऑपरेशन के एक अन्य सिद्धांत के कारण, हम टीओएफ कैमरे में प्रकाश स्रोत को संवेदक के करीब (यहां तक ​​कि एक ही लेंस के तहत) भी स्थिति में रख सकते हैं। इसके अलावा, कई औद्योगिक मॉडल में सेंसर के आसपास स्थित एलईडी हैं। नतीजतन, गहराई के नक्शे पर "छाया" मौलिक रूप से कम हो जाते हैं, या गायब भी हो जाते हैं। यानी जटिल ज्यामिति वस्तुओं के साथ सरलीकृत कार्य, जो औद्योगिक रोबोटों के लिए महत्वपूर्ण है।
  
• चूंकि स्पंदित रोशनी, एक नियम के रूप में, अवरक्त बनी हुई है - अंतिम खंड में वर्णित अवरक्त कैमरा के सभी नुकसान संरक्षित हैं: सूर्य के संपर्क में, कठिनाइयों जब दो कैमरे एक साथ काम करते हैं, आदि। हालांकि, औद्योगिक रोबोट अक्सर घर के अंदर काम करते हैं, और लेजर रोशनी वाले कैमरे विकसित किए जा रहे हैं।
  
• आरएएस कैमरों के सेंसर में समग्र सुधार के "पूंछ को पकड़ने" के लिए अलास, टीओएफ सेंसर अधिक कठिन हैं, इसलिए उनका विकास धीमा है, लेकिन आश्चर्यजनक रूप से आत्मविश्वास से बहुत सारे समाचार हैं, जो कि टीओएफ कैमरों की शुरूआत के बारे में बहुत कुछ है और वहां कुछ भी नहीं है (जो केवल स्मार्टफोन में सेंसर के एकीकरण की घोषणा करते हैं। सैमसंग, और Google पिक्सेल, और सोनी एक्सपीरिया ...)।
  
• नए सोनी का वादा है कि 8 फोन कैमरों में से 2 कैमरे (!!!) ToF डेप्थ कैमरा (!) होंगे, यानी। गहराई वाले कैमरे फोन के दोनों ओर होंगे:
  स्रोत: हेक्सा-कैम सोनी फोन में कैमरा स्पेक्स से पता चलता है
  
• परिणामस्वरूप, हमें आने वाले वर्ष में भी इस क्षेत्र में बहुत सारी दिलचस्प चीजें मिलेंगी! और अगले साल, 20% तक नए फोन डेप्थ कैमरा (स्ट्रक्चर्ड लाइट + टीओएफ) के साथ होंगे। यह देखते हुए कि 2017 में केवल ऐप्पल "30 हजार अंक" के साथ शानदार अलगाव में बाजार पर था, और अब वे 300 हजार से कम नहीं डाल रहे हैं, विषय स्पष्ट रूप से अच्छी तरह से चला गया है:
  
  स्रोत: 2019 में लिमिटेड स्मार्टफोन 3 डी सेंसिंग मार्केट ग्रोथ; 2020 में Apple ग्रोथ का प्रमुख प्रवर्तक होगा
  

क्या आपको अभी भी चल रही क्रांति पर संदेह है?

यह पहला भाग था! एक सामान्य तुलना दूसरे में होगी।

अगली श्रृंखला में, प्रतीक्षा करें:

• विधि 3, क्लासिक: स्टीरियो की गहराई;
  
• विधि 4, newfangled: plenoptics से गहराई;
  
• विधि 5, तेजी से बढ़ते: लिडार, सॉलिड स्टेट लिडार सहित;
  
• कुछ समस्याएं गहराई के साथ वीडियो प्रसंस्करण;
  
• और अंत में, सभी 5 विधियों और सामान्य निष्कर्षों की एक संक्षिप्त तुलना।
  

कार्टेज को तोड़ा जाना चाहिए ... पूरी वीडियो सदी के अंत तक त्रि-आयामी होगी!

देखते रहो! (यदि मेरे पास पर्याप्त समय है, तो मैं नए कैमरों का वर्णन करूंगा, जिसमें वर्ष के अंत तक ताजा किनेक्ट के परीक्षण शामिल हैं।)

भाग २