स्टीरियोपीपी पर ओपनसीवी की खोज: वीडियो से मानचित्र की गहराई

आज हम रास्पबेरी पाई पर ओपनसीवी शिक्षार्थियों के लिए पायथन पर उदाहरणों की एक श्रृंखला साझा करना चाहते हैं, अर्थात्, दोहरे कक्ष स्टीरियो बोर्ड। समाप्त कोड (प्लस रास्पियन छवि) आपको सभी चरणों के माध्यम से जाने में मदद करेगा, एक तस्वीर को कैप्चर करने और कैप्चर किए गए वीडियो से गहराई का नक्शा प्राप्त करने के साथ समाप्त होगा।

पृष्ठभूमि

मुझे तुरंत इस बात पर जोर देना चाहिए कि ये उदाहरण विषय में एक आरामदायक विसर्जन के लिए हैं, न कि उत्पादन समाधान के लिए। यदि आप एक उन्नत OpenCV उपयोगकर्ता हैं और रास्पबेरी के साथ काम कर रहे हैं, तो आप जानते हैं कि पूर्ण विकसित काम के लिए एक काटने पर कोड करना उचित है, और यहां तक ​​कि एक रास्पबेरी GPU का उपयोग करना उचित है। लेख के अंत में, मैं अजगर समाधान के "अड़चनों" और अधिक विस्तार से समग्र प्रदर्शन पर स्पर्श करूंगा।

हम किसके साथ काम कर रहे हैं

हमारे पास लोहे जैसा एक सेटअप है:



रास्पबेरी पाई गणना मॉड्यूल 3+ पर सवार स्टीरियोपीई बोर्ड। दो सरलतम कैमरे रास्पबेरी पाई संस्करण V1 (ov5647 सेंसर पर) के लिए जुड़े हुए हैं।

क्या स्थापित है:

• रास्पियन खिंचाव (गिरी 4.14.98-v7 +)
• अजगर 3.5.3
• OpenCV 3.4.4 (पूर्व-संकलित, पायथन पहियों से 'पाइप')
• पसमेरा 1.13
• StereoVision lib 1.0.3 (https://github.com/erget/StereoVision)

सभी सॉफ़्टवेयर को स्थापित करने की प्रक्रिया इस लेख के दायरे से परे है, और हम केवल समाप्त रास्पियन छवि (लेख के अंत में गीथूब से लिंक) डाउनलोड करने का सुझाव देते हैं।

एक कदम: एक तस्वीर पर कब्जा

ऐसा करने के लिए, 1_test.py स्क्रिप्ट का उपयोग करें

कंसोल खोलें, होम फ़ोल्डर से फ़ोल्डर के साथ उदाहरण के लिए जाएं:

cd stereopi-tutorial 

स्क्रिप्ट चलाएँ:

 python 1_test.py 

शुरू करने के बाद, स्क्रीन पर हमारी स्टीरियो छवि का पूर्वावलोकन प्रदर्शित किया जाता है। क्यू बटन को दबाकर प्रक्रिया को बाधित किया जा सकता है। यह अंतिम कैप्चर की गई छवि को बचाएगा, जिसका उपयोग गहराई मैप को कॉन्फ़िगर करने के लिए निम्न स्क्रिप्ट में से एक में किया जाएगा।

यह स्क्रिप्ट आपको यह सुनिश्चित करने की अनुमति देती है कि सभी हार्डवेयर सही ढंग से काम कर रहे हैं, साथ ही साथ भविष्य के उपयोग के लिए पहली तस्वीर भी प्राप्त करें।

यहाँ पहली स्क्रिप्ट कैसी दिखती है:

चरण दो: अंशांकन के लिए चित्र एकत्र करें

यदि हम एक निर्वात में एक गोलाकार घोड़े के बारे में बात करते हैं, तो एक अच्छी गुणवत्ता की गहराई का नक्शा प्राप्त करने के लिए, हमारे पास दो बिल्कुल समान कैमरे होने चाहिए, जिनमें से ऊर्ध्वाधर और ऑप्टिकल कुल्हाड़ियां पूरी तरह से समानांतर हैं, और क्षैतिज अक्ष संयोग करते हैं। लेकिन वास्तविक दुनिया में, सभी कैमरे थोड़े अलग हैं, और उन्हें पूरी तरह से व्यवस्थित करना संभव नहीं है। इसलिए, एक सॉफ्टवेयर कैलिब्रेशन ट्रिक का आविष्कार किया गया था। वास्तविक दुनिया से दो कैमरों का उपयोग करते हुए, पहले से ज्ञात ऑब्जेक्ट की बड़ी संख्या में तस्वीरें ली गई हैं (हमारे पास एक शतरंज की तस्वीर है), और फिर एक विशेष एल्गोरिथ्म सभी "खामियों" की गणना करता है और चित्रों को सही करने की कोशिश करता है ताकि वे आदर्श के करीब हों।

यह स्क्रिप्ट काम का पहला चरण है, अर्थात् यह अंशांकन के लिए फ़ोटो की एक श्रृंखला बनाने में मदद करता है।

प्रत्येक तस्वीर से पहले, स्क्रिप्ट 5 सेकंड की उलटी गिनती शुरू करती है। इस बार, एक नियम के रूप में, बोर्ड को एक नई स्थिति में स्थानांतरित करने के लिए पर्याप्त है, यह सुनिश्चित करने के लिए कि दोनों कैमरों पर यह किनारों पर क्रॉल नहीं करता है, और अपनी स्थिति को ठीक करने के लिए (ताकि फोटो में कोई धब्बा न हो)। डिफ़ॉल्ट रूप से, श्रृंखला का आकार 30 तस्वीरों के लिए सेट है।

चल रहा है:

 python 2_chess_cycle.py 

प्रक्रिया:


नतीजतन, हमारे पास / दृश्यों के फ़ोल्डर में फ़ोटो की एक श्रृंखला है।

हमने तस्वीरों को जोड़े में काटा

तीसरी स्क्रिप्ट 3_pairs_cut.py "लेफ्ट" और "राइट" तस्वीरों में ली गई तस्वीरों को काटती है और उन्हें / जोड़े फ़ोल्डर में सहेजती है। वास्तव में, हम इस स्क्रिप्ट को बाहर कर सकते हैं और मक्खी पर कटिंग कर सकते हैं, लेकिन यह आगे के प्रयोगों में बहुत उपयोगी है। उदाहरण के लिए, आप स्लाइस को अलग-अलग श्रृंखलाओं से बचा सकते हैं, इन जोड़ियों के साथ काम करने के लिए अपनी स्क्रिप्ट का उपयोग कर सकते हैं, या यहां तक ​​कि जोड़े के साथ अन्य स्टीरियो कैमरों पर ली गई तस्वीरों को भी हथेली पर रख सकते हैं।

साथ ही, प्रत्येक छवि को काटने से पहले, स्क्रिप्ट अपनी छवि प्रदर्शित करती है, जो अक्सर आपको अगले अंशांकन चरण से पहले विफल फ़ोटो देखने की अनुमति देती है और बस उन्हें हटा देती है।

स्क्रिप्ट चलाएँ:

 python 3_pairs_cut.py 

लघु वीडियो:


तैयार छवि में तस्वीरों और कटे हुए जोड़े का एक सेट है जो हमने अपने प्रयोगों के लिए उपयोग किया था।

अंशांकन

स्क्रिप्ट 4_calibration.py, सभी जोड़े में शतरंज की बिसात के साथ खींचता है और चित्रों को सही करने के लिए आवश्यक सुधारों की गणना करता है। स्क्रिप्ट में, तस्वीरों की स्वचालित अस्वीकृति, जिस पर एक शतरंजबोर्ड नहीं मिला था, बनाया गया था, ताकि असफल तस्वीरों के मामले में काम बंद न हो। सभी 30 जोड़े चित्रों को अपलोड किए जाने के बाद, गणना शुरू होती है। हमारे साथ लगभग डेढ़ मिनट का समय लगता है। पूरा होने के बाद, स्क्रिप्ट स्टीरियो जोड़ियों में से एक लेती है, और गणना अंशांकन मापदंडों के आधार पर उन्हें "सुधार" करती है, स्क्रीन पर एक सुधारित छवि प्रदर्शित करती है। इस बिंदु पर, आप अंशांकन की गुणवत्ता का मूल्यांकन कर सकते हैं।

कमांड द्वारा चलाएं:

 python 4_calibration.py 

काम में अंशांकन स्क्रिप्ट:

गहराई नक्शा सेटअप

5_dm_tune.py स्क्रिप्ट पहले स्क्रिप्ट द्वारा ली गई तस्वीर और अंशांकन परिणामों को लोड करती है। अगला, एक इंटरफ़ेस प्रदर्शित किया जाता है जो आपको गहराई के नक्शे की सेटिंग्स को बदलने और देखने के लिए क्या परिवर्तन की अनुमति देता है। युक्ति: पैरामीटर सेट करने से पहले, एक फ्रेम लें जिसमें आप एक साथ अलग-अलग दूरी पर ऑब्जेक्ट होंगे: करीब (30-40 सेंटीमीटर), औसत दूरी (मीटर या दो) और दूरी में। यह आपको उन मापदंडों को चुनने की अनुमति देगा जिनमें निकट वस्तुएं लाल होंगी और दूर की वस्तुएं गहरे नीले रंग की होंगी।

छवि में हमारी गहराई मानचित्र सेटिंग्स के साथ एक फ़ाइल है। आप हमारी सेटिंग्स को एक स्क्रिप्ट में "लोड सेटिंग्स" बटन पर क्लिक करके लोड कर सकते हैं

हम लॉन्च करते हैं:

 python 5_dm_tune.py 

यहाँ सेटअप प्रक्रिया कैसी दिखती है:

रियल टाइम डेप्थ मैप

अंतिम स्क्रिप्ट 6_dm_video.py पिछले स्क्रिप्ट (कैलिब्रेशन और डेप्थ मैप के सेटिंग) के परिणामों का उपयोग करके वीडियो से एक गहरा नक्शा बनाता है।

चल रहा है:

 python 6_dm_video.py 

वास्तव में परिणाम:


हम आशा करते हैं कि हमारी स्क्रिप्ट आपके प्रयोगों में उपयोगी होगी!

यदि मैं सभी लिपियों में कीस्ट्रोक प्रोसेसिंग करता हूं, तो आप जोड़ देंगे और आप Q बटन दबाकर काम को बाधित कर सकते हैं। यदि आप "मोटे तौर पर" रोकते हैं, उदाहरण के लिए, Ctrl + C, तो कैमरे के साथ पायथन इंटरैक्शन की प्रक्रिया टूट सकती है और रास्पबेरी रिबूट की आवश्यकता होगी।

उन्नत के लिए

• इस प्रक्रिया में पहली स्क्रिप्ट फ्रेम कैप्चर और पूरा होने पर औसत एफपीएस के बीच औसत समय प्रदर्शित करती है। यह ऐसी छवि मापदंडों को चुनने के लिए एक सरल और सुविधाजनक उपकरण है जिसमें अजगर अभी भी "घुट" नहीं है। इसके साथ, हमने 20 एफपीएस पर 1280x480 उठाया, जिसमें वीडियो को बिना देरी के प्रदान किया गया।
• आप देख सकते हैं कि हम 1280x480 रिज़ॉल्यूशन में एक स्टीरियो पेयर पर कब्जा करते हैं, और फिर इसे 640x240 तक ले जाते हैं।
  
  एक वाजिब सवाल: यह सब क्यों, और क्यों नहीं तुरंत थंबनेल को पकड़ो और इसे कम करके हमारे अजगर को लोड न करें?
  
  उत्तर: बहुत कम रिज़ॉल्यूशन पर सीधे कब्जे के साथ, रास्पबेरी कोर (चित्र विराम) में अभी भी समस्याएं हैं। इसलिए, हम एक बड़ा संकल्प लेते हैं, और फिर चित्र को कम करते हैं। यहां हम एक छोटी सी चाल का उपयोग करते हैं: चित्र अजगर के साथ नहीं बढ़ाया जाता है, लेकिन GPU की मदद से, इसलिए हाथ कोर पर कोई भार नहीं है।
• बीजीआरए प्रारूप में वीडियो क्यों कैप्चर करें, बीजीआर नहीं?
  हम तस्वीर के आकार को कम करने के लिए GPU संसाधनों का उपयोग करते हैं, और आकार परिवर्तन मॉड्यूल के लिए देशी BGRA प्रारूप है। यदि हम बीजीआरए के बजाय बीजीआर का उपयोग करते हैं, तो हमारे पास दो कमियां होंगी। पहला अंतिम एफपीएस (हमारे परीक्षणों में - 20 प्रतिशत) की तुलना में थोड़ा कम है। दूसरा कंसोल में निरंतर चिंता है "PiCameraAlfaStripping: गैर-अल्फा प्रारूप में बदलने के लिए अल्फा-स्ट्रिपिंग का उपयोग करना; आप तेजी से बराबर अल्फा प्रारूप पा सकते हैं ”। इसके बाद Googling ने Picamera प्रलेखन अनुभाग का नेतृत्व किया, जो इस चाल का वर्णन करता है।
• जहां PiRGBArray है?
  
  यह कैमरे के साथ काम करने के लिए देशी पसमेरा वर्ग की तरह है, लेकिन यहां इसका उपयोग नहीं किया गया है। यह पहले ही पता चला है कि हमारे परीक्षणों में, PiRGBArray का उपयोग करने की तुलना में "हाथ से निर्मित" सुन्न सरणी के साथ काम करना बहुत तेज़ (डेढ़ गुना) है। इसका मतलब यह नहीं है कि PiRGBArray खराब है, सबसे अधिक संभावना है कि ये हमारे कुटिल हाथ हैं।
• गहराई के नक्शे की गणना में प्रतिशत कितना है?
  आइए एक तस्वीर के साथ जवाब दें:
  
  
  
  हम देखते हैं कि प्रोसेसर के 4 कोर, वास्तव में, केवल एक लोड किया गया है, और वह 70% है। और यह इस तथ्य के बावजूद कि हम एक जीयूआई के साथ काम करते हैं, और हम उपयोगकर्ता को चित्रों और गहराई के नक्शे का उत्पादन कर रहे हैं। इसका मतलब यह है कि प्रदर्शन का एक अच्छा मार्जिन है, और ओपनएमपी और सी में ओपनिंग और अन्य माल के साथ अच्छा ट्यूनिंग ओपनसीवी है, साथ ही जीयूआई के बिना एक "मुकाबला" मोड बहुत दिलचस्प परिणाम दे सकता है।
• इन सेटिंग्स के साथ प्राप्त अधिकतम एफपीएस गहराई नक्शा क्या है?
  
  हमारे द्वारा प्राप्त अधिकतम 17 एफपीएस था, जब कैमरे से 20 फ्रेम प्रति सेकंड कैप्चर कर रहा था। गहराई मानचित्र सेटिंग्स में गति मापदंडों के संदर्भ में सबसे "उत्तरदायी" MinDisparity और NumOfDisparities हैं। यह तर्कसंगत है, क्योंकि वे फ़्रेम की तुलना करने के लिए खोज विंडो द्वारा एल्गोरिथम के भीतर किए गए "चरणों" की संख्या निर्धारित करते हैं। दूसरा सबसे संवेदनशील प्रीफ़िल्टरकैप है; यह विशेष रूप से, गहराई के नक्शे की "चिकनाई" को प्रभावित करता है।
• प्रोसेसर के तापमान के बारे में क्या?
  
  गणना मॉड्यूल 3+ लाइट पर (प्रक्रिया पर एक लोहे की "टोपी" के साथ एक नई श्रृंखला), यह लगभग निम्नलिखित परिणाम दिखाता है:
  
  
• GPU का उपयोग कैसे करें?
  
  कम से कम, इसका उपयोग वास्तविक समय में चित्रों के andistorization और सुधार के लिए किया जा सकता है, क्योंकि उदाहरण हैं ( यहां WebGL पर ), Python Pi3d , साथ ही प्रोसेसिंग प्रोजेक्ट ( raspberries के लिए उदाहरण )।
  
  कोइची नाकामुरा द्वारा एक और दिलचस्प विकास है, जिसे पाई-विडोकोर कहा जाता है। उनके साथ हमारे पत्राचार में, उन्होंने विचार व्यक्त किया कि स्टीरियोबीएम में तेजी लाने के लिए आप कुडा समर्थन के साथ इसके मूल और ओपनसीवी प्रकार का उपयोग कर सकते हैं। सामान्य तौर पर, अनुकूलन के लिए - एक अछूता किनारा, जैसा कि वे कहते हैं।

आपका ध्यान के लिए धन्यवाद, और यहाँ स्रोत के लिए वादा किया गया लिंक है ।