उत्साही लोगों के लिए मशीन विजन कैमरे। ऑफ़लाइन नेविगेशन के लिए कैमरे का उपयोग कैसे करें?

हमने अप्रैल और अरटाग का पता लगाने के लिए एक कैमरा बनाया। Uart या ईथरनेट के माध्यम से कनेक्ट करें।

हमने JeVois और OpenMV की कोशिश की, पेशेवरों और विपक्षों की सराहना की, और हमारे कैमरे को इकट्ठा किया।



दृश्य टैग और डेटा के आधार पर रोबोट के उन्मुखीकरण के लिए खोजें। हम ड्राइविंग रेंज पर गोल्फ की गेंदों को इकट्ठा करने के लिए एक रोबोट विकसित कर रहे हैं। अब दुनिया में केवल एक कंपनी इस समस्या को हल करने के लिए एक रोबोट बेचती है। बाजार बहुत आशाजनक है, इसने हमें परियोजना को एक प्रौद्योगिकी स्टार्टअप में बदलने के लिए प्रोत्साहित किया।

रोबोट को नेविगेट करने के लिए आरटीके के बिना जीपीएस का उपयोग करना, आधार और पार्किंग की सही ढंग से खोज करने के लिए आवश्यक सटीकता को प्राप्त करना मुश्किल है। रियल टाइम कैनेमैटिक का उपयोग करने से मुझे इमारतों के पास जाने में समस्या होगी। हमने विभिन्न विकल्पों की कोशिश की और आधार के प्रवेश द्वार पर एक दृश्य चिह्न की खोज करने के लिए अपना खुद का कैमरा बनाने का फैसला किया।

गेंद के डिब्बे को उतारने और बैटरी को चार्ज करने के लिए डॉकिंग स्टेशन पर रोबोट के विकास का एक हिस्सा इसकी पार्किंग थी। हमने लंबे समय तक सोचा कि इसे कैसे पार्क किया जाए, इस बात पर सहमति हुई कि रोबोट एक ऑप्टिकल उज्ज्वल वस्तु खोजेगा और उसका पालन करेगा।

AprilTag या ArTag टैग्स को लक्ष्य के रूप में चुना गया था, यह इस बात पर निर्भर करता है कि उन्होंने खुद को मैदान में कैसे दिखाया। क्योंकि हम NIH सिंड्रोम से पीड़ित नहीं हैं - इन मार्करों के समर्थन के साथ और कैमरे पर स्क्रिप्ट समर्थन के साथ मशीन विज़न कैमरों की खोज शुरू हो गई है।

पहला जेविओस

क्या जल्दी से पाया गया था - JeVois , दक्षिणी कैलिफोर्निया प्रयोगशाला विश्वविद्यालय द्वारा विकसित की है। दुर्भाग्य से, मुझे अमेज़ॅन के माध्यम से रूस को ऑर्डर करना पड़ा, कोई आंतरिक पुनर्विक्रेता नहीं थे और जाहिरा तौर पर कोई भी नहीं होगा - जाहिर है कि विपणन और बिक्री खुद डेवलपर्स द्वारा की जाती है (हम काफी हैरान थे जब हमें Jevois से Jevois को एक कैमरा खरीदने के लिए उकसाना था। , और फिर निर्देशिका के लिए एक लिंक की तलाश में - 10-12 पदों के बीच में कहीं कैमरा का चयन करें)।



कंप्यूटर पर पहले रन काफी उत्साहजनक थे, सामान्य तौर पर, सब कुछ सही बॉक्स से बाहर काम किया और काफी दिलचस्प लग रहा था। हालांकि, नियंत्रण बोर्ड से जुड़ने के परीक्षण के बाद, चार गंभीर समस्याएं स्पष्ट हो गईं:

विज्ञापन सामग्री में दर्शाए गए 60-90 एफपीएस 160x120 या 320x240 प्रस्तावों के लिए हैं, जो पार्किंग के लिए बिल्कुल उपयुक्त नहीं है - कम से कम 5 मीटर की दूरी से कब्जा करना अभी भी वांछनीय है। और 6-8 मीटर से 160x120 में एक वर्ग में गिरने के लिए एक वर्ग के लिए - आपको इसे कम से कम आधा मीटर आकार में बनाने की आवश्यकता है और जब यह आ रहा है, तो यह पहले फ्रेम को पूरी तरह से बंद कर देता है, और फिर सभी का पता लगाना बंद कर देता है।

800mA का उपभोग, जबकि शक्ति केवल मिनी यूएसबी के साथ यूएसबी केबलों के माध्यम से होती है, जो इस वोल्टेज के बिना बहुत अधिक गिरावट का सामना कर सकती है। इस तरह की विशेषताओं के साथ कम से कम आधा मीटर की लंबाई के साथ एक केबल ढूंढना बहुत मुश्किल हो गया - लगभग 15 विकल्प चुने गए, और परिणाम वैसे भी बहुत संतोषजनक नहीं था।

कैमरा रात में या तो अंधा होता है या दिन में चमकता है। ऑटो संतुलन अच्छाई और बुराई से परे काम करता है।

कैमरे को पंखे से ठंडा किया जाता है। पंखा बहुत छोटा है, गति उच्च है - उच्च आवृत्ति शोर या बस एक चीख़।

डरावना रोबोट आखिरी चीज है जिसे हम करना चाहते थे।

कैमरे के अंदर निष्पादन कोड लिखना एक अलग मनोरंजन है - पर्यावरण को स्थापित करना एक भ्रामक मामला है, और एसडी कार्ड में कोडांतरण और अपलोड करने में कम से कम 2-5 मिनट लगते हैं। हां, कोई फ्लैश नहीं है - सब कुछ एसडी कार्ड पर है।

निष्कर्ष: घर के अंदर उत्साही और अच्छी रोशनी के साथ खेलने के लिए एक कैमरा। उसी समय, यह वांछनीय होगा यदि उत्साही छात्र थे - कैमरे के साथ काम करने के इंटरफ़ेस, प्रलेखन और तरीकों ने मुझे छात्र प्रयोगशाला काम की याद दिला दी, जहां सिस्टम और अन्य अतिरिक्तताओं के साथ काम करने की सुविधा पर लगभग कोई ध्यान नहीं दिया गया था। यह निश्चित रूप से C ++ मॉड्यूल के बारे में है। अजगर लिपियों को Jevois Inventor के माध्यम से संपादित किया जा सकता है, लेकिन FPS तब भी काफी कम है। परिसर के बाहर, कैमरा दो बारिश से भी नहीं बचा था, और प्रशंसक ने अंतरिक्ष की गति के साथ मैदान पर गंदगी जमा कर दी।

परिणाम - यह रोबोट पर उपयोग के लिए उपयुक्त नहीं है, लेकिन पार्किंग की मौलिक संभावना साबित हुई है।

OpenMV 3 और इसके सभी संस्करण

पहली खोज के समय, यह बस उपलब्ध नहीं था - किकस्टार्टर पर एक अभियान था।

जब हम JeVois के साथ पर्याप्त खेले और 100 रुपये कूड़े में फेंक दिए गए - एक विक्रेता स्टॉक के साथ मिला और 2 टुकड़े खरीदे गए।

सामान्य तौर पर, इंप्रेशन बेहद सुखद होते हैं - ओपनएमवी आईडीई में एक पारदर्शी रूप से विचारशील इंटरफ़ेस, पारदर्शी अजगर संकलन, यह एल्गोरिदम का काम देखने के लिए सुविधाजनक है, और इसे डीबग करें। हालाँकि, यहाँ समस्याएं थीं:

• रिज़ॉल्यूशन कोई भी हो सकता है, लेकिन अप्रैलटैग केवल 200x200 पिक्सल से अधिक के क्षेत्र में खोजा जा सकता है। हम अनाज आदि की समस्या पर लौटते हैं। डेवलपर ने पहले बूँदें खींचने की सिफारिश की , फिर उनमें कोड देखें। लेकिन एक सादे पृष्ठभूमि (आदर्श रूप से एक सफेद दीवार) के अलावा कुछ पर यह काम नहीं करता है, पृष्ठभूमि के खिलाफ हरी घास और उज्ज्वल सूरज सब कुछ दलिया में बदल जाता है। प्लस एफपीएस अधिकतम 5 तक गिरता है।
• सस्ते सर्वव्यापी सेंसर + सस्ते प्रकाशिकी = साबुन चित्र। विज़ुअली, वीडियो स्ट्रीम देखते समय यह बहुत ध्यान देने योग्य नहीं है, लेकिन व्यक्तिगत फ़्रेमों को देखने पर यह स्पष्ट रूप से दिखाई देता है।
• कोई आईआर पर्दा नहीं है, लेकिन आईआर रोशनी है। [WHAAAAT?]
• बाहरी वातावरण से कोई सुरक्षा नहीं है। बिलकुल नहीं।

इस कैमरे पर स्क्रिप्ट को डीबग किया गया था, कई दर्जन पार्किंग रन बनाए गए थे। हालाँकि, रोबोट के मॉस्को से सेंट पीटर्सबर्ग और वापस आने के बाद, कैमरा शुरू होना बंद हो गया - बिजली नियामक ने दस्तक दी। स्पष्ट कार्रवाई पैकेजिंग और शक्ति स्थिरीकरण थी। और यहां सबसे दिलचस्प बात पता चली - इस कैमरे के लिए सही आईपी के साथ मामला बस नहीं पाया जा सकता था, या यह आंतरिक आवरण और तंग केबल इनपुट / आउटपुट के बिना पारदर्शी कवर के साथ बक्से थे। खोज के परिणामस्वरूप, सही मामलों के साथ सस्ते चीनी निगरानी कैमरों का एक समूह पाया गया। कैमरा खरीदा गया था और लटकाया गया था, ओपनएमवी की एक दूसरी प्रति बोर्ड की जगह पर खड़ी थी, सब कुछ काम किया।
लेकिन शाम और रात एक लगभग अड़चन बन गए - कोई आईआर पर्दा नहीं है।

परिणाम: कैमरा प्रोटोटाइप के लिए बहुत सुविधाजनक है, संसाधन सीमित हैं, बाहरी वातावरण से बिल्कुल भी सुरक्षा नहीं है (दूसरा कैमरा तब एक औद्योगिक फ्रीजर में चला गया और -30 नहीं बचा)। अच्छा नहीं है।

और फिर यह हमारे लिए बहुत दिलचस्प हो गया कि हमें चीनी कैमरों से किस तरह के बोर्ड मिले

हायसिलिकॉन क्लोन

करीब से निरीक्षण करने पर, यह पता चला कि बोर्ड में 2-कोर एआरएम, डीएसपी प्रोसेसर, आईआर पर्दा, आईआर रोशनी, सोनी से एक सभ्य सेंसर है, बोर्ड सड़क के लिए एक सुरक्षात्मक परिसर + आवास के साथ कवर किया गया है। बस आपको क्या चाहिए - यह सॉफ्टवेयर इकट्ठा करने के लिए बना हुआ है।

अंदर से हिसिलिकॉन + यू-बूट से काफी काम करने वाला लिनक्स क्लोन निकला।
मुझे एसडीके को चीनी संसाधनों से डाउनलोड करना था और विधानसभाओं से निपटना था। सिद्धांत रूप में, रास्ते में कुछ भी भयानक नहीं मिला, सिवाय इसके कि एसडीके के अंदर कई फाइलों को ठीक करना आवश्यक था - लिनक्स वितरण जिस पर एसडीके काफी पुराना होने जा रहा था, और तब से कुछ हेडर फाइलें बदल गई हैं। खैर, मुझे शेल को zsh से bash में बदलना पड़ा। मैं सभी विवरणों को छोड़ दूंगा; अच्छे के लिए, यह एक अलग लेख होना चाहिए।

इन संसाधनों ने मदद की:

पार्सिंग, कैमरे से जुड़ना

नमूना सॉफ्टवेयर असेंबली आरेख

तब सब कुछ सुविख्यात योजना के अनुसार हुआ:



संवेदक से चित्र प्राप्त करने में अधिकांश समय, मैंने बाकी को केवल 4 घंटों में समाप्त कर दिया, बस पायथन से सी ++ तक डीबग किए गए एल्गोरिदम को पोर्ट किया।
सेंसर के साथ काम करने में लगभग डेढ़ सप्ताह का समय लगा। बेशक इन उपकरणों में कोई / देव / वीडियो 0 नहीं है, स्मृति और बंदरगाहों के साथ सीधे काम के साथ लगभग नंगे हार्डवेयर।
हमें तुरंत यह कहना होगा कि एसडीके से नमूने केवल इन एसडीके के लिए डिबग बोर्डों पर संशोधन के बिना काम करते हैं, अन्यथा इसके लिए बहुत छोटे संपादन की आवश्यकता होती है। यह लग सकता है के रूप में अजीब बात है, मुख्य समस्या यह निर्धारित करना है कि कैमरे में कौन सा सेंसर है, क्योंकि चीनी विवरण में एक लिखते हैं, दूसरे को बोर्ड पर चिह्नित किया जाता है, तीसरे मॉडल को सॉफ्टवेयर में आरंभीकृत किया जाता है। उदाहरण के रूप में, कैमरे में विवरण में IMX323 सेंसर है, बोर्ड को SC2235 के रूप में चिह्नित किया गया है, जब इनिट स्क्रिप्ट को लॉन्च किया जाता है, तो यह AR130 के रूप में शुरू होता है, और कैमरा सॉफ्टवेयर इसे SC2235P के रूप में आरंभ करता है।

इस सब के लिए कारण काफी सरल हैं: अंतिम-उपयोगकर्ता के लिए, कि IMX323, कि SC2235 सभी समान हैं, चित्र बहुत समान है। इंट स्क्रिप्ट के साथ कर्नेल और रूटफ़्स को न्यूनतम बदलाव के साथ एसडीके से इकट्ठा किया गया था और प्रत्येक मॉडल के लिए एक अलग इनिशियलाइज़ेशन स्क्रिप्ट के साथ परेशान नहीं किया गया था - केवल लॉन्च पैरामीटर सही थे, और नाम वैसे ही छोड़ दिया गया था। कैमरे के साथ काम करने के लिए सॉफ्टवेयर में, सेंसर के साथ डीएसपी को इनिशियलाइज़ करने का दूसरा टुकड़ा पहले से ही लॉन्च किया गया है और कैमरे का सटीक मॉडल पहले से ही वहाँ महत्वपूर्ण है - इसलिए, लॉग में पहले से ही सटीक मॉडल है - SC2235P। पी - यह महत्वपूर्ण है, यह विशेषताओं के संदर्भ में एक अलग सेंसर है, जो एससी 2235 की तुलना में थोड़ा अलग बस आवृत्ति और एक अलग रिज़ॉल्यूशन पर भी काम करता है।

खोज का दूसरा भाग सेंसरशीट पर डेटाशीट है, जो कि और बड़े नहीं हैं। इसलिए, मुझे मुद्रण के माध्यम से लॉग के लिए प्रिंटिंग के साथ hi_i2c मॉड्यूल को फिर से बनाना पड़ा और इसे कैमरे से हटाए गए डंप में बदल दिया गया, वीडियो प्रोसेसर के डीएसपी कॉन्फ़िगरेशन डैम्पर को लिखें और काम करने वाले कैमरे से कॉन्फ़िगरेशन को हटा दें, साथ ही कई बार DafangSoftware परियोजना से ड्राइवरों को देखने के लिए। विस्तार से, यह 3-4 अलग-अलग लेखों को आकर्षित करता है, जिन्हें मैं एनजी के बाद लिखना चाहता हूं।

अंत में, सब कुछ उम्मीद से भी बेहतर निकला - लगभग पूर्ण अंधेरे, 25-12 एफपीएस, पीआईडी ​​पार्किंग नियंत्रण नियंत्रक, आदि में 6 मीटर से अप्रैलटैग को पकड़ने के लिए आत्मविश्वास से भरा काम।
परिणाम - यह क्षेत्र में काम करने के लिए सबसे अधिक है, बाहरी परिस्थितियों से बचाने के लिए कई चीजों को ध्यान में रखा गया है। एकमात्र चीज जिसे पूरी तरह से सत्यापित नहीं किया जा सकता था, वह उज्ज्वल सूरज में काम था, अक्टूबर के बाद से मौसम खराब हो गया है।

विकास के लिए विचार

और यहां हमारे पास एक विचार था - हमारे हाथों में OpenMV का एक एनालॉग है जिसमें बेहतर हार्डवेयर सुविधाएँ और बड़े पैमाने पर उत्पादन होता है। यह कैमरा के साथ काम को ओपनएमवी स्तर तक लाने के लिए बना हुआ है, वहां माइक्रोप्रिथॉन के लिए, एक सुविधाजनक आईडीई बनाएं और यह जांचें कि ओपनएमवी से वर्तमान स्क्रिप्ट कैसे काम करेगी। इसके अलावा, mRos को पूरी तरह से वहां पोर्ट किया जाता है, और यह तुरंत ROS सिस्टम के लिए ऐसे कैमरों के उपयोग को विस्तारित करता है।

नतीजतन, हम मार्च में ओपनएमवी एनालॉग्स देने और मई तक एमआरआरएस देने की योजना बना रहे हैं।

कैमरे को कस्टमाइज़ करने की कीमत को कम करने के लिए, हम आपको इसे देने के लिए तैयार हैं। फॉर्म भरें और जब हम पहले बैच को ऑर्डर करने के लिए तैयार होंगे तो हम आपसे संपर्क करेंगे।