स्टीरियोपीआई - कंप्यूटर दृष्टि, ड्रोन और रोबोट का अध्ययन करने के लिए हार्डवेयर का हमारा टुकड़ा

सभी को नमस्कार!

आज मैं आपको रास्पबेरी पाई कम्प्यूट मॉड्यूल के आधार पर हार्डवेयर के हमारे नए टुकड़े के बारे में बताना चाहूंगा, जिसे कंप्यूटर विज़न का अध्ययन करने और रोबोट और ड्रोन पर स्थापित करने के लिए डिज़ाइन किया गया है। वास्तव में, यह एक "स्मार्ट" स्टीरियो कैमरा है - यह एक ही समय में दो कैमरों के साथ काम करने का समर्थन करता है, एक "दिल" के रूप में असली रसभरी है और सबसे महत्वपूर्ण बात, रास्पियन के स्टॉक संस्करण के साथ काम करता है।
यहां दो उपकरणों को स्थापित करने और पाई कम्प्यूट मॉड्यूल के साथ इकट्ठे समाधान जैसा दिखता है।



डिवाइस रास्पबियन के स्टॉक संस्करण के साथ काम करता है। दोहरे कैमरा समर्थन को सक्षम करने के लिए आपको केवल हमारी dtblob.bin फ़ाइल को कॉपी करना होगा।

इसका मतलब है कि आप छवियों और वीडियो के साथ काम करने के लिए सामान्य रास्पिड, रास्पिस्टिल और अन्य उपयोगिताओं का उपयोग कर सकते हैं।

संदर्भ के लिए, स्टीरियो मोड के लिए समर्थन रास्पियन में पहले से ही 2014 में दिखाई दिया, साथ ही साथ रास्पबेरी पाई कम्प्यूट के पहले संस्करण की रिलीज के साथ। आप रास्पबेरी फ़ोरम पर स्टीरियो सपोर्ट डेवलपमेंट का इतिहास देख सकते हैं ।

तकनीकी विवरणों का वर्णन करने से पहले, मैं आपको कुछ वास्तविक दुनिया दिखाता हूं कि डिवाइस कैसे काम करता है।

1. छवि पर कब्जा

कोड:

raspistill -3d sbs -w 1280 -h 480 -o 1.jpg 

और आपको निम्नलिखित मिलेंगे:



आप यहां मूल कैप्चर की गई इमेज डाउनलोड कर सकते हैं ।

2. वीडियो पर कब्जा

कोड:

 raspivid -3d sbs -w 1280 -h 480 -o 1.h264 

और आपको निम्नलिखित मिलेंगे:



आप इस लिंक से मूल वीडियो फ़ाइल (mp4 में परिवर्तित) डाउनलोड कर सकते हैं।

3. गहराई मानचित्र बनाने के लिए पायथन और ओपनसीवी का उपयोग करना

इस मामले में, मैंने पिछले 3Dberry प्रोजेक्ट ( https://github.com/realizator/3dberry-turorial ) से थोड़ा संशोधित कोड का उपयोग किया।

इन चित्रों और वीडियो को प्राप्त करने के लिए, हमने कैमरों की इस जोड़ी का उपयोग किया:



ड्रोन पर स्थापना के लिए, हम अक्सर चौड़े कोण (160 डिग्री) का उपयोग करते हैं, ये हैं:

अब लोहे के टुकड़े के बारे में थोड़ा और

तकनीकी विवरण

सामने का दृश्य:



शीर्ष दृश्य:



मुख्य विशेषताएं:
आयाम: 90x40 मिमी
कैमरा: 2 एक्स सीएसआई 15 लेन केबल
GPIO: 40 क्लासिक रास्पबेरी PI GPIO
USB: एक पिन पर 2 x USB टाइप A, 1 USB
ईथरनेट: RJ45
मेमोरी: बाकी नंद (फ्लैश) के लिए माइक्रो एसडी (सीएम 3 लाइट के लिए)
मॉनिटर: एचडीएमआई आउट
बिजली की आपूर्ति: 5 वी डीसी
समर्थित रास्पबेरी: रास्पबेरी पाई कम्प्यूट मॉड्यूल 3, रास्पबेरी पाई मुख्यमंत्री 3 लाइट, रास्पबेरी पाई सीएम 1
समर्थित कैमरों के प्रकार: रास्पबेरी पाई कैमरा OV5647, रास्पबेरी पाई कैमरा सोनी IMX 219, एचडीएमआई (एकल मोड)
नंद फर्मवेयर के लिए: माइक्रोयूएसबी कनेक्टर
पावर स्विच: हाँ, हाँ, यह बात है। पावर रिबूट के लिए कोई और माइक्रोयूएसबी प्लग-इन प्लग!

थोड़ा सा इतिहास

सामान्य तौर पर, यह विचार 2015 में वापस आ गया था। पहला संस्करण 2015 के अंत में पैदा हुआ था। कुछ लोगों को पता है कि हमारी टीम के पास विभिन्न मैकेनिकल गिज़्मो के रिमोट कंट्रोल पर "सनक" है, इसलिए पहली रिलीज़ में बोर्ड पर एक अतिरिक्त चिप स्थापित की गई थी, जिसने हमें 16 पीडब्लूएम आउटपुट दिया - स्टीयरिंग, मोटर्स और अन्य उपयोगी चीजों के लिए।



उस समय तक, बाजार पर कम्प्यूट मॉड्यूल का पहला संस्करण था, बोर्ड पर जो पहले से ही रास्पबेरी से एक पुराना प्रोसेसर था। लोहे के टुकड़े ने वीडियो को कैप्चर करने, कंप्रेस करने और स्ट्रीमिंग करने का बहुत अच्छा काम किया, लेकिन अंत में हम प्रोसेसर में भाग गए। उदाहरण के लिए, यह पहले ही पायलट के लिए h264 स्ट्रीम और सर्वर पर RTMP स्ट्रीम के लिए पर्याप्त नहीं था। और रोबोट बिल्डरों के लिए, मुख्य इच्छा एक गहन मानचित्र और एसएलएएम का उपयोग करके एक अंतरिक्ष मानचित्र का निर्माण करना था - यहां प्रोसेसर की पूरी तरह से कमी थी।



यहां आपके पास कम्प्यूट मॉड्यूल 3 संस्करण निकल रहा है। उन्होंने तीसरे रास्पबेरी से प्रोसेसर डालते हुए, तुरंत पहले संस्करण से तीसरे तक "कूद" दिया। अब इसकी शक्ति पहले से ही मक्खी पर कुछ गणना करने के लिए पर्याप्त थी।

हालांकि, यह पता चला है कि पीढ़ियों को संगत लगता है, लेकिन ऐसा लगता है कि वे बहुत संगत नहीं हैं। तथ्य यह है कि गणना मॉड्यूल 3 एक मिलीमीटर व्यापक था जिसने हमें परेशान नहीं किया। लेकिन पोषण संबंधी आवश्यकताओं को गंभीरता से बदल दिया है।

इसके अलावा, हमने पहले संस्करण के साथ काम करने के परिणामों पर पहले ही टिप्पणियां जमा कर दी हैं, और हमने एक नया रिलीज़ करने का फैसला किया है, जिसमें हमने सभी संचित परिवर्तन किए हैं।

दूसरी पीढ़ी में क्या तय है

कंप्यूट मॉड्यूल 3 के लिए जोड़ा गया समर्थन

हमारे पास एक स्विच करने योग्य बिजली योजना है, इसलिए यदि आप चाहें, तो आप पहले रास्पबेरी के साथ काम कर सकते हैं। यहां चुनाव सरल है: यदि आपको केवल वीडियो प्रसारित करने की आवश्यकता है, तो पहला रास्पबेरी पूरी तरह से पर्याप्त है। एक बोनस के रूप में, यह लगभग तीन गुना कम बिजली की खपत और गर्मी लंपटता के साथ आता है। और आपको कुछ अधिक गंभीर (कुछ वीडियो या कंप्यूटर दृष्टि) गणना करने की आवश्यकता है - तीसरा डाल दिया।

तैनात मॉड्यूल "बोर्ड से चिप्स"

पहले संस्करण में, बोर्ड पर SoDIMM कनेक्टर प्रकार को मिलाया गया था, परिणामस्वरूप, कंप्यूटर मॉड्यूल "माँ को" चिप्स के साथ मिला। कम्प्यूट मॉड्यूल 1 पर, इससे समस्याएं नहीं हुईं - प्रतिशत थोड़ा गर्म हो रहा था, और सामान्य शीतलन के लिए बोर्डों के बीच पर्याप्त अड़चन थी। एक तिहाई के साथ, इस तरह की चाल लुढ़की नहीं होगी, इसलिए हमने कनेक्टर को "चालू" किया, जिसने पूरे बोर्ड को खरोंच से फिर से तार करने में मदद की।

नेटिव माइक्रोएसडी सपोर्ट

डिफ़ॉल्ट रूप से पहले कंप्यूटर मॉड्यूल में एक अंतर्निहित FLASH था, जो माइक्रोएसडी के साथ काम नहीं कर सकता था। हमने दूसरी ड्राइव के रूप में माइक्रोएसडी को वहाँ जोड़ने की कोशिश की, लेकिन हम इसे सपोर्ट करने के लिए एक बड़े बंट में चले गए। एक रास्पबेरी मंच पर कर्नेल श्रमिकों के साथ संचार से पता चला कि समस्या आसान नहीं है (लोड करते समय, बूट के लिए मॉड्यूल ने यादृच्छिक रूप से नंद या माइक्रोएसडी को चुना)। नतीजतन, वर्तमान संशोधन पर हमने संदर्भ रास्पबेरी डेबोर्ड पर तारों को बनाया। यदि कम्प्यूट मॉड्यूल लाइट - बिना अंतर्निहित नंद - हम माइक्रोस्प्रेड के साथ साधारण रसभरी में काम करते हैं। यदि संस्करण लाइट या पहला मॉड्यूल नहीं है, तो माइक्रोएसडी उपलब्ध नहीं है।

कैमरा कनेक्टर्स को ऊपर ले जाएं और 65 मिमी तक फैलाएं

पहले संस्करण में, कनेक्टर्स को बोर्ड के विमान के साथ निर्देशित किया गया था। एक तिपहिया, लेकिन मामले में कई प्रतिष्ठानों के बाद, कई समस्याएं स्पष्ट हो गईं।

• एक कैमरे का लूप कनेक्टर्स से बाहर निकलता है, जो कि मोड़ (विशेष रूप से नीले प्रबलित भाग) को मोड़ने की सलाह नहीं दी जाती है। इसने बेवकूफी से मामले में अनावश्यक स्थान ले लिया और स्थापना को रोक दिया।
• कनेक्टर बहुत करीब थे - इससे केबलों के साथ काम करना बंद हो गया।
• मामले में कैमरे आमतौर पर 65 मिमी के स्टीरियो बेस पर खड़े होते हैं, और बोर्ड पर लगे केबल पास होते हैं। यह पता चला है कि प्रत्येक लूप को अस्वाभाविक रूप से मुड़ा हुआ था - टूटना, आँसू, कनेक्टर्स से बाहर पॉपिंग।

चिप और एक अतिरिक्त 16 पीडब्लूएम को हटा दिया

कई हालिया परियोजनाओं का विश्लेषण करने के बाद, हमने महसूस किया कि यह सुविधा अप्रासंगिक है। सबसे अधिक बार, सॉफ्टवेयर रास्पबेरी PWM पर्याप्त हैं।

जोड़ा गया बिजली स्विच

जो लोग कम से कम रसभरी के साथ थोड़ा काम करते हैं वे समझते हैं कि यह क्या है :-)

किनारे पर पिन पर एक तीसरा यूएसबी जोड़ा

हमारी रास्पबेरी परियोजनाओं में, हमें अक्सर बोर्ड पर यूएसबी डोंगल की आवश्यकता होती है। यदि वे बोर्ड पर कनेक्टर्स में फंस गए हैं, तो हमारे पास बाहर की ओर एक मॉड्यूल चिपका हुआ है। USB एक्सटेंशन केबल का उपयोग करने का प्रयास समस्या को बढ़ा देता है। केवल एक विकल्प था - रास्पबेरी को सीधे वायरिंग टांका लगाना। हमारे द्वारा जोड़ा गया साइड पिन हमें एक साधारण एक्सटेंशन कॉर्ड बनाने और सीधे बोर्ड के साथ एक यूएसबी डोंगल (आमतौर पर वाईफाई या 4 जी) रखने की अनुमति देता है, और यह पूरी अर्थव्यवस्था एक कॉम्पैक्ट मामले में पूरी तरह से फिट बैठती है।

यहाँ एक ऐसी कहानी है जो मैं आज आपको बताना चाहता हूँ। आपके ध्यान के लिए धन्यवाद और सवालों के जवाब देने के लिए तैयार हूं।