बहुमुखी लेगो भाग छँटाई डिवाइस में उच्च गति मशीन दृष्टि

पिछले कुछ वर्षों से, मैं ऐसी मशीन का डिजाइन और निर्माण कर रहा हूं जो लेगो भागों को पहचान और क्रमित कर सकती है। मशीन का सबसे महत्वपूर्ण हिस्सा कैप्चर यूनिट है , एक छोटा, लगभग पूरी तरह से संलग्न डिब्बे जिसमें एक कन्वेयर बेल्ट, प्रकाश व्यवस्था और एक कैमरा है।


प्रकाश आप थोड़ा कम देखेंगे।

कैमरा कन्वेयर के माध्यम से आने वाले लेगो भागों की तस्वीरें लेता है, और फिर छवियों को वायरलेस रूप से एक सर्वर पर स्थानांतरित करता है जो हजारों संभावित लेगो तत्वों के बीच के हिस्से को पहचानने के लिए एक कृत्रिम बुद्धिमत्ता एल्गोरिथ्म चलाता है। मैं आपको भविष्य के लेखों में AI एल्गोरिथ्म के बारे में अधिक बताऊंगा, और यह लेख वीडियो कैमरा के कच्चे आउटपुट और तंत्रिका नेटवर्क के इनपुट के बीच होने वाली प्रसंस्करण पर ध्यान केंद्रित करेगा।

मुख्य समस्या जो मुझे हल करने की ज़रूरत थी, वह वीडियो स्ट्रीम को कन्वेयर से उन हिस्सों की अलग-अलग छवियों में परिवर्तित कर रही थी जो एक तंत्रिका नेटवर्क का उपयोग कर सकते हैं।


अंतिम लक्ष्य: उन्हें एक तंत्रिका नेटवर्क में स्थानांतरित करने के लिए एक ही आकार (दाईं ओर) की छवियों के एक सेट पर एक कच्चे वीडियो (बाईं ओर) से स्विच करना। (वास्तविक काम की तुलना में, जिफ़ लगभग आधा है)

यह एक कार्य का एक शानदार उदाहरण है जो सतह पर सरल लगता है, लेकिन वास्तव में कई अद्वितीय और दिलचस्प बाधाएं पैदा करता है, जिनमें से कई मशीन विजन प्लेटफॉर्म के लिए अद्वितीय हैं।

किसी छवि के सही हिस्सों को इस तरह से प्राप्त करना अक्सर ऑब्जेक्ट डिटेक्शन कहलाता है। यह वही है जो मुझे करने की आवश्यकता है: वस्तुओं की उपस्थिति, उनके स्थान और आकार की पहचान करने के लिए, ताकि आप प्रत्येक फ्रेम पर प्रत्येक भाग के लिए बाउंडिंग आयतें उत्पन्न कर सकें।


सबसे महत्वपूर्ण बात यह है कि अच्छी बाउंडिंग बॉक्स मिलें (हरे रंग में ऊपर दिखाए गए)

मैं समस्या को हल करने के तीन पहलुओं पर विचार करूंगा:

• अनावश्यक चरों को खत्म करने की तैयारी
• सरल मशीन दृष्टि संचालन से एक प्रक्रिया बनाना
• सीमित संसाधनों के साथ रास्पबेरी पाई प्लेटफॉर्म पर पर्याप्त प्रदर्शन बनाए रखना

अनावश्यक चर का उन्मूलन

ऐसे कार्यों के मामले में, मशीन दृष्टि तकनीकों का उपयोग करने से पहले यथासंभव अधिक से अधिक चर को समाप्त करना सबसे अच्छा है। उदाहरण के लिए, मुझे पर्यावरण की स्थिति, विभिन्न कैमरा स्थिति, दूसरों द्वारा कुछ हिस्सों के अतिव्यापी होने के कारण जानकारी के नुकसान के बारे में चिंता नहीं करनी चाहिए। बेशक, यह संभव है (यद्यपि बहुत कठिन) इन सभी चर को प्रोग्रामेटिक रूप से हल करना, लेकिन सौभाग्य से मेरे लिए, यह मशीन खरोंच से बनाई गई है। मैं खुद एक सफल समाधान के लिए तैयार कर सकता हूं, इससे पहले कि मैंने कोड लिखना शुरू कर दिया, सभी हस्तक्षेप को समाप्त कर दें।

पहला कदम दृढ़ता से कैमरे की स्थिति, कोण और फ़ोकस को ठीक करना है। इसके साथ, सब कुछ सरल है - सिस्टम में, कैमरे को कन्वेयर के ऊपर रखा गया है। मुझे अन्य हिस्सों से हस्तक्षेप के बारे में चिंता करने की आवश्यकता नहीं है; अवांछित वस्तुओं के पास कैप्चर यूनिट में आने का लगभग कोई मौका नहीं है। थोड़ा और अधिक जटिल है, लेकिन निरंतर प्रकाश व्यवस्था की स्थिति सुनिश्चित करना बहुत महत्वपूर्ण है। मुझे एक भौतिक वस्तु के रूप में टेप के साथ एक चलते हुए हिस्से की छाया की गलती से व्याख्या करने के लिए ऑब्जेक्ट पहचानकर्ता की आवश्यकता नहीं है। सौभाग्य से, कैप्चर यूनिट बहुत छोटा है (कैमरे के देखने का पूरा क्षेत्र रोटी के एक पाव से छोटा है), इसलिए मेरे पास आसपास की स्थितियों पर पर्याप्त नियंत्रण नहीं था।


कैप्चर यूनिट, अंदर का दृश्य। कैमरा फ्रेम के ऊपरी तीसरे भाग में है।

एक समाधान यह है कि डिब्बे को पूरी तरह से संलग्न किया जाए ताकि कोई बाहरी प्रकाश अंदर न आए। मैंने एक प्रकाश स्रोत के रूप में एलईडी स्ट्रिप्स का उपयोग करके इस दृष्टिकोण की कोशिश की। दुर्भाग्य से, प्रणाली बहुत मूडी हो गई - मामले में सिर्फ एक छोटा छेद पर्याप्त है और प्रकाश डिब्बे में घुस जाता है, जिससे वस्तुओं को पहचानना असंभव हो जाता है।

अंत में, सबसे अच्छा समाधान छोटे डिब्बे को मजबूत प्रकाश से भरकर अन्य सभी प्रकाश स्रोतों को "रोकना" था। यह पता चला कि प्रकाश स्रोत जिनका उपयोग आवासीय परिसर को रोशन करने के लिए किया जा सकता है, बहुत सस्ते और उपयोग में आसान हैं।


छाया जाओ!

जब स्रोत को छोटे डिब्बे में निर्देशित किया जाता है, तो यह पूरी तरह से सभी संभावित बाहरी प्रकाश हस्तक्षेप को रोक देता है। इस तरह की प्रणाली का एक सुविधाजनक साइड इफेक्ट भी है: कैमरे में बड़ी मात्रा में प्रकाश के कारण, आप एक बहुत ही उच्च शटर गति का उपयोग कर सकते हैं, कन्वेयर के साथ जल्दी से आगे बढ़ने पर भी भागों की पूरी तरह से स्पष्ट छवियां प्राप्त कर सकते हैं।

वस्तु मान्यता

मैंने इस सुंदर वीडियो को एक समान रोशनी के साथ चालू करने के लिए कैसे प्रबंधित किया जो मुझे आवश्यक बाउंडिंग बॉक्स में मिला? यदि आप एआई के साथ काम करते हैं, तो आप सुझाव दे सकते हैं कि मैं ऑब्जेक्ट मान्यता के लिए एक तंत्रिका नेटवर्क को लागू कर सकता हूं जैसे कि YOLO या फास्टर आर-सीएनएन । ये तंत्रिका नेटवर्क आसानी से कार्य का सामना कर सकते हैं। दुर्भाग्य से, मैं रास्पबेरी पाई पर ऑब्जेक्ट मान्यता कोड निष्पादित कर रहा हूं। यहां तक ​​कि एक शक्तिशाली कंप्यूटर में इन दोषपूर्ण तंत्रिका नेटवर्क को निष्पादित करने में समस्याएं होती हैं जो मुझे 90FPS की आवश्यकता होती है। और रास्पबेरी पाई, जिसमें एआई-संगत जीपीयू नहीं है, ऐसे एआई-एल्गोरिदम में से एक के बहुत छीन-डाउन संस्करण के साथ सामना नहीं कर सका। मैं Pi से दूसरे कंप्यूटर पर वीडियो स्ट्रीम कर सकता हूं, लेकिन रियल-टाइम वीडियो ट्रांसमिशन एक बहुत ही मूडी प्रक्रिया है, और देरी और बैंडविड्थ सीमाएं गंभीर समस्याएं पैदा करती हैं, खासकर जब आपको उच्च डेटा ट्रांसफर गति की आवश्यकता होती है।


YOLO बहुत अच्छा है! लेकिन मुझे इसके सभी कार्यों की आवश्यकता नहीं है।

सौभाग्य से, मैं "ओल्ड-स्कूल" मशीन विजन तकनीकों का उपयोग करके एक मुश्किल AI- आधारित समाधान से बच सकता था। पहली तकनीक पृष्ठभूमि घटाव है , जो छवि के सभी परिवर्तित भागों को अलग करने की कोशिश करता है। मेरे मामले में, केवल एक चीज जो कैमरे के दृश्य के क्षेत्र में चलती है वह है लेगो विवरण। (बेशक, टेप भी चलता है, लेकिन चूंकि इसमें एक समान रंग है, यह कैमरे के लिए स्थिर लगता है)। इन लेगो विवरणों को पृष्ठभूमि से अलग करें, और समस्या का आधा हल हो गया है।

काम करने के लिए पृष्ठभूमि घटाव के लिए, अग्रभूमि वस्तुओं को पृष्ठभूमि से काफी अलग होना चाहिए। लेगो विवरण में रंगों की एक विस्तृत श्रृंखला होती है, इसलिए मुझे पृष्ठभूमि के रंग को बहुत सावधानी से चुनना पड़ा, ताकि यह लेगो रंगों से जितना हो सके दूर रहे। यही कारण है कि कैमरे के नीचे टेप कागज से बना है - यह न केवल बहुत सजातीय होने की आवश्यकता है, बल्कि लेगो से मिलकर भी नहीं हो सकता है, अन्यथा इसमें उन हिस्सों में से एक का रंग होगा जिसे मुझे पहचानने की आवश्यकता है! मैंने पीला गुलाबी चुना, लेकिन साधारण लेगो रंगों के विपरीत कोई भी अन्य पेस्टल रंग, करूँगा।

अद्भुत OpenCV लाइब्रेरी में पहले से ही पृष्ठभूमि घटाव के लिए कई एल्गोरिदम हैं। MOG2 बैकग्राउंड सबट्रैक्टर उनमें से सबसे जटिल है, और साथ ही यह रास्पबेरी पाई पर भी अविश्वसनीय रूप से तेजी से काम करता है। हालाँकि, MOG2 को सीधे वीडियो फ्रेम खिलाना बहुत अच्छा काम नहीं करता है। हल्के भूरे और सफेद आंकड़े एक पीला पृष्ठभूमि की चमक के बहुत करीब हैं और उस पर खो जाते हैं। मुझे उस पर भागों से टेप को स्पष्ट रूप से अलग करने के लिए एक तरह से आने की जरूरत थी, पृष्ठभूमि सबट्रैक्टर को रंग पर अधिक बारीकी से देखने का आदेश दिया, और चमक पर नहीं। ऐसा करने के लिए, यह मेरे लिए एक पृष्ठभूमि सबट्रैक्टर में स्थानांतरित करने से पहले छवियों की संतृप्ति को बढ़ाने के लिए पर्याप्त था। परिणामों में काफी सुधार हुआ है।

पृष्ठभूमि को घटाने के बाद, मुझे जितना संभव हो उतना शोर से छुटकारा पाने के लिए रूपात्मक संचालन का उपयोग करने की आवश्यकता थी। श्वेत क्षेत्रों के आकृति को खोजने के लिए, आप OpenCV लाइब्रेरी के खोजकंट्रो () फ़ंक्शन का उपयोग कर सकते हैं। शोर युक्त लूपों को डिफ्लेक्ट करने के लिए कई तरह के प्रयोग करने से आप इन लूपों को पूर्वनिर्धारित बाउंडिंग बॉक्स में आसानी से बदल सकते हैं।

उत्पादकता

एक तंत्रिका नेटवर्क एक प्रचंड प्राणी है। वर्गीकरण में सर्वोत्तम परिणामों के लिए, उसे अधिकतम रिज़ॉल्यूशन और यथासंभव बड़ी मात्रा में छवियों की आवश्यकता होती है। इसका मतलब यह है कि मुझे छवि गुणवत्ता और रिज़ॉल्यूशन बनाए रखते हुए उन्हें बहुत उच्च फ्रेम दर पर शूट करना होगा। मुझे कैमरे और जीपीयू रास्पबेरी पीआई से अधिकतम संभव निचोड़ करना होगा।

पिकमेरा के लिए एक बहुत विस्तृत दस्तावेज का कहना है कि V2 कैमरा चिप प्रति सेकंड 90 फ्रेम की अधिकतम आवृत्ति के साथ 1280x720 पिक्सल के आकार का चित्र बना सकता है। यह एक अविश्वसनीय मात्रा में डेटा है, और हालांकि कैमरा इसे उत्पन्न कर सकता है, इसका मतलब यह नहीं है कि एक कंप्यूटर इसे संभाल सकता है। अगर मुझे कच्चे 24-बिट आरजीबी चित्रों को संसाधित करना था, तो मुझे लगभग 237 एमबी / एस की गति से डेटा स्थानांतरित करना होगा, जो कि पाई कंप्यूटर और एसडीआरएएम दोनों के खराब जीपीयू के लिए बहुत अधिक है। जेपीईजी में GPU त्वरित संपीड़न का उपयोग करते समय भी, 90fps हासिल नहीं किया जा सकता है।

रास्पबेरी पाई कच्चे, अनफ़िल्टर्ड YUV छवियों को प्रदर्शित करने में सक्षम है। यद्यपि RGB के साथ काम करना अधिक कठिन है, YUV के पास वास्तव में कई सुविधाजनक गुण हैं। उनमें से सबसे महत्वपूर्ण यह है कि यह प्रति पिक्सेल केवल 12 बिट्स संग्रहीत करता है (आरजीबी के लिए यह 24 बिट्स है)।


Y के प्रत्येक चार बाइट्स में एक बाइट U और एक बाइट V होता है, यानी प्रति पिक्सेल 1.5 बाइट्स।

इसका मतलब यह है कि आरजीबी फ्रेम की तुलना में, मैं दो बार कई यूयूवी फ्रेम की प्रक्रिया कर सकता हूं, और यह अतिरिक्त समय की गिनती नहीं कर रहा है जो जीपीयू को आरजीबी छवि में बदलने पर बचाता है।

हालांकि, यह दृष्टिकोण प्रसंस्करण प्रक्रिया पर अद्वितीय प्रतिबंध लगाता है। एक पूर्ण आकार के वीडियो फ्रेम के साथ अधिकांश ऑपरेशन बहुत बड़ी मात्रा में मेमोरी और सीपीयू संसाधनों का उपभोग करेंगे। मेरी सख्त समय सीमा के भीतर, एक पूर्ण-स्क्रीन YUV फ्रेम को डिकोड करना भी संभव नहीं है।

सौभाग्य से, मुझे पूरे फ्रेम को संसाधित करने की आवश्यकता नहीं है! वस्तुओं की पहचान के लिए, आयतों को बांधना सटीक नहीं है, अनुमानित सटीकता पर्याप्त है, इसलिए वस्तुओं को पहचानने की पूरी प्रक्रिया को बहुत छोटे फ्रेम के साथ किया जा सकता है। ज़ूम-आउट ऑपरेशन को पूर्ण-आकार के फ़्रेम के सभी पिक्सेल को ध्यान में रखने की आवश्यकता नहीं है, इसलिए फ़्रेम को बहुत तेज़ी से और बिना किसी लागत के कम किया जा सकता है। फिर परिणामी बाउंडिंग आयतों का पैमाना फिर से बढ़ जाता है और इसका उपयोग पूर्ण आकार के YUV फ्रेम से वस्तुओं को काटने के लिए किया जाता है। इसके लिए धन्यवाद, मुझे पूरे उच्च-रिज़ॉल्यूशन फ़्रेम को डिकोड करने या अन्यथा संसाधित करने की आवश्यकता नहीं है।


सौभाग्य से, इस YUV प्रारूप के भंडारण विधि के लिए धन्यवाद (ऊपर देखें), यह तेजी से क्रॉपिंग और ज़ूमिंग कार्यों को लागू करना बहुत आसान है जो सीधे YUV प्रारूप के साथ काम करते हैं। इसके अलावा, पूरी प्रक्रिया को बिना किसी समस्या के चार पाई कोर के समानांतर किया जा सकता है। हालांकि, मुझे पता चला कि सभी कोर अपनी पूरी क्षमता के लिए उपयोग नहीं किए जाते हैं, और यह हमें बताता है कि मेमोरी बैंडविड्थ अभी भी अड़चन है। लेकिन फिर भी, मैं अभ्यास में 70-80FPS हासिल करने में कामयाब रहा। स्मृति उपयोग का गहन विश्लेषण आगे भी चीजों को गति देने में मदद कर सकता है।

---

यदि आप इस परियोजना के बारे में अधिक जानना चाहते हैं, तो मेरे पिछले लेख को पढ़ें, "मैंने सीखने के लिए 100 हजार से अधिक लेबल वाले लेगो इमेज कैसे बनाए । "

संपूर्ण छँटाई मशीन के संचालन का वीडियो: