रोबोट में आँखें जोड़ें

कभी-कभी किसी रोबोट को कुछ हड़पने की जरूरत होती है। वह रोबोट बिना आंखों के जैसे बिना हाथों के। शाब्दिक अर्थों में। सब के बाद, जानते हुए भी जहां झूठ vkusnuypirogek नहीं, रोबोट यह उनकी रोबोट हथियारों के साथ नहीं पहुँच सकते हैं। या अन्य जोड़तोड़ करने वाले।

इस लेख में हम यह पता लगाएंगे कि रोबोट कोऑर्डिनेट सिस्टम और 3 डी कैमरा एसके के बीच स्विच करने में सक्षम होने के लिए रोबोट को कैसे कैलिब्रेट किया जाए।



चरण 1. रोबोट ले लो

हमारे पास डोबोट जादूगर के आइटम होंगे। देखें कि यह वस्तुओं को कैसे स्थानांतरित करेगा - इंटेल रियलेंस डी 435। और कैलिब्रेशन ऑब्जेक्ट को एक लाल गेंद होना होगा।

इस तरह वे एक साथ दिखते हैं।



लाल गेंद को चुना जाता है न कि किसी को क्रिसमस ट्री को सजाने के लिए । लाल - ताकि यह आसानी से छवि में पाया जा सके (दूसरे नेटवर्क को सीखे बिना)। गेंद - छवि में इसके केंद्र की अधिक सटीक गणना करने के लिए। लेकिन हम बाद में इस पर वापस आएंगे।

चरण 2. जहां रोबोट गेंद को घुमाता है

अंशांकन एल्गोरिदम को निम्नानुसार वर्णित किया जा सकता है:

1. अंतरिक्ष में स्थिति की एक सूची बनाएँ
2. रोबोट गेंद को सूची के माध्यम से ले जाता है, इसके साथ चित्र लेता है।
3. प्रत्येक छवि के लिए हमें गेंद के निर्देशांक मिलते हैं
4. हम रोबोट निर्देशांक के लिए कैमरा निर्देशांक के रूपांतरण की गणना करते हैं

यथासंभव उपलब्ध स्थान को कवर करने के लिए पदों को चुना जाना चाहिए। एक छोटी गेंद न लेना बेहतर है, इससे अंशांकन सटीकता कम हो जाएगी।

हम यहां अंशांकन रिकॉर्ड करने के लिए कोड नहीं देंगे, क्योंकि यह रोबोट पर ही निर्भर है, कैमरा, पर्यावरण जिसमें सब कुछ निष्पादित होता है (उदाहरण के लिए, हमने इसे आरओएस में किया था)। महत्वपूर्ण बात यह है कि आगे के अंशांकन के लिए, आप मैन्युअल मोड में भी फ़ोटो ले सकते हैं, रोबोट को पदों पर भेजने और फ़ोटो को सहेजने के लिए कदम भेज सकते हैं।

केवल आवश्यकता यह है कि कैमरा और रोबोट के सापेक्ष स्थान हर समय अपरिवर्तित रहें। हम यह भी अनुशंसा करते हैं कि आप सत्यापन के लिए छवियों के दूसरे सेट को तुरंत शूट करें - यह मूल्यांकन करने के लिए कि कैलिब्रेशन की गणना कितनी सही थी।

चरण 3. निर्देशांक प्राप्त करें

हम मैनिपुलेटर के निर्देशांक को जानते हैं, क्योंकि हम विशेष रूप से सूची में निर्दिष्ट पदों पर रोबोट को भेजते हैं। बड़ी संख्या में स्वतंत्रता के साथ रोबोट के लिए, आपको अधिक मापदंडों को निर्दिष्ट करना होगा, लेकिन हमारे 4-अक्षीय रोबोट शाखा में, स्थिति विशिष्ट रूप से रोबोट शाखा के सिरे के निर्देशांक द्वारा निर्धारित की जाती है। तो हम सिर्फ उन पदों को रखते हैं जिसमें हाथ चले गए।



गेंद की छवियों के लिए, इसके निर्देशांक की गणना की जानी बाकी है। हम अंशांकन के लिए एक अच्छी तरह से चुनी गई वस्तु का उपयोग करेंगे। हम "लाल का सबसे बड़ा क्षेत्र खोजने" के रूप में एक गेंद को खोजने के कार्य में सुधार करते हैं, जो कि अजगर + opencvv पर ध्वनि करेगा:

def get_center(image): #       image = cv2.GaussianBlur(image, (7, 7), 0) #     HSV hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV) #    saturation = hsv[...,1] saturation[(hsv[..., 0] > 15) & (hsv[..., 0] < 165)] = 0 _, image1 = cv2.threshold(saturation, 92, 255, cv2.THRESH_BINARY) #     contours = cv2.findContours(image1, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[0] contour = max(contours, key=cv2.contourArea) #    b_circle = cv2.minEnclosingCircle(contour) return b_circle[0] 

आइए एक नज़र डालें।

इस तरह अंतरिक्ष एचएसवी छवि दिखता में रूपांतरण के बाद:



के रूप में देखा जा सकता है, अंधेरे पिक्सेल छाया (रंग) शोर पर्याप्त के लिए और विभाजन के लिए एक अतिरिक्त कसौटी की जरूरत है। केवल लाल पिक्सेल को छोड़ दें $$$\ text {hue} [u, v] \ में [-15; १५]$, और संतृप्ति चैनल को देखो। इस चैनल पर, अंशांकन गेंद स्पष्ट रूप से बाहर खड़ी है।

तब अंतिम मानदंड इस तरह दिखेगा:

• जांचें कि शेड लगभग लाल है
• हम पूर्व निर्धारित सीमा से अधिक संतृप्ति के साथ ही पिक्सल छोड़
• छवि को बड़ा करें

जिसके बाद हमें निम्नलिखित जैसा कुछ मिलता है:



अब आपको गोले के केंद्र के निर्देशांक खोजने की आवश्यकता है। विभिन्न दृष्टिकोण हैं, उदाहरण के लिए, आप गोले के 3 डी मॉडल को एक बिंदु क्लाउड पर अनुकूलित कर सकते हैं। हालाँकि, Realsense D435 के लिए, वस्तुओं की सीमाओं पर गहराई मूल्य काफी शोर है, इसलिए हम एक अलग तरीके से जाएंगे।

हम मानते हैं यहां गेंद कि - सबसे बड़ा जुड़ा क्षेत्र। फिर हम इसका केंद्र ढूंढते हैं और चैनल की गहराई से गेंद की सतह पर इस बिंदु की गहराई का पता लगाते हैं। और स्टीरियोमीटर से थोड़ी मदद के साथ, गेंद की सतह पर दिखाई देने वाले बिंदु से उसके केंद्र तक चलते हैं।

गेंद के केंद्र खोजने के लिए, ज्ञान का उपयोग कि प्रक्षेपण एक चक्र होना चाहिए, और हम (हमें रोकने के लिए लेकिन चूसने वाला रोबोट की कोशिश करता) केंद्र के एक निष्पक्ष अनुमान प्राप्त करना चाहते हैं। यहां यह न्यूनतम क्षेत्र का एक सर्कल खोजने के लिए पर्याप्त है जो इस क्षेत्र का वर्णन करता है, और यह पहले से ही opencv - minEnclosingCircle में तय किया गया है।

पिक्सल में दो अंक के निर्देशांक u, v और इसे करने के लिए मिलीमीटर में गहराई प्राप्त करने के बाद, उन्हें कक्ष अनुसूचित जाति में शारीरिक निर्देशांक में अनुवाद:

 def get_world_coords(u, v, depth, camera_matrix): f = np.linalg.inv(camera_matrix) l = np.array([u,v,1]) * depth return np.dot(f,l) 

camera_matrix - सूत्र के अनुसार, कैमरे के आंतरिक मापदंडों का मैट्रिक्स।

चरण 4. अंशांकन प्रदर्शन करें

फिलहाल, हमें अंतरिक्ष में विभिन्न पदों के लिए बिंदुओं के 2 सेट प्राप्त हुए हैं: क्षेत्र के शीर्ष के निर्देशांक - वह बिंदु जिसके लिए गेंद रोबोट के SC में रोबोट को चूसती है, और गेंद के दृश्य केंद्र के निर्देशांक - कैमरे के SC में कैमरे के निकटतम क्षेत्र का बिंदु। उनकी तुलना करने के लिए, आपको पहले उन्हें गेंद के एक भौतिक बिंदु पर लाना होगा।

और सबसे आसान तरीका इन बिंदुओं को गेंद के केंद्र में अनुवाद करना है। मापने त्रिज्या r = 24mm। तब यह स्पष्ट है कि स्पर्शरेखा K के बिंदु से गेंद O के केंद्र के निर्देशांक कैसे प्राप्त करें - Z अक्ष के साथ स्पर्श हमेशा 1 त्रिज्या अधिक होता है।

यह दृश्य क्षेत्र के V केंद्र के निर्देशांक को गेंद O के केंद्र के निर्देशांक में अनुवाद करने के लिए बना हुआ है । यह कैसे करें, यह समझाने के लिए, आकृति का उपयोग करें:



ऐसा लगता है कि गेंद की वास्तविक केंद्र हे हमेशा स्पष्ट वी बिंदु से वास्तव में 1 glbuzhe त्रिज्या है। इसका मतलब यह है कि पाया त्रिज्या वेक्टर 24 मिमी से बढ़ाया जाना चाहिए।

$$

$$\ वीइसी {सीओ} = \ vec {सीवी} + \ frac {\ vec {सीवी}} {| \ vec {सीवी} |} r$$

थोड़ा बहुत रहता है - 3 डी के 2 सेट एक ही भौतिक बिंदुओं के अनुरूप होते हैं, पहले सेट के दूसरे में परिवर्तन का पता लगाएं। हम इसके लिए opencv cv2.estimateAffine3D फ़ंक्शन का उपयोग करेंगे। आदर्श रूप से पाए गए निर्देशांक के लिए, चक्कर का परिवर्तन निश्चित रूप से गणना का है, बिंदुओं के परिवर्तन का वर्णन करने के लिए, रोटेशन और विस्थापन पर्याप्त हैं, खिंचाव अतिरेक होगा। हालांकि, affine परिवर्तन का उपयोग आपको आंतरिक कैमरा मापदंडों के खराब गणना वाले मैट्रिक्स के साथ अशुद्धियों की भरपाई करने की अनुमति देता है। इससे भी अधिक है कि तुलना में - यह उन सब में जानने के बिना अंशांकन अनुमति देता है।

 transformation = cv2.estimateAffine3D(camera_coords, robot_coords) 

आउटपुट एक 3x4 ट्रांसफ़ॉर्मेशन मैट्रिक्स है, पहले 3x3 घटक एक्सिस के साथ एक्सटेंशन के साथ संयुक्त रोटेशन मैट्रिक्स हैं। सही कैमरा अंशांकन और अच्छे इनपुट डेटा के साथ, आपको रोटेशन मैट्रिक्स के करीब एक मैट्रिक्स प्राप्त करना चाहिए। शेष 3 नंबर कैमरे और रोबोट के बीच विस्थापन वेक्टर हैं।

चरण 5. हम अंशांकन का उपयोग करते हैं

प्राप्त अंशांकन का उपयोग करने के लिए, संकेतित परिवर्तनों को दोहराना आवश्यक है। हम उन्हें एक एकल एल्गोरिथ्म में लाते हैं।

1. हम आरजीडी छवि पर बिंदु यू, वी, हमारे लिए ब्याज की गहराई के निर्देशांक पाते हैं
2. उन्हें में शारीरिक निर्देशांक एक्स, वाई, ब्रिटेन में जेड मैट्रिक्स कैमरा आंतरिक मानकों द्वारा अनुवाद करें
3. एक गेंद के मामले में, हमारे लिए रुचि का बिंदु गेंद की गहराई में है $$$v '= \ frac {| v | + r} {| v |} \ cdot v, v = [x, y, z]$
4. हम पाए गए परिवर्तन को लागू करते हैं, जिसे हम मैट्रिक्स टी द्वारा दर्शाते हैं
   $$$v '' = T \ टाइम्स [v'_0, v'_1, v'_2, 1] ^ T$
5. हम ब्रिटेन रोबोट में गेंद के केंद्र के निर्देशांक मिला है। ताकि रोबोट गेंद को छेदने की कोशिश न करे, हम नियंत्रण के लिए उच्च बिंदु 1 त्रिज्या भेजते हैं $$$v '' '= [v' '_ 0, v' '_ 1, v' '_ 2 + r]$

अंशांकन सटीकता

हमने 9 पदों पर अंशांकन की गणना की। 6 और पदों के सत्यापन सेट पर, 2.5x की सटीकता के साथ 16x30x5 सेमी के कार्य क्षेत्र के साथ प्राप्त किया गया था। ऐसा करने के लिए, हमने शेष छवियों में पाया गया परिवर्तन लागू किया और त्रुटि वेक्टर की औसत लंबाई की गणना की।

चरण 6. हम लागू कार्यों में उपयोग करते हैं

अंशांकन करने के बाद, आप वास्तविक समस्याओं को हल करना शुरू कर सकते हैं। उदाहरण के लिए, हमने नियंत्रकों के साथ एक वीआर हेलमेट को जोड़ा और रोबोट को नियंत्रित करने और आभासी वास्तविकता में क्यूब्स को स्थानांतरित करने में सक्षम थे।


लेकिन यह अंशांकन विधि काफी सामान्य है। इससे कोई फर्क नहीं पड़ता कि किस कैमरा और रोबोट का उपयोग किया जाता है, वर्णित विधि रोबोट और कैमरे के समन्वय प्रणालियों के बीच संबंधों की गणना करना आसान बनाती है। इसके अलावा, छोटे परिवर्तनों के साथ, विधि स्वायत्त है ताकि रोबोट स्वचालित रूप से अंशांकन कर सके, समय के साथ कैमरा रोबोट के सापेक्ष आगे बढ़ जाएगा।

वासुतुका और ज़्लोडीबैल और मेरी योजना है कि अगर यह दिलचस्प है तो रोबोट, वीआर और मशीन लर्निंग की दुनिया के बारे में बात करना जारी रखेंगे। और अंशांकन स्रोत मेरे भूगोल में पाए जा सकते हैं।