आरओएस के साथ एक रास्पबेरी पाई 3 पर मछली की आंख का उपयोग करना - भाग 2

शुभ दोपहर प्रिय पाठकों हेबर! यह रास्पबेरी पाई 3 पर मछली आँख कैमरे का उपयोग करने के बारे में कहानी का दूसरा भाग है। पहला भाग यहां पाया जा सकता है । इस लेख में, मैं फिश आई कैमरे को कैलिब्रेट करने और कैमरा का उपयोग करके ऑब्जेक्ट्स का पता लगाने के लिए find_object_2d पैकेज का उपयोग करने के बारे में बात करूंगा। बिल्ली के नीचे, कौन परवाह करता है।

Camera_calibration का उपयोग करके एक फ़िश आई कैमरे को कैलिब्रेट करें

यहां मैं ros.org पोर्टल पर आधिकारिक मैनुअल के आधार पर अंशांकन प्रक्रिया का वर्णन करता हूं।

अंशांकन करने के लिए, हमें कैमरा-कैलिब्रेशन पैकेज की आवश्यकता होती है। हम इसे उपयुक्त के साथ स्थापित कर सकते हैं:

sudo apt-get install ros-kinetic-camera-calibration 

हमें एक चेकरबोर्ड टेम्पलेट की आवश्यकता होगी। आधिकारिक मैनुअल से ros.org पर टेम्पलेट डाउनलोड करें और इसे प्रिंट करें। सुविधा के लिए, मैंने इसे एक प्लाईवुड बोर्ड पर चिपकाया:



चलो अंशांकन कार्यक्रम चलाते हैं:

 rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.108 image:=/usb_cam/image_raw camera:=/usb_cam 

हमें एक तस्वीर मिलेगी:



टेम्पलेट को थोड़ा स्थानांतरित करें और तब तक प्रतीक्षा करें जब तक कि फ़्रेम में टेम्पलेट का चयन नहीं किया जाता है (डॉट्स के साथ रंगीन रेखाएं टेम्पलेट पर दिखाई नहीं देंगी)।





टेम्प्लेट को थोड़ा और किनारे पर ले जाएं। अंशांकन को सफलतापूर्वक करने के लिए, हमें कैमरे के सामने की तरफ से टेम्पलेट के आंदोलनों की एक श्रृंखला करने की आवश्यकता है ताकि टेम्पलेट कैमरे के दृष्टिकोण (बाएं, दाएं, ऊपर और नीचे) के सभी कोणीय स्थिति में आ जाए। प्रोग्राम विंडो में कैमरा इमेज विंडो के दाईं ओर तीन प्रगति बार के साथ पंजीकरण पैनल है:

• X कैमरे के दृश्य के क्षेत्र में बाईं / दाईं दिशा (क्षैतिज) में पैटर्न की गति को पकड़ता है
• Y कैमरे के दृश्य के क्षेत्र में अप / डाउन दिशा (क्षैतिज) में पैटर्न की गति को पकड़ता है
• आकार कैमरे से टेम्पलेट के दृष्टिकोण / निष्कासन को पकड़ता है और कैमरे के संबंध में झुकाव करता है।
• तिरछा बाएँ, दाएँ, ऊपर और नीचे (बेवल) टेम्पलेट के ढलान को ठीक करता है।

इस प्रकार, सफल अंशांकन के लिए, यह महत्वपूर्ण है कि टेम्पलेट फ्रेम के विभिन्न कोनों में दिखाई देता है, पूरे फ्रेम पर कब्जा कर लेता है और बाएं, दाएं, ऊपर और नीचे झुका हुआ है।

अपने रास्पबेरी पाई पर मछली की आंख का कैमरा कैलिब्रेट करना काफी समय ले सकता है, इसलिए धैर्य रखें। मेरी अंशांकन प्रक्रिया में 20 मिनट लगे।

जब अंशांकन पूरा हो जाता है, तो कैलिब्रेट बटन सक्रिय होना चाहिए (रंग में हाइलाइट किया गया):



हम टर्मिनल में अंशांकन परिणाम भी देख सकते हैं:



यदि आप परिणाम से संतुष्ट हैं, तो COMMIT बटन दबाएँ। कार्यक्रम विंडो बंद हो जाएगी और आपको टर्मिनल में "अंशांकन डेटा लिखना ..." संदेश दिखाई देगा।

जांचें कि निर्दिष्ट फ़ाइल बनाई गई थी:

 ll ~/.ros/camera_info/head_camera.yaml -rw-rw-r-- 1 vladimir vladimir 592 Apr 14 14:02 /home/vladimir/.ros/camera_info/head_camera.yaml 

अंशांकन पूरा हुआ। अब प्राप्त अंशांकन डेटा का उपयोग आरओएस में दृश्य स्थानीयकरण और एसएलएएम एल्गोरिदम में किया जा सकता है।

Find_object_2d का उपयोग करके वस्तुओं का पता लगाना

पैकेज को स्थापित करना काफी सरल है। ROS काइनेटिक के लिए Ubuntu 16.04 में उपयुक्त भंडार से इसे स्थापित करें:

 sudo apt-get install ros-kinetic-find-object-2d source /opt/ros/kinetic/setup.bash 

ROS मास्टर और rqt_image_view चलाएं:

 roscore roslaunch usb_cam usb_cam-test.launch 

निम्न कमांड का उपयोग करके, डिटेक्टर नोड शुरू करें:

 rosrun find_object_2d find_object_2d image:=/usb_cam/image_raw 

डिटेक्शन प्रोग्राम विंडो खुलती है:



यहां हम कैमरे से स्ट्रीम और वस्तुओं पर विशेषता विशेषताओं के पता लगाने का परिणाम देखेंगे।
शुरू करने के लिए, हम अपनी सुविधाओं पर डिटेक्टर प्रशिक्षण आयोजित करेंगे। पहली वस्तु को कैमरे के सामने रखें:



विंडो में ऑब्जेक्ट्स के बाएं पैनल पर राइट-क्लिक करें और विकल्प जोड़ें दृश्य से ऑब्जेक्ट्स खुलेंगे। इस विकल्प का चयन करें और एक ऑब्जेक्ट जोड़ने के लिए विंडो खुल जाएगी:



ऑब्जेक्ट के लिए सबसे अच्छी स्थिति चुनने के बाद, ऑब्जेक्ट की तस्वीर लेने के लिए टेक पिक्चर बटन पर क्लिक करें:



हमें चित्र में ऑब्जेक्ट का चयन करने की आवश्यकता है। ऑब्जेक्ट का चयन करने के लिए माउस कर्सर का उपयोग करें:



चित्र में ऑब्जेक्ट को काटने के लिए नेक्स्ट बटन पर क्लिक करें और अगले चरण पर आगे बढ़ें। छवि को क्रॉप करने के बाद, हमें ऑब्जेक्ट पर पाई गई कुल विशेषताओं की विशेषता मिलती है। यह केवल प्रशिक्षित डिटेक्टर ऑब्जेक्ट्स के डेटाबेस में ऑब्जेक्ट को जोड़ने के लिए एंड बटन दबाने के लिए बनी हुई है। यहां हम किसी ऑब्जेक्ट को जोड़ने के लिए प्रक्रिया का अंतिम चरण देखते हैं:



नतीजतन, हमने डिटेक्टर को एक वस्तु पर प्रशिक्षित किया। अब आप दृश्य में वस्तु का पता लगाने की कोशिश कर सकते हैं:



आइए टर्मिनल के लिए ज्ञात वस्तु की स्थिति बनाएं:

 rosrun find_object_2d print_objects_detected 

आउटपुट इस तरह होगा:

 Object 1 detected, Qt corners at (259.387238,103.530960) (448.684052,79.495495) (282.419050,240.049667) (458.438938,199.656717) --- Object 1 detected, Qt corners at (255.340408,104.615120) (451.348079,75.302353) (284.672425,230.382223) (452.696585,197.625600) --- Object 1 detected, Qt corners at (253.440521,102.973320) (447.226440,76.793541) (278.530854,238.918013) (454.377219,197.526599) --- 

आइए विषयों को सूचीबद्ध करें:

 rostopic list 

सूची में दो नए विषय सामने आए: / ऑब्जेक्ट्स और / ऑब्जेक्ट्सस्टैम्प्ड।

हम पता लगाई गई वस्तुओं के बारे में जानकारी प्रदर्शित करते हैं:

 rostopic echo /objects 

 layout: dim: [] data_offset: 0 data: [1.0, 266.0, 177.0, 0.7527905702590942, 0.060980819165706635, 0.00022385441116057336, 0.3012462854385376, 0.8929792046546936, 0.0008534671505913138, 334.9065856933594, 182.55294799804688, 1.0] --- 

यहां, दूसरा और तीसरा मान (266.0, 177.0) वस्तु की चौड़ाई और ऊंचाई को दर्शाता है। डेटा फ़ील्ड के अन्य सभी मान एक 3x3 होमोग्राफी मैट्रिक्स का प्रतिनिधित्व करते हैं (जिसका उपयोग वस्तु की स्थिति और अभिविन्यास की गणना करने के लिए किया जाता है, साथ ही साथ स्केल और शिफ्ट मान)।

जैसा कि टिप्पणियों से पता चलता है, find_object_2d एक कमजोर बनावट या बिना बनावट (बनावट रहित) के साथ वस्तुओं का पता लगाने का एक खराब काम करता है। इसके अलावा, डिटेक्टर एक बड़े कोण पर वस्तु का पता लगाने पर अप्रभावी होता है (यदि हम पक्ष से वस्तु का निरीक्षण करते हैं), या वस्तु से बड़ी दूरी पर।



डिटेक्टर के साथ काम पूरा करने के बाद, find_object_2d हमें डिस्क में जोड़े गए ऑब्जेक्ट को सहेजने की पेशकश करेगा।

अभी के लिए बस इतना ही। सभी को शुभकामनाएँ और आपको जल्द ही मिलते हैं!