Find_object_2d पैकेज का उपयोग करते हुए ROS में कैमरे से वस्तुओं का पता लगाना और पहचानना

रोबोट ऑपरेटिंग सिस्टम (आरओएस) के लाभों में से एक यह है कि इसमें कई पैकेज हैं जो हमारे अनुप्रयोगों में पुन: उपयोग किए जा सकते हैं। हमारे मामले में, हम वस्तुओं की पहचान और पहचान की एक प्रणाली शुरू करना चाहते हैं। Find_object_2d पैकेज ऑब्जेक्ट्स का पता लगाने के लिए SURF, SIFT, ORB, FAST और BRIEF फ़ंक्शन डिटेक्टर और डिस्क्रिप्टर लागू करता है । इस पैकेज द्वारा प्रदान किए गए ग्राफिकल इंटरफ़ेस का उपयोग करके, हम उन वस्तुओं को चिह्नित कर सकते हैं जिन्हें हम भविष्य में पता लगाने के लिए उनका पता लगाना और सहेजना चाहते हैं। डिटेक्टर नोड कैमरा छवियों में वस्तुओं का पता लगाएगा और विषय के माध्यम से वस्तु विवरण प्रकाशित करेगा। 3 डी सेंसर का उपयोग करके, यह किसी वस्तु की गहराई और अभिविन्यास का मूल्यांकन कर सकता है।

लेख के अंत में, ORB और SIFT एल्गोरिदम के उदाहरण पर वीडियो परीक्षण।

Find_object_2d सेट करना

इस पैकेज को स्थापित करना काफी सरल है। यहाँ इसे Ubuntu 16.04 और ROS काइनेटिक पर स्थापित करने का आदेश दिया गया है:

$ sudo apt-get install ros-kinetic-find-object-2d 

स्रोत से स्थापित करें

ROS कार्यस्थान पर स्विच करें:

 $ cd ~/catkin_ws/src 

स्रोत कोड को src फ़ोल्डर में कॉपी करें:

 $ git clone https://github.com/introlab/find-object.git src/find_object_2d 

कार्यक्षेत्र बनाएँ:

 $ catkin_make 

वेबकैम का उपयोग करके find_object_2d नोड्स चलाना

निम्नलिखित एक वेबकैम के लिए डिटेक्टर नोड शुरू करने की प्रक्रिया है। अगर हम किसी वेबकैम का उपयोग करके किसी ऑब्जेक्ट का पता लगाना चाहते हैं, तो हमें सबसे पहले usb_cam पैकेज (पिछला लेख देखें) इंस्टॉल करना होगा।

1. लॉन्च roscore:

 $ roscore 

2.1 USB कैमरा को कंप्यूटर से कनेक्ट करें और usb_cam ROS ड्राइवर चलाएँ:

 $ roslaunch usb_cam usb_cam-test.launch 

यह USB वेबकैम के लिए ROS ड्राइवर लॉन्च करेगा, और आप इस ड्राइवर में रोस्टोपिक सूची कमांड का उपयोग करके विषय देख सकते हैं। ड्राइवर में विषयों की सूची यहाँ दी गई है:


कैमरा चालक से प्रकाशित विषय

2.2 uvc_camera के माध्यम से कैमरे से वीडियो प्रसारित करने का एक वैकल्पिक तरीका:

 $ rosrun uvc_camera uvc_camera_node 

3. विषयों की सूची से, हम कैमरे से कच्ची छवि के विषय का उपयोग करने जा रहे हैं, जो विषय / usb_cam / image_raw में प्रकाशित होता है। यदि आपको यह विषय मिलता है, तो अगला चरण ऑब्जेक्ट डिस्कवरी नोड लॉन्च करना है। निम्न आदेश ऑब्जेक्ट खोज नोड शुरू करेगा:

 $ rosrun find_object_2d find_object_2d image:=/usb_cam/image_raw 

यह कमांड ऑब्जेक्ट डिटेक्शन विंडो को खोलेगा जिसमें हम कैमरा चैनल और ऑब्जेक्ट्स की विशेषताएं देखते हैं।

4. तो, हम किसी वस्तु का पता लगाने के लिए इसका उपयोग कैसे कर सकते हैं? इस उपकरण का उपयोग करके बुनियादी खोज करने की प्रक्रिया निम्नलिखित हैं:


खोजें-ऑब्जेक्ट डिटेक्शन विंडो

5. आप इस विंडो के बाईं ओर पैनल (ऑब्जेक्ट) पर राइट-क्लिक कर सकते हैं, और आपको दृश्य से ऑब्जेक्ट जोड़ने का अवसर मिलेगा। यदि आप इस विकल्प का चयन करते हैं, तो आपको वर्तमान दृश्य से किसी ऑब्जेक्ट को चिह्नित करने के लिए कहा जाएगा, और चिह्नित पूरा होने के बाद, चिह्नित ऑब्जेक्ट को दृश्य से ट्रैक किया जाना शुरू हो जाएगा। पिछला स्क्रीन शॉट पहला चरण दिखाता है जिसमें किसी ऑब्जेक्ट के साथ एक दृश्य कैप्चर किया जाता है।

6. कैमरे की ओर ऑब्जेक्ट को संरेखित करने के बाद, ऑब्जेक्ट पर क्लिक करने के लिए "टेक पिक्चर" बटन पर क्लिक करें:


ऑब्जेक्ट कैप्चर करने के लिए ऑब्जेक्ट विज़ार्ड जोड़ें

7. अगली खिड़की वर्तमान बंधन से किसी वस्तु को चिह्नित करने के लिए है। निम्नलिखित आंकड़ा यह दर्शाता है। किसी वस्तु को चिह्नित करने के लिए हम माउस कर्सर का उपयोग कर सकते हैं। ऑब्जेक्ट को क्रॉप करने के लिए "अगला" बटन पर क्लिक करें, और आप अगले चरण पर आगे बढ़ सकते हैं:


ऑब्जेक्ट को लेबल करने के लिए ऑब्जेक्ट विज़ार्ड जोड़ें

8. ऑब्जेक्ट को ट्रिम करने के बाद, यह आपको ऑब्जेक्ट के लिए फ़ंक्शन डिस्क्रिप्टर की कुल संख्या दिखाएगा, और आप पता लगाने के लिए ऑब्जेक्ट टेम्पलेट जोड़ने के लिए "एंड" बटन पर क्लिक कर सकते हैं। निम्नलिखित आंकड़ा इस डिटेक्टर आवेदन में एक वस्तु टेम्पलेट जोड़ने का अंतिम चरण दिखाता है:


सुविधाएँ जोड़ें विज़ार्ड का अंतिम चरण

9. बधाई! आपने खोज के लिए एक ऑब्जेक्ट जोड़ा है। अब आप अगले शॉट में दिखाया गया पता लगा सकते हैं। आप खोजे गए ऑब्जेक्ट के चारों ओर बाउंडिंग बॉक्स देख सकते हैं:


खोज-वस्तु विज़ार्ड लॉन्चिंग डिस्कवरी

10. क्या यह पर्याप्त है? वस्तु की स्थिति के बारे में कैसे? हम प्राप्त कर सकते हैं
निम्न आदेश का उपयोग कर वस्तु स्थिति:

 $ rosrun find_object_2d print_objects_detected 

संपत्ति का विवरण

11. आप पता की गई वस्तु के बारे में पूरी जानकारी भी प्राप्त कर सकते हैं
/ विषय की वस्तु। यह विषय वस्तु की चौड़ाई और ऊंचाई और वस्तु और उसके पैमाने और ऑफसेट मूल्यों की स्थिति और अभिविन्यास की गणना करने के लिए होमोग्राफी मैट्रिक्स से मिलकर एक बहुस्त्र्पीय सरणी प्रकाशित करता है। आप इस तरह गूंज / वस्तुओं विषय प्राप्त कर सकते हैं:


थीम / वस्तु मान

12. हम निम्नलिखित समीकरणों से नई स्थिति और अभिविन्यास की गणना कर सकते हैं:


वस्तु की स्थिति की गणना के लिए समीकरण

यहाँ, H एक 3 × 3 मैट्रिक्स की होमोग्राफ़ी है, (X1, y1) संग्रहीत छवि में ऑब्जेक्ट की स्थिति है, और (x2, y2) वर्तमान फ़्रेम में ऑब्जेक्ट की परिकलित स्थिति है।
आप होमोग्राफ मैट्रिक्स का उपयोग करके आगे बढ़ने के लिए print_objected_src नोड के स्रोत कोड की जांच कर सकते हैं।

यहाँ इस नोड के लिए स्रोत कोड है।

ORB और SIFT एल्गोरिदम के उदाहरण का उपयोग करके find_object_2d पैकेज का परीक्षण वीडियो

एल्गोरिथम सारांश: ओआरबी तेज है, लेकिन दूरस्थ वस्तुओं को नहीं देखता है और अक्सर ज्यामिति को सही ढंग से निर्धारित नहीं करता है। SIFT दूरस्थ वस्तुओं को देखता है, ज्यामिति को सटीक रूप से निर्धारित करता है, विपक्ष को बड़े कंप्यूटिंग संसाधनों की आवश्यकता होती है और वाणिज्यिक उपयोग के लिए भुगतान किया जाता है।

EduMIP रोबोट द्वारा हल किए जाने वाले प्रश्न :

1. बीगलबोन ब्लू पर लॉजिटेक सी 9 20 कैमरा से प्राप्त करें जो पहले से ही एक हार्डवेयर-एन्कोडेड वीडियो है और इसे इस रूप में आरओएस में एक बड़े कंप्यूटर पर स्थानांतरित करें।
2. ROS में एक नक्शा बनाने के लिए दूरी सेंसर VL6180X, Vl53l0x और बम्पर कनेक्ट करें। (सहायक उपकरण पहले से ही ऑर्डर किए गए)।
3. आरओएस में एक एल्गोरिथ्म लिखें जो मानचित्र के डेटा को संसाधित करेगा और कैमरे से वस्तुओं का पता लगाएगा और उनके आधार पर आंदोलन का मार्ग तैयार करेगा।

अगर मेरे जैसे रोबोटिक उत्साही हैं जो परियोजना में शामिल होने के लिए तैयार हैं, तो एक व्यक्तिगत ईमेल में लिखें, मुझे उपरोक्त मुद्दों पर मदद की आवश्यकता है।