आरओएस में विज़ुअल ओडोमेट्री मेथड्स का अवलोकन: डेप्थ कैमरा का उपयोग करना

शुभ दोपहर, प्रिय पाठकों! आरओएस रोबोटिक प्लेटफॉर्म पर पिछले लेखों में, मैंने स्थानीयकरण और मानचित्रण के विषय पर छुआ, विशेष रूप से, हमने एसएलएएम विधियों का अध्ययन किया: लेख में gmapping और लेख में hector_slam। इस लेख में, मैं आरओएस में स्थानीयकरण एल्गोरिदम के साथ खुद को परिचित करना जारी रखूंगा और आरओएस प्लेटफॉर्म पर लागू कई दृश्य ओडोमेट्री एल्गोरिदम का अवलोकन प्रदान करूंगा। रोबोटिक्स में विज़ुअल ओडोमेट्री महत्वपूर्ण है क्योंकि यह आपको कैमरे से वीडियो स्ट्रीम के आधार पर रोबोट की गति, इसकी वर्तमान स्थिति और त्वरण का मूल्यांकन करने की अनुमति देता है। आप या तो एक नियमित आरजीबी कैमरा (इस मामले में, मोनोक्रोम ओडोमेट्री के बारे में बात कर), या एक स्टीरियो कैमरा (स्टीरियो ओडोमेट्री) और यहां तक ​​कि एक आरजीडी कैमरा का उपयोग कर सकते हैं।

Microsoft Kinect जैसे RGBD कैमरों का उपयोग करते समय, स्टीरियो कैमरों की तुलना में अधिक सटीक दृश्य ओडोमेट्री प्राप्त करना संभव है, क्योंकि इस मामले में हम 3 डी डेटा का उपयोग करते हैं। इस लेख में हम ऐसे एल्गोरिदम पर विचार करेंगे। इस विषय में दिलचस्पी किसे है, कृपया बिल्ली के नीचे।

rtabmap

rtabmap अनिवार्य रूप से एक ROS SLAM एल्गोरिथ्म है। इस पैकेज में, SLAM के लिए औजारों के अलावा, दृश्य ओडोमेट्री के विभिन्न तरीकों के परीक्षण के लिए एक ओडोमेट्री व्यूअर एप्लिकेशन है। Rtabmap में, दृश्य ओडोमेट्री निम्नानुसार काम करती है: ओडोमेट्री की गणना करने के लिए, एल्गोरिथ्म आरजीबी छवियों और गहराई डेटा से प्राप्त दृश्य विशेषताओं का गहराई से उपयोग करता है। दो छवियों के बीच मिलान दृश्य विशेषताओं (मिलान) का उपयोग करते हुए, RANSAC एल्गोरिथ्म लगातार फ्रेम के बीच परिवर्तन की गणना करता है।

आरओएस इंडिगो और काइनेटिक पर आरटैम्प स्थापित करना एप्ट-गेट के माध्यम से बहुत सरल है:

sudo apt-get install ros-<version>-rtabmap ros-<version>-rtabmap-ros 

आप स्रोत से rtabmap और rtabmap_ros भी सेट कर सकते हैं:

 source /opt/ros/<version>/setup.bash cd ~ git clone https://github.com/introlab/rtabmap.git rtabmap cd rtabmap/build cmake .. make cd ~/catkin_ws git clone https://github.com/introlab/rtabmap_ros.git src/rtabmap_ros catkin_make -j1 

ओडोमेट्री व्यूअर चलाएँ:

 rtabmap-odometryViewer 

इस तरह एक विंडो खुलती है:



कैमरा को थोड़ा हिलाएं:



आइए मापदंडों के साथ चलने की कोशिश करें। उदाहरण के लिए, बैग-ऑफ-वर्ड विधि का उपयोग करना (डिफ़ॉल्ट SURF है):

 rtabmap-odometryViewer -bow 

SIFT डिस्क्रिप्टर (0 = SURF, 1 = SIFT) के साथ बैग-ऑफ़-वर्ड्स विधि का उपयोग करना

 rtabmap-odometryViewer -bow 1 

FAST + BRIEF विधि का उपयोग:

 rtabmap-odometryViewer -bin 

-Icp विकल्प का उपयोग करके आप ICP विधि (Iterative Closest Point) के आधार पर ओडोमेट्री भी आज़मा सकते हैं।

आप hz पैरामीटर (प्रति सेकंड पूर्णांक फ़्रेम) का उपयोग करके प्रसंस्करण आवृत्ति को समायोजित कर सकते हैं:

 rtabmap-odometryViewer -hz 2 

आप एल्गोरिथ्म के आंतरिक मापदंडों को भी कॉन्फ़िगर कर सकते हैं, जैसे कि इनलेयर्स के बीच अधिकतम दूरी, मैच खोजने के लिए दृश्य संकेतों की अधिकतम संख्या, आरएएनएसएसी / आईसीपी विधि में पुनरावृत्तियों की संख्या।

सामान्य तौर पर, आरटैबमैप के दृश्य ओडोमेट्री के साथ प्रयोगों से पता चला कि एल्गोरिथ्म जल्दी, बिना देरी के काम करता है, और दृश्य के सापेक्ष कैमरे की स्थिति को सटीक रूप से निर्धारित करता है। Rtabmap पैकेज से एल्गोरिथ्म का एकमात्र माइनस यह है कि इसका उपयोग करते समय, riziz में ओडोमेट्री डेटा प्रदर्शित करना संभव नहीं था। यहां आपको ROS के साथ एकीकरण के बारे में अधिक जानने की आवश्यकता है।

Fovis_ros पैकेज

Fovis_ros पैकेज केवल ROS हाइड्रो संस्करण के तहत काम करता है। रिपॉजिटरी में एक इंडिगो शाखा है, लेकिन कैटवॉक कार्यक्षेत्र में संकलन करते समय fovis_ros एक त्रुटि के साथ क्रैश हो जाता है।

Fovis_ros को स्थापित करने के लिए हमें libfovis लाइब्रेरी और खुद fovis_ros पैकेज की आवश्यकता होगी। उन्हें गितुब रिपोजिटरी से डाउनलोड करें:

 cd ~/catkin_ws/src git clone https://github.com/srv/libfovis.git cd libfovis git checkout hydro cd .. git clone https://github.com/srv/fovis.git cd fovis git checkout hydro cd ~/catkin_ws catkin_make source devel/setup.bash 

यहां हमें यह सुनिश्चित करने की आवश्यकता है कि वर्तमान शाखा हाइड्रो द्वारा चुनी गई है, अन्यथा संकलन समस्याएं हो सकती हैं (रिपॉजिटरी में वर्तमान शाखा इंडिगो है)।

अब fovis_ros लॉन्च करने के लिए एक लांचर बनाएं:

 cd ~/catkin_ws/src git clone https://github.com/vovaekb/fovis_demo.git d ~/catkin_ws catkin_make source devel/setup.bash 

रन fovis_demo.launch:

 roslaunch fovis_demo fovis_demo.launch 

Rviz विंडो खुलेगी:



कैमरा को थोड़ा हिलाएं और एक अद्यतन स्थिति प्राप्त करें:



fovis_ros दो विषयों में डेटा प्रकाशित करता है: / kinect_odometer / odometry (odometry) और / kinect_odometer / pose (स्थिति)।

अब हम मेरे उदाहरण में लॉन्च फ़ाइलों की सामग्री से निपटेंगे। जानकारी के लिए, फ़ाइलें "लर्निंग आरओएस फॉर रोबोटिक्स प्रोग्रामिंग - दूसरा संस्करण" अध्याय 5 से कंप्यूटर विज़न नामक पुस्तक से ली गई हैं।

चलिए मुख्य फाइल fovis_demo.launch से शुरू करते हैं।

लाइन में

 <arg name="mode" default="no_registered"/> 

हम मोड पैरामीटर को no_registered पर सेट करते हैं। इसका मतलब है कि हम no_registered गहराई जानकारी का उपयोग करते हैं, अर्थात गहराई का नक्शा पंजीकृत नहीं है और RGB कैमरे से चित्र में परिवर्तित नहीं होता है। यह प्रसंस्करण को गति देने के लिए किया जाता है, क्योंकि यदि गहराई दर्ज की गई थी, तो एल्गोरिथ्म धीरे-धीरे काम करेगा।

ओडोमीटर ताज़ा दर की जाँच करें:

 rostopic hz /kinect_odometer/odometry 

हमें एक समान निष्कर्ष मिलता है:

 average rate: 8.759 min: 0.084s max: 0.156s std dev: 0.02417s window: 9 average rate: 7.938 min: 0.084s max: 0.180s std dev: 0.02724s window: 16 average rate: 7.493 min: 0.084s max: 0.217s std dev: 0.03286s window: 23 average rate: 8.111 min: 0.068s max: 0.217s std dev: 0.03645s window: 33 

मोड का उपयोग करके प्रोग्राम पंजीकरण के साथ fovis_demo चलाएं: = sw_registered पैरामीटर:

 roslaunch fovis_demo fovis_demo.launch mode:=sw_registered 

हम ओडोमीटर अद्यतन दर के बारे में निम्नलिखित जानकारी प्राप्त करेंगे:

 average rate: 0.963 min: 1.022s max: 1.056s std dev: 0.01676s window: 3 average rate: 0.968 min: 1.020s max: 1.056s std dev: 0.01635s window: 4 average rate: 1.212 min: 0.509s max: 1.056s std dev: 0.25435s window: 6 

अगला, हम rviz के लिए प्रदर्शन विन्यास फाइल को परिभाषित करते हैं:

 <arg name="rviz_config" default="$(find fovis_demo)/config/rviz_$(arg mode).rviz"/> 

मैं यहां इसकी सामग्री पर विचार नहीं करूंगा। मैं सिर्फ इतना कहूंगा कि यह rviz विंडो की उपस्थिति को निर्धारित करता है: विषयों के लिए सक्रिय प्रदर्शन, वैश्विक सेटिंग्स जैसे फिक्स्ड फ़्रेम इत्यादि।

निम्न पैरामीटर पैरामीटर के आधार पर rviz पैरामीटर और Kinect सेंसर के लिए ड्राइवर के लॉन्च की परिभाषा है:

 <include file="$(find fovis_demo)/launch/openni_kinect_$(arg mode).launch"/> 

मोड पैरामीटर के आधार पर हमारे पैकेज से फ़ॉविज़ के लिए लॉन्चर लॉन्च करें:

 <include file="$(find fovis_demo)/launch/fovis_$(arg mode).launch"/> 

चूँकि हम कैमरे की गति के आधार पर रोबोट की गति का अनुमान लगाते हैं, इसलिए हमें कैमरा कोऑर्डिनेट सिस्टम से रोबोट कोऑर्डिनेट सिस्टम के ऑफसेट या ट्रांसफॉर्मेशन को जानना होगा। ऐसा करने के लिए, हम tf पैकेज से static_transform_publisher का उपयोग करके निर्देशांक बेस_लिंक → कैमरा_लिंक के बीच एक स्थैतिक परिवर्तन प्रकाशित करते हैं:

 <node pkg="tf" type="static_transform_publisher" name="base_to_camera_tf" args="0 0 -0.05 0 0 0 base_link camera_link 100"/> 

अंत में, rviz चलाएं:

 <group if="$(arg rviz)"> <node name="rviz" pkg="rviz" type="rviz" args="-d $(arg rviz_config)"/> </group> 

मैं इस लेख में शेष लांचर फ़ाइलों पर विचार नहीं करूंगा। यदि वांछित हो तो यह स्वतंत्र रूप से किया जा सकता है। मैं सिर्फ इतना कहूंगा कि जब fovis_ros को पैरामीटर मोड = sw_registered के साथ लॉन्च किया जाता है, तो हम RGB कैमरा से फ्रेम को थ्रॉटलिंग करते हैं, अर्थात कम अद्यतन आवृत्ति (2.5 हर्ट्ज) के साथ एक विषय से दूसरे विषय पर संदेशों को पुनः प्रकाशित करना (इसके बारे में अधिक विवरण यहां पढ़ा जा सकता है )।

उन लोगों के लिए जो गहराई से फ़ॉविज़ एल्गोरिथ्म की खोज करने में रुचि रखते हैं, एल्गोरिथ्म के विवरण पर एक लेख है।

दृश्य ओडोमेट्री fovis_ros के साथ प्रयोगों से पता चला कि एल्गोरिथ्म कैमरा ले जाने के दौरान छोटे विलंब के साथ rtabmap के रूप में तेजी से काम नहीं करता है, लेकिन फिर भी दृश्य के सापेक्ष कैमरे की स्थिति को काफी सटीक रूप से निर्धारित करता है।

मुझे उम्मीद है कि दृश्य ओडोमेट्री एल्गोरिदम की यह समीक्षा आपके काम में उपयोगी होगी और आपको कुछ समस्याओं को हल करने में मदद करेगी। मैं आपको अपनी परियोजनाओं में सफलता की कामना करता हूं और आपको जल्द ही देखूंगा!

पुनश्च: मैं आपसे सर्वेक्षण में भाग लेने और आरओएस के संस्करण को चुनने के लिए भी कहता हूं जो आप अपने काम में उपयोग करते हैं।