OpenAI जिम + ROS + गज़ेबो: घर पर एक स्टैंडअलोन रोबोट का प्रशिक्षण। भाग 1

पिछले कुछ वर्षों में, हमने अपने दैनिक जीवन में कृत्रिम बुद्धि प्रौद्योगिकियों की शुरूआत देखी है - रोबोट वैक्यूम क्लीनर से मानव रहित ड्रोन तक। कृत्रिम बुद्धि द्वारा नियंत्रित ये सभी हमारे लिए पहले से ही सामान्य हैं। लेकिन इसके बावजूद, डिजाइन से लेकर कार्यान्वयन तक की विकास प्रक्रिया में कई साल लगते हैं और यह सस्ता नहीं है। इसके अलावा, मशीन लर्निंग एल्गोरिदम को बड़े डेटा की आवश्यकता होती है और इस बात की कोई गारंटी नहीं है कि लंबे समय में सब कुछ काम करेगा।

जल्दी या बाद में, हर डेवलपर इस निष्कर्ष पर पहुंचता है कि वास्तविक रोबोट बनाने से पहले, आपको एक सिमुलेशन में अवधारणा का परीक्षण करने की आवश्यकता है, सभी प्रणालियों को डीबग करें और अंत में, समझें कि क्या विकास पथ चुना गया है।

डॉ। एंड्रयू हॉवर्ड ने भी इसी तरह के विचार रखे, जब वह अपने छात्र नाथन कोएनिग के साथ 2002 में दक्षिणी कैलिफोर्निया विश्वविद्यालय में एक 3 डी सिम्युलेटर गज़ेबो के विकास के लिए शुरू हुआ। विभिन्न कठिन बाहरी परिस्थितियों में रोबोट का परीक्षण करने की आवश्यकता के कारण उच्च-परिशुद्धता सिम्युलेटर की अवधारणा उत्पन्न हुई। विकास के पहले चरणों में, यह दृष्टिकोण आवश्यक उपकरणों के अधिग्रहण पर समय और धन बचाता है।

लेखों की इस श्रृंखला में, मैं सेंसर के रूप में केवल एक साधारण कैमरे के साथ एक मानवरहित वाहन के अनुकरण और प्रशिक्षण में अपने अनुभव को साझा करना चाहूंगा।



सभी को नमस्कार। मैं बर्लिन यूनिवर्सिटी ऑफ एप्लाइड साइंसेज (HTW-बर्लिन) में एप्लाइड इंफॉर्मेटिक्स में मास्टर ऑफ साइंस (कंप्यूटर साइंस, एमएस) हूं।

अपने पाठ्यक्रम के हिस्से के रूप में, मैं ROS [1], गज़ेबो [2] और ओपनएआई जिम [3] का उपयोग करके एक नकली वातावरण में स्वायत्त रोबोटों को प्रशिक्षित करने के तरीकों पर काम करता हूं। यह पाठ्यक्रम कार्य दो भागों में विभाजित है।

पहला भाग एक फ्रेमवर्क के विकास के लिए समर्पित है जो गज़ेबो सिमुलेशन के अंदर विभिन्न स्वायत्त रोबोटों पर सुदृढीकरण सीखने (सुदृढीकरण के साथ प्रशिक्षण) एल्गोरिदम के परीक्षण को सरल करेगा।

दूसरे भाग में, मैं स्वायत्त ड्राइविंग के लिए एल्गोरिदम के कार्यान्वयन पर ध्यान केंद्रित करूंगा। मैं अगले सेमेस्टर के लिए इस पर काम कर रहा हूं, इसलिए यह और अगले लेख मुख्य रूप से गज़ेबो के लिए ओपनएआई जिम वातावरण के कार्यान्वयन पर ध्यान केंद्रित करेंगे। सुदृढीकरण सीखना (आरएल) स्वयं सतही रूप से प्रभावित होगा।

पूर्ण परियोजना कोड यहां पाया जा सकता है ।

सिस्टम की आवश्यकताएं

• Ubuntu 18.04 या Windows WSL Ubuntu 18.04
• पायथन 2.7
• रंज
• Traneflow CPU या GPU

हम मेलोडिक के आरओएस संस्करण का उपयोग करेंगे। इस संस्करण की कई सीमाएँ हैं और उनमें से सबसे महत्वपूर्ण उबंटू 18 है (विंडोज़ डब्ल्यूएसएल पर और उबंटू हेडलेस पर आरओएस स्थापित करना संभव है, लेकिन उस समय और अधिक)। इसके अतिरिक्त, ROS अभी भी पायथन 3 का समर्थन नहीं करता है।

भाग एक: परिचय

इस पायलट भाग में, मैं उन तकनीकों के बारे में संक्षेप में बात करूंगा जिनका उपयोग पर्यावरण बनाने के लिए किया जाएगा। मैं स्थापना प्रक्रिया का भी वर्णन करूंगा और अंत में हम एक पूर्ण सिमुलेशन का शुभारंभ करेंगे, जिसे जिम एपीआई के माध्यम से नियंत्रित किया जा सकता है।

आरओएस: "पहिया को मजबूत न करें"

रोबोट ऑपरेटिंग सिस्टम (ROS) प्रोग्रामिंग रोबोट के लिए एक रूपरेखा है। आरओएस एक "सॉफ्टवेयर गोंद" है जो डेवलपर्स को उनके विशिष्ट कार्य पर ध्यान केंद्रित करने में सक्षम बनाता है। यद्यपि ROS एक ऑपरेटिंग सिस्टम नहीं है, यह हार्डवेयर एब्स्ट्रैक्शन, निम्न-स्तरीय डिवाइस प्रबंधन, अक्सर उपयोग किए जाने वाले कार्यों के कार्यान्वयन, प्रक्रियाओं के बीच संदेश पास करने और पैकेट प्रबंधन (प्लगइन्स) जैसी सेवाएं प्रदान करता है।

ROS को एक शिथिल युग्मित प्रणाली के रूप में डिज़ाइन किया गया है जिसमें नोड नामक एक प्रक्रिया को एक कार्य के लिए जिम्मेदार होना चाहिए। टॉपिक्स लॉजिकल चैनलों के माध्यम से गुजरने वाले संदेशों का उपयोग करते हुए एक दूसरे के साथ संवाद करते हैं जिन्हें विषय कहा जाता है। प्रत्येक नोड प्रकाशित - सदस्यता पैटर्न का उपयोग करके दूसरे नोड से डेटा भेज या प्राप्त कर सकता है

आरओएस के लिए, ड्राइवरों को पहले से ही लागू किया गया है जो कई उपकरणों के साथ एक ही तरीके से काम करने की अनुमति देते हैं, जैसे नियंत्रक, जीपीएस, कैमरा, लेजर रेंजिंडर, आदि।

और इसलिए, ROS मेलोडिक ( पूर्ण निर्देश ) स्थापित करें

sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list' sudo apt-key adv --keyserver hkp://ha.pool.sks-keyservers.net:80 --recv-key 421C365BD9FF1F717815A3895523BAEEB01FA116 sudo apt update sudo apt install ros-melodic-desktop-full sudo rosdep init rosdep update echo "source /opt/ros/melodic/setup.bash" >> ~/.bashrc source /opt/ros/melodic/setup.bash 

किसी कारण से, पूर्ण स्थापना पैकेज में कुछ आवश्यक पैकेज शामिल नहीं हैं। उन्हें अलग से स्थापित करें:

 sudo apt install ros-melodic-ackermann-msgs sudo apt install ros-melodic-effort-controllers sudo apt install ros-melodic-joy sudo apt install ros-melodic-tf2-sensor-msgs 

हम उन पर विस्तार से ध्यान नहीं देंगे। उन्हें हमारे रोबोट को नियंत्रित करने की आवश्यकता है, जिस पर बाद में चर्चा की जाएगी।

gazebo

गज़ेबो एक खुला स्रोत गतिशील 3 डी सिम्युलेटर है जो ओपन सोर्स रोबोटिक फाउंडेशन द्वारा विकसित किया गया है और आरओएस के साथ काफी निकटता से बातचीत करता है। गज़ेबो आपको मुश्किल इनडोर और आउटडोर दोनों स्थितियों में रोबोट को सटीक और कुशलता से अनुकरण करने की अनुमति देता है।

सिम्युलेटर में gzserver सर्वर शामिल है, जो भौतिकी, टकराव और अनुकरण सेंसर की गणना में शामिल है। ग्राहक सर्वर से कनेक्ट हो सकते हैं, उदाहरण के लिए gzclient (डेस्कटॉप के लिए) और gzweb (ब्राउज़र के लिए)। वे मॉडल प्रस्तुत करने वाले हैं।

यह सब आभासी अंतरिक्ष में जटिल रोबोटिक सिस्टम को बहुत तेजी से और बिना जोखिम के महंगे वास्तविक रोबोटों का परीक्षण करना संभव बनाता है।

गज़ेबो को पूर्ण आरओएस इंस्टॉलेशन पैकेज में शामिल किया गया है, इसलिए आपको कुछ और स्थापित करने की आवश्यकता नहीं है। हेडलेस कॉन्फ़िगरेशन के लिए gzweb की आवश्यकता होती है। मैं उसके बारे में निम्नलिखित भागों में बात करूंगा।

OpenAI जिम

OpenAI एक गैर-लाभकारी कृत्रिम बुद्धिमत्ता अनुसंधान कंपनी है, जिसकी स्थापना इलोन मैक्स ने की थी।
ओपनएआई जिम एक पायथन लाइब्रेरी है जो आरएल एल्गोरिदम को बड़ी संख्या में आभासी वातावरण और एक सामान्य एपीआई के साथ विकसित करने और तुलना करने के लिए एक एपीआई प्रदान करता है। जिम में पहले से ही कई तैयार वातावरण हैं, जिनमें अटारी गेम शामिल हैं।

openai_ros

मेरा प्रोजेक्ट Openai_ros पैकेज पर आधारित है। यह पैकेज द कंस्ट्रक्ट टीम द्वारा प्रस्तावित वास्तुकला को लागू करता है। कंस्ट्रक्ट लोगों ने एक सामान्य ढांचा विकसित किया है जो सिमुलेशन के प्रबंधन के लिए आवश्यक एपीआई को लागू करता है और जिम में गज़ेबो को एकीकृत करने के लिए एक एपीआई का वर्णन करता है, जिसे न्यूनतम कार्यान्वयन की आवश्यकता होती है। प्रस्तावित संरचना में तीन तार्किक परतें शामिल हैं (आप वास्तव में किसी भी संख्या का उपयोग कर सकते हैं), उनमें से सबसे कम एक और "गोंद" है जो जिम एपीआई को गज़ेबो से जोड़ता है। इसके बारे में अगले भाग में, जब हम कोड को पार्स करेंगे।

यह सब एक साथ रखना

पहले हमें कैटकिन के लिए एक कार्यशील निर्देशिका बनाने की आवश्यकता है। कैटकिन सीमेक की तरह एक बिल्ड ऑटोमेशन सिस्टम है, जिसे आरओएस स्थापना पैकेज में डिफ़ॉल्ट रूप से शामिल किया गया है:

 cd ~ mkdir catkin_ws cd catkin_ws/ mkdir src cd src/ 

और आवश्यक आरओएस पैकेज क्लोन करें।

मित रेसकर

हमें एमआईटी द्वारा सभी सेंसर के साथ विकसित एक रोबोट मॉडल की आवश्यकता है।

 git clone https://github.com/mit-racecar/racecar.git git clone https://github.com/mit-racecar/racecar-simulator.git 

openai_ros

 git clone https://bitbucket.org/theconstructcore/openai_ros.git 

neuroracer

खैर, वास्तव में, परियोजना ही

 git clone https://github.com/karray/neuroracer.git 

अगला, आपको इन सभी पैकेजों को संकलित करने की आवश्यकता है

 cd ~/catkin_ws catkin_make 

आपको सभी आवश्यक अजगर पुस्तकालयों को स्थापित करने की भी आवश्यकता है।

 pip install -U numpy tensorflow gym keras 

सिमुलेशन चल रहा है

किसी भी ROS पैकेज को चलाने के लिए, हमें सबसे पहले वर्तमान टर्मिनल सत्र में उन सभी ROS पैकेजों को लोड करने की आवश्यकता है, जिन्हें हमने संकलित किया था:

 source ~/catkin_ws/devel/setup.bash 

अब हम रेसकार रोबोट सिमुलेशन चला सकते हैं:

 roslaunch racecar_gazebo racecar_tunnel.launch 

यह कमांड ROS मास्टर सर्वर, गज़ेबो सर्वर को अपने यूआई (डेस्कटॉप पर) के साथ लॉन्च करेगा, इसके लिए रोबोट और दुनिया को लोड करेगा।

स्क्रीनशॉट:


और हमारे आरएल एल्गोरिथ्म के लिए दूसरे टर्मिनल में एक ही बात:

 source ~/catkin_ws/devel/setup.bash roslaunch neuroracer_gym_rl qlearning.launch 

यह टीम हमारे न्यूरोरेसर_गिम_क्ले पैकेज लॉन्च करेगी , जो हमारे जिम वातावरण में एक सरल क्यू-लर्निंग एल्गोरिदम को लागू करता है। हम इसका अगले भाग में विश्लेषण करेंगे।

जो लोग इंतजार नहीं कर सकते वे यहां स्रोत कोड पा सकते हैं। आगे देखते हुए, मैं कहता हूँ कि GeForce GTX 1080 Ti 11GB रैम कार्ड वाले सर्वर पर कई दिनों के प्रशिक्षण के बाद, इस सरल एल्गोरिथ्म ने वास्तव में कुछ भी नहीं सीखा। अगले भाग में मैं संभावित कारणों की सूची दूंगा, लेकिन अब आप अपने कार्यान्वयन के साथ प्रयोग कर सकते हैं।

निष्कर्ष

और इसलिए, हमारे पास एक स्वायत्त कार और एक तैयार आरएल एल्गोरिथ्म टेम्पलेट का पूरी तरह से काम करने का अनुकरण है। अगले भाग में, हम और अधिक विस्तार से ओपनै_रो का विश्लेषण करेंगे और रोबोट पर स्थापित सेंसर पर चर्चा करेंगे। इसके बाद मैं दिखाऊंगा कि अपने एल्गोरिदम को कैसे लागू किया जाए और प्रशिक्षण के दौरान क्या समस्याएं उत्पन्न हो सकती हैं।

पुनश्च: यह एक लेख लिखने का मेरा पहला अनुभव है। इसलिए, यदि आप गलतियाँ पाते हैं या आपके पास विचार हैं, या रचनात्मक आलोचना है, तो लिखने में संकोच न करें। मैं निम्नलिखित भागों में इसे ध्यान में रखने की कोशिश करूंगा।

संदर्भ

[१] (एम। क्विग्ले, के। कॉनले, बी। गेरकी, जे। फाउस्ट, टी। फूटे, जे। लीब, आर। व्हीलर, और एए। एनजी। रोस: एक ओपन सोर्स रोबोट ऑपरेटिंग सिस्टम। ICRA वर्कशॉप में। ओपन सोर्स सॉफ्टवेयर, वॉल्यूम 3, पेज 5. कोबे, जापान, 2009।

[२] एनपी कोएनिग और ए। हॉवर्ड। गज़ेबो, एक ओपन-सोर्स मल्टी-रोबोट सिम्युलेटर के लिए प्रतिमान डिजाइन और उपयोग करें। IROS में, वॉल्यूम 4, पृष्ठ 2149-2154 । Citeseer, 2004।

[३] LPJSJSJTWZ ग्रेग ब्रॉकमैन, विकी चेउंग। ओपनाई जिम, 2016, arXiv: 1606.01540