मैंने YouTube वीडियो को चलाने के लिए रोबोट को कैसे सिखाया

हम अपने छात्रों और जेटब्रेन रिसर्च के बीच संयुक्त अनुसंधान परियोजनाओं के बारे में बात करना जारी रखते हैं। इस लेख में, हम सुदृढीकरण के गहन शिक्षण एल्गोरिदम के बारे में बात करेंगे जो किसी व्यक्ति के मोटर उपकरण को मॉडल करने के लिए उपयोग किया जाता है।

सभी संभव मानव आंदोलनों का अनुकरण करना और व्यवहार के सभी परिदृश्यों का वर्णन करना एक कठिन काम है। यदि हम यह समझना सीख लें कि कोई व्यक्ति कैसे चलता है, और "छवि और समानता" में अपने आंदोलनों को पुन: उत्पन्न कर सकता है - तो इससे कई क्षेत्रों में रोबोट की शुरूआत की सुविधा होगी। बस इतना है कि रोबोट स्वयं आंदोलनों को दोहराना और विश्लेषण करना सीखते हैं, और मशीन सीखने को लागू किया जाता है।

अपने बारे में

मेरा नाम एलेक्जेंड्रा मालिशेवा है, मैं सेंट पीटर्सबर्ग अकादमिक विश्वविद्यालय में एप्लाइड गणित और कंप्यूटर विज्ञान में स्नातक की डिग्री के स्नातक हूं, और इस वर्ष के पतन के बाद से, मैं प्रोग्रामिंग और डेटा विश्लेषण में सेंट पीटर्सबर्ग एचएसई में प्रथम वर्ष का स्नातक छात्र हूं। इसके अलावा, मैं सेंट पीटर्सबर्ग एचएसई के स्नातक कार्यक्रम में एजेंट सिस्टम और प्रबलित लर्निंग, जेटब्रेन रिसर्च की प्रयोगशाला में काम करता हूं, और कक्षाएं - व्याख्यान और अभ्यास भी आयोजित करता हूं।

फिलहाल, मैं सुदृढीकरण के साथ गहन सीखने के क्षेत्र में कई परियोजनाओं पर काम कर रहा हूं (हमने पिछले लेख में इस बारे में बात करना शुरू किया था)। और आज मैं अपना पहला प्रोजेक्ट दिखाना चाहता हूं, जो मेरी थीसिस से आसानी से निकल गया।

कार्य विवरण

मानव मोटर उपकरण का अनुकरण करने के लिए, विशेष वातावरण बनाए जाते हैं जो किसी विशिष्ट समस्या को हल करने के लिए यथासंभव भौतिक दुनिया का अनुकरण करने का प्रयास करते हैं। उदाहरण के लिए, एनआईपीएस 2017 प्रतियोगिता ने ह्यूमनॉइड रोबोट बनाने पर ध्यान केंद्रित किया जो मानव चलने का अनुकरण करता है।

इस समस्या को हल करने के लिए, सुदृढीकरण के साथ गहन सीखने के तरीकों का आमतौर पर उपयोग किया जाता है, जो एक अच्छी, लेकिन इष्टतम रणनीति नहीं है। इसके अलावा, ज्यादातर मामलों में, प्रशिक्षण का समय बहुत लंबा है।

जैसा कि पिछले लेख में सही ढंग से नोट किया गया था , काल्पनिक / सरल कार्यों से वास्तविक / व्यावहारिक कार्यों तक संक्रमण में मुख्य समस्या यह है कि ऐसी समस्याओं में पुरस्कार आमतौर पर बहुत कम होते हैं। उदाहरण के लिए, हम केवल लंबी दूरी के पारित होने का मूल्यांकन कर सकते हैं जब एजेंट फिनिश लाइन तक पहुंच गया हो। ऐसा करने के लिए, उसे क्रियाओं का एक जटिल और सही क्रम करने की आवश्यकता होती है, जो हमेशा ऐसा नहीं होता है। एजेंट को "खेलने" के लिए शुरुआती उदाहरणों में यह समस्या हल की जा सकती है - तथाकथित विशेषज्ञ प्रदर्शन।

मैंने इस समस्या को हल करने के लिए इस दृष्टिकोण का उपयोग किया। यह प्रशिक्षण की गुणवत्ता में काफी सुधार करने के लिए निकला, हम ऐसे वीडियो का उपयोग कर सकते हैं जो दौड़ते समय किसी व्यक्ति के आंदोलनों को दिखाते हैं। विशेष रूप से, आप YouTube पर एक वीडियो से लिए गए शरीर के विशिष्ट भागों (उदाहरण के लिए, पैर) के आंदोलन के निर्देशांक का उपयोग करने का प्रयास कर सकते हैं।

पर्यावरण

सुदृढीकरण सीखने के कार्यों में, एजेंट और पर्यावरण की बातचीत पर विचार किया जाता है। मानव मोटर उपकरण के मॉडलिंग के लिए आधुनिक वातावरण में से एक है Simbody भौतिकी इंजन का उपयोग कर OpenSim सिमुलेशन वातावरण।

इस माहौल में, "पर्यावरण" बाधाओं के साथ एक त्रि-आयामी दुनिया है, "एजेंट" एक ह्यूमनॉइड रोबोट है जिसमें छह जोड़ों (टखने, घुटनों और कूल्हों पर दो पैर) और मांसपेशियां हैं जो मानव मांसपेशियों के व्यवहार का अनुकरण करती हैं, और "एजेंट कार्रवाई" है 0 से 1 तक के वास्तविक मूल्य, जो मौजूदा मांसपेशियों के तनाव को निर्दिष्ट करते हैं।

इनाम की गणना एक्स अक्ष के साथ श्रोणि की स्थिति में परिवर्तन के रूप में की जाती है जो स्नायुबंधन का उपयोग करने के लिए जुर्माना घटाता है। इस प्रकार, एक तरफ, आपको एक निश्चित समय में जितना संभव हो सके जाने की जरूरत है, और दूसरी तरफ, अपनी मांसपेशियों को यथासंभव कम काम करें। प्रशिक्षण प्रकरण समाप्त हो जाता है यदि या तो 1000 पुनरावृत्तियों को प्राप्त किया जाता है, या श्रोणि की ऊंचाई 0.65 मीटर से नीचे है, जिसका अर्थ है कि व्यक्ति का मॉडल गिरता है।

आधार कार्यान्वयन

सुदृढीकरण प्रशिक्षण का मुख्य उद्देश्य रोबोट को पर्यावरण में जल्दी और कुशलता से चलना सिखाना है।

प्रदर्शनों में सीखने में मदद करता है या नहीं, इसकी परिकल्पना का परीक्षण करने के लिए, एक मूल एल्गोरिथ्म को लागू करना आवश्यक था जो कई मौजूदा उदाहरणों की तरह तेजी से चलना सीख सकता है, लेकिन उप-रूपी।

ऐसा करने के लिए, हमने कुछ तरकीबें लागू कीं:

• शुरू करने के लिए, सुदृढीकरण सीखने के एल्गोरिदम का प्रभावी ढंग से उपयोग करने में सक्षम होने के लिए ओपनसिम पर्यावरण को अनुकूलित करना आवश्यक था। विशेष रूप से, पर्यावरण के विवरण में, हमने श्रोणि के सापेक्ष शरीर के हिस्सों की स्थिति के दो-आयामी निर्देशांक जोड़े।
• माध्यम की समरूपता के कारण दूरी पारित करने के उदाहरणों की संख्या में वृद्धि हुई थी। प्रारंभिक स्थिति में, एजेंट शरीर के बाएं और दाएं पक्षों के संबंध में बिल्कुल सममित रूप से खड़ा होता है। इसलिए, एक दूरी के बाद, आप एक ही बार में दो उदाहरण जोड़ सकते हैं: एक जो हुआ, और एजेंट के शरीर के बाएं या दाएं हिस्से के सापेक्ष दर्पण सममित।
• एल्गोरिथ्म की गति बढ़ाने के लिए, फ़्रेमों को छोड़ दिया गया था: अगली एजेंट कार्रवाई का चयन करने के लिए एल्गोरिथ्म केवल हर तीसरे पुनरावृत्ति को लॉन्च किया गया था, अन्य मामलों में, अंतिम चयनित कार्रवाई दोहराई गई थी। इस प्रकार, एजेंट कार्रवाई चयन एल्गोरिथ्म के लॉन्च की पुनरावृत्तियों की संख्या 1000 से 333 तक कम हो गई थी, जिससे आवश्यक गणनाओं की संख्या कम हो गई थी।
• पिछले संशोधनों ने सीखने में तेजी लाई, लेकिन सीखने की प्रक्रिया अभी भी धीमी थी। इसलिए, त्वरण विधि को अतिरिक्त रूप से लागू किया गया था, गणना की सटीकता में कमी के साथ जुड़ा हुआ है: एजेंट राज्य वेक्टर में उपयोग किए जाने वाले मानों के प्रकार को डबल से फ्लोट में बदल दिया गया था।

यह ग्राफ ऊपर वर्णित प्रत्येक अनुकूलन के बाद सुधार दिखाता है, यह प्रशिक्षण के समय से एक युग के लिए प्राप्त इनाम को दर्शाता है।

तो YouTube का इससे क्या लेना-देना है?

बेस मॉडल विकसित करने के बाद, हमने संभावित फ़ंक्शन के आधार पर रिवार्ड जनरेशन को जोड़ा। हमारे आसपास की दुनिया के बारे में रोबोट को उपयोगी जानकारी देने के लिए एक संभावित कार्य शुरू किया गया है: हम कहते हैं कि कुछ शरीर की स्थिति जो वीडियो पर लिया गया चरित्र अधिक "लाभदायक" है (अर्थात, वह दूसरों की तुलना में उनके लिए बड़ा पुरस्कार प्राप्त करता है)।

हमने YouTube वीडियो से लिए गए वीडियो डेटा के आधार पर वास्तविक लोगों और कार्टून और कंप्यूटर गेम के मानव चरित्रों के चित्रण के आधार पर फ़ंक्शन का निर्माण किया। कुल संभावित फ़ंक्शन को शरीर के प्रत्येक भाग के लिए संभावित कार्यों के योग के रूप में परिभाषित किया गया था: श्रोणि, दो घुटने और दो पैर। एल्गोरिथ्म के प्रत्येक पुनरावृत्ति पर, पारिश्रमिक के गठन के लिए संभावित-आधारित दृष्टिकोण के बाद, एजेंट को पिछले और वर्तमान राज्य की क्षमता में परिवर्तन के अनुरूप अतिरिक्त पारिश्रमिक प्रदान किया जाता है। शरीर के अलग-अलग हिस्सों के संभावित कार्यों का निर्माण वीडियो-जनरेटेड डेटा और ह्यूमनॉइड रोबोट में शरीर के हिस्से के संगत समन्वय के बीच व्युत्क्रम दूरी का उपयोग करके किया गया था।

हमने तीन डेटा स्रोतों की जांच की:


बेकर एलन। वॉकिंग साइकिल्स - 2010

ProcrastinatorPro। QWOP स्पीड्रन - 2010

ShvetsovLeonid.HumanSpeedrun - 2015

... और तीन अलग-अलग दूरी के कार्य:

$$

$$PF1: dx + डाई$$

$$

$$PF2: \ sqrt {dx ^ 2 + dy ^ 2}$$

$$

$$PF3: dx ^ 2 + डाई ^ 2$$

यहाँ dx (डाई) वीडियो डेटा से लिए गए संबंधित बॉडी पार्ट्स के x (y) और एजेंट के समन्वय के x (y) के बीच का पूर्ण अंतर है।

पीएफ 2 पर आधारित संभावित फ़ंक्शन के लिए विभिन्न डेटा स्रोतों की तुलना करके प्राप्त परिणाम निम्नलिखित हैं:

परिणाम

बेस स्तर और पारिश्रमिक के गठन के दृष्टिकोण के बीच उत्पादकता की तुलना:


यह पता चला कि पारिश्रमिक के गठन से सीखने में काफी तेजी आती है, 12 घंटे के प्रशिक्षण में दोगुनी गति तक पहुंच जाती है। 24 घंटों के बाद अंतिम परिणाम अभी भी संभावित कार्यों की पद्धति का उपयोग करके दृष्टिकोण का एक महत्वपूर्ण लाभ दिखाता है।



अलग-अलग, मैं निम्नलिखित महत्वपूर्ण परिणाम को नोट करना चाहता हूं: हम सैद्धांतिक रूप से यह साबित करने में सक्षम थे कि संभावित फ़ंक्शन के आधार पर पारिश्रमिक एक इष्टतम नीति को खराब नहीं करता है। इस संदर्भ में इस लाभ को प्रदर्शित करने के लिए, हमने 12 घंटे के प्रशिक्षण के बाद बेस एजेंट द्वारा उत्पन्न एक उप-अपनाने वाले एजेंट का उपयोग किया। परिणामी प्रोटोटाइप एजेंट का उपयोग किसी संभावित फ़ंक्शन के डेटा स्रोत के रूप में किया गया था। जाहिर है, इस दृष्टिकोण के साथ प्राप्त एजेंट बेहतर तरीके से काम नहीं करेगा, और ज्यादातर मामलों में पैरों और घुटनों की स्थिति इष्टतम स्थितियों में नहीं होगी। फिर, संभावित फ़ंक्शन का उपयोग करके DDPG एल्गोरिथ्म द्वारा प्रशिक्षित एजेंट को प्राप्त आंकड़ों पर प्रशिक्षित किया गया था। अगला, एक प्रोटोटाइप एजेंट के साथ संभावित फ़ंक्शन के साथ एक एजेंट के सीखने के परिणामों की तुलना की गई थी। एजेंट ट्रेनिंग शेड्यूल दर्शाता है कि RL एजेंट डेटा स्रोत के उप-रूपी प्रदर्शन को दूर करने में सक्षम है।

विज्ञान में पहला कदम

मैंने स्नातक की परियोजना काफी पहले पूरी कर ली थी। मैं यह नोट करना चाहूंगा कि डिप्लोमा की सुरक्षा के लिए हमारे पास एक बहुत ही जिम्मेदार दृष्टिकोण है। सितंबर के बाद से, छात्रों को विषय, मूल्यांकन मानदंड, क्या और कब करना है, पता है। जब सब कुछ इतना स्पष्ट है, यह काम करने के लिए बहुत सुविधाजनक है, तो यह महसूस नहीं होता है कि "मेरे पास पूरे एक साल आगे है, मैं अगले सप्ताह / महीने / छह महीने करना शुरू कर सकता हूं"। परिणामस्वरूप, यदि आप कुशलता से काम करते हैं, तो आप नए साल तक थीसिस के अंतिम परिणाम प्राप्त कर सकते हैं, और शेष समय मॉडल की स्थापना, सांख्यिकीय महत्वपूर्ण परिणाम एकत्र करने और डिप्लोमा का पाठ लिखने में बिता सकते हैं। मेरे साथ भी ठीक वैसा ही हुआ।

डिप्लोमा के बचाव के दो महीने पहले, मेरे पास पहले से ही तैयार काम का पाठ था, और मेरे वैज्ञानिक सलाहकार, अलेक्सी अलेक्सांद्रोविच शपिलमैन ने ICML-AAMAS में वर्कशॉप ऑन एडेप्टिव एंड लर्निंग एजेंट्स (ALA) पर एक लेख लिखने का सुझाव दिया। केवल एक चीज जो मुझे करने की ज़रूरत थी, वह थीसिस का अनुवाद करना और उसे दोहराना। परिणामस्वरूप, हमने सम्मेलन में एक लेख भेजा और ... इसे स्वीकार कर लिया गया! यह मेरा पहला प्रकाशन था और जब मैंने अपने मेल में "स्वीकृत" शब्द के साथ एक पत्र देखा तो मुझे बहुत खुशी हुई। दुर्भाग्य से, उसी समय मैंने दक्षिण कोरिया में प्रशिक्षण लिया और व्यक्तिगत रूप से सम्मेलन में भाग नहीं ले सका।

किए गए काम को प्रकाशित करने और स्वीकार करने के अलावा, पहले सम्मेलन ने मुझे एक और सुखद परिणाम दिया। एलेक्सी अलेक्जेंड्रोविच मुझे अन्य लोगों के काम की समीक्षा लिखने के लिए आकर्षित करने लगा। यह मुझे लगता है कि नए विचारों के मूल्यांकन में अनुभव प्राप्त करने के लिए यह बहुत उपयोगी है: इस तरह से आप मौजूदा काम का विश्लेषण करना सीख सकते हैं, मौलिकता और प्रासंगिकता के लिए विचार की जांच कर सकते हैं।

कार्यशाला पर एक लेख लिखना अच्छा है, लेकिन मुख्य ट्रैक पर बेहतर है

कोरिया के बाद, मुझे JetBrains रिसर्च में इंटर्नशिप मिली और परियोजना पर काम करना जारी रखा। यह इस बिंदु पर था कि हमने एक संभावित फ़ंक्शन के लिए तीन अलग-अलग सूत्रों का परीक्षण किया और तुलना की। हम वास्तव में अपने काम के परिणामों को साझा करना चाहते थे, इसलिए हमने सिंगापुर में ICARCV मुख्य ट्रैक सम्मेलन में एक पूरा लेख लिखने का फैसला किया।

एक कार्यशाला में एक लेख लिखना अच्छा है, लेकिन मुख्य ट्रैक पर बेहतर है। और, ज़ाहिर है, मुझे बहुत खुशी हुई जब मुझे पता चला कि लेख को स्वीकार कर लिया गया था! इसके अलावा, JetBrains के हमारे सहयोगी और प्रायोजक सम्मेलन की मेरी यात्रा के लिए भुगतान करने के लिए सहमत हुए। एक बड़ा बोनस सिंगापुर से परिचित होने का अवसर था।

जब टिकट पहले ही खरीद लिए गए थे, तो होटल बुक हो गया था और मुझे केवल वीजा मिल सकता था, मुझे मेल में एक पत्र मिला:



मुझे इस तथ्य के बावजूद वीजा जारी नहीं किया गया था कि मेरे पास सम्मेलन में मेरे भाषण की पुष्टि करने वाले दस्तावेज थे! यह पता चला है कि सिंगापुर दूतावास 35 वर्ष से कम उम्र की अविवाहित और बेरोजगार लड़कियों के आवेदन स्वीकार नहीं करता है। और भले ही लड़की काम करे, लेकिन शादी नहीं की, फिर भी इंकार करने का मौका बहुत शानदार है।

सौभाग्य से, मुझे पता चला है कि पारगमन में यात्रा करने वाले रूसी संघ के नागरिक सिंगापुर में 96 घंटे तक रह सकते हैं। नतीजतन, मैं सिंगापुर के रास्ते मलेशिया चला गया, जिसमें मैंने कुल मिलाकर लगभग आठ दिन बिताए। यह सम्मेलन स्वयं छह दिनों तक चला। प्रतिबंधों के कारण, मैंने पहले चार में भाग लिया, फिर मुझे समापन के लिए वापस जाना पड़ा। सम्मेलन के बाद, मैंने एक पर्यटक की तरह महसूस करने का फैसला किया और सिर्फ दो दिनों के लिए शहर का दौरा किया और संग्रहालयों का दौरा किया।

मैंने अग्रिम में ICARCV में एक भाषण तैयार किया, वापस सेंट पीटर्सबर्ग में। सुदृढीकरण प्रशिक्षण कार्यशाला में इसका पूर्वाभ्यास किया। इसलिए, सम्मेलन में बोलना रोमांचक था, लेकिन डरावना नहीं। प्रस्तुति स्वयं 15 मिनट तक चली, लेकिन इसके बाद सवालों की एक धारा थी, जो मेरे लिए बहुत उपयोगी थी।

मुझसे कुछ दिलचस्प सवाल पूछे गए, जिससे नए विचार आए। उदाहरण के लिए, हमने डेटा को कैसे चिह्नित किया। हमारे काम में, हमने डेटा को मैन्युअल रूप से चिह्नित किया, और हमें एक पुस्तकालय का उपयोग करने की पेशकश की गई जो स्वचालित रूप से समझता है कि मानव शरीर के कुछ हिस्से कहाँ हैं। अब हमने इस विचार को लागू करना शुरू कर दिया है। आप यहां पूरा काम पढ़ सकते हैं।

ICARCV में, मैंने वैज्ञानिकों के साथ संवाद करने का आनंद लिया और बहुत सारे नए विचार सीखे। इन चार दिनों में मुझे जितने दिलचस्प लेख मिले, वे पिछले चार सालों की तुलना में अधिक थे। अब दुनिया में मशीन सीखने के लिए एक "प्रचार" है, और हर दिन दर्जनों नए लेख इंटरनेट पर दिखाई देते हैं, जिनके बीच कुछ सार्थक खोजना बहुत मुश्किल है। यह इसके लिए है, यह मुझे लगता है, यह सम्मेलनों में जाने के लायक है: उन समुदायों को खोजने के लिए जो नए दिलचस्प विषयों पर चर्चा करते हैं, नए विचारों के बारे में सीखते हैं और अपने स्वयं के साझा करते हैं। और दोस्त बनाओ!