सुदृढीकरण गहरा सीखने: कच्चे पिक्सेल पिंग पोंग

यह सुदृढीकरण सीखने (आरएल) के बारे में एक लंबा अतिदेय लेख है। आरएल एक अच्छा विषय है!

आप जान सकते हैं कि कंप्यूटर अब स्वचालित रूप से एटीएआरआई गेम खेलना सीख सकते हैं (प्रवेश द्वार पर कच्चे गेम पिक्सल प्राप्त करके!)। वे गो के खेल में विश्व चैंपियन को हराते हैं, आभासी चार-पैर चलाने और कूदना सीखते हैं, और रोबोट जटिल हेरफेर कार्य करना सीखते हैं जो स्पष्ट प्रोग्रामिंग को चुनौती देते हैं। यह पता चला है कि ये सभी उपलब्धियां आरएल के बिना पूरी नहीं होती हैं। मुझे पिछले वर्ष में आरएल में भी रुचि थी: मैंने रिचर्ड सुटन की पुस्तक (लगभग संदर्भ: प्रतिस्थापित) के साथ काम किया, डेविड सिल्वर के पाठ्यक्रम को पढ़ा, जॉन शुलमैन के व्याख्यान में भाग लिया , जावास्क्रिप्ट पर आरएल लाइब्रेरी लिखी, और दीपइंड में ग्रीष्मकालीन अभ्यास में, एक समूह में काम किया। डीपआरएल, और हाल ही में, ओपनएआई जिम के विकास में, नया आरएल टूलकिट है। इसलिए, मैं निश्चित रूप से, इस लहर पर कम से कम एक साल से हूं, लेकिन अभी भी इस बारे में एक नोट लिखने की जहमत नहीं उठाई है कि आरएल का बहुत महत्व क्यों है, यह क्या है, यह कैसे विकसित होता है।


डीप क्यू-लर्निंग का उपयोग करने के उदाहरण। बाएं से दाएं: तंत्रिका नेटवर्क ATARI की भूमिका निभाता है, तंत्रिका नेटवर्क AlphaGo निभाता है, रोबोट लेगो को तह करता है, आभासी चार-पैर वाले आभासी बाधाओं के आसपास चलता है।

आरएल में हालिया प्रगति की प्रकृति पर प्रतिबिंबित करना दिलचस्प है। मैं एआई के विकास को प्रभावित करने वाले चार अलग-अलग कारकों पर ध्यान देना चाहता हूं:

1. कम्प्यूटिंग गति (GPU, ASIC विशेष उपकरण, मूर की विधि)
2. प्रयोग करने योग्य रूप में पर्याप्त डेटा (उदा। ImageNet)
3. एल्गोरिदम (अनुसंधान और विचार, उदा। बैकप्रॉप, CNN, LSTM)
4. इन्फ्रास्ट्रक्चर (लिनक्स, टीसीपी / आईपी, गिट, आरओएस, पीआर 2, एडब्ल्यूएस, एएमटी, टेन्सरफ्लो, आदि)।

जैसे कंप्यूटर की दृष्टि में, RL में प्रगति हो रही है ... हालाँकि यह उतना नहीं है जितना यह प्रतीत हो सकता है। उदाहरण के लिए, कंप्यूटर दृष्टि में, एलेक्सनेट 2012 न्यूरल नेटवर्क 1990 के दशक के कन्वीनर न्यूरल नेटवर्क की गहराई और चौड़ाई संस्करण में वृद्धि हुई है। इसी तरह, एटीएआरआई डीप क्यू-लर्निंग 2013 मानक क्यू-लर्निंग एल्गोरिदम का एक कार्यान्वयन है जिसे आप रिचर्ड सुटन की 1998 की पुस्तक में पा सकते हैं। इसके अलावा, AlphaGo पॉलिसी ग्रैडिएंट तकनीक का उपयोग करता है और मोंटे कार्लो ट्री सर्च (MCTS) भी पुराने विचार या उनके संयोजन हैं। बेशक, उन्हें काम करने के लिए बहुत सारे कौशल और धैर्य चाहिए, और पुराने एल्गोरिदम के शीर्ष पर कई मुश्किल सेटिंग्स विकसित की गई हैं। लेकिन पहले सन्निकटन में, हाल की प्रगति का मुख्य चालक नया एल्गोरिदम और विचार नहीं है, लेकिन गणना, पर्याप्त डेटा और परिपक्व बुनियादी ढांचे की गहनता है।

अब वापस आर.एल. बहुत से लोग इस बात पर विश्वास नहीं कर सकते हैं कि हम कंप्यूटर को सिखा सकते हैं कि कैसे एटीआरआई गेम को एक मानव स्तर पर स्क्रैच से कच्चे पिक्सेल का उपयोग करके और उसी सेल्फ-लर्निंग एल्गोरिथ्म का उपयोग करके खेला जा सकता है। एक ही समय में, हर बार मुझे एक अंतर महसूस होता है - यह कितना जादुई लगता है, और यह वास्तव में कितना सरल है।

हमारे द्वारा उपयोग किया जाने वाला मूल तरीका वास्तव में बहुत गूंगा है। जैसा कि हो सकता है, मैं इस समय आपको पॉलिसी ग्रेडिएंट (पीजी) तकनीक से परिचित कराना चाहूंगा, जो कि आरएल के साथ समस्याओं को हल करने के लिए हमारी पसंदीदा डिफ़ॉल्ट पसंद है। आप उत्सुक हो सकते हैं, इसके बजाय, मैं DQN की कल्पना नहीं कर सकता, जो कि एक वैकल्पिक और बेहतर ज्ञात आरएल एल्गोरिथ्म है जिसका उपयोग ATARI प्रशिक्षण में भी किया जाता है। यह पता चला है कि यद्यपि क्यू-लर्निंग ज्ञात है, यह इतना सही नहीं है। अधिकांश लोग पॉलिसी ग्रेडिएंट का उपयोग करना चुनते हैं, जिसमें मूल DQN लेख के लेखक शामिल हैं, जिन्होंने दिखाया है कि अच्छी ट्यूनिंग के साथ, पॉलिसी ग्रेडिएंट Q-Learning से भी बेहतर काम करता है। पीजी बेहतर है क्योंकि यह स्पष्ट है: एक स्पष्ट नीति और सुसंगत दृष्टिकोण है जो सीधे अपेक्षित पुरस्कारों का अनुकूलन करता है। एक उदाहरण के रूप में, हम सीखेंगे कि एटीएआरआई पोंग कैसे खेलें: खरोंच से, कच्चे पिक्सल से एक तंत्रिका नेटवर्क के साथ पॉलिसी ग्रैडिएंट के माध्यम से। और हम यह सब अजगर की 130 लाइनों में डाल देंगे। ( जिस्ट लिंक ) आइए देखें कि यह कैसे किया जाता है।



ऊपर: पिंग पोंग। नीचे: मार्कोव निर्णय लेने की प्रक्रिया (एमडीपी) के एक विशेष मामले के रूप में पिंग-पोंग प्रस्तुति: ग्राफ का प्रत्येक शीर्ष खेल की एक निश्चित स्थिति से मेल खाता है, और किनारों को अन्य राज्यों में संक्रमण की संभावना निर्धारित करते हैं। प्रत्येक रिब इनाम भी निर्धारित करता है। लक्ष्य किसी भी राज्य से सबसे अच्छा रास्ता खोजने के लिए इनाम को अधिकतम करना है

पिंग पोंग खेलना एक आरएल चुनौती का एक शानदार उदाहरण है। ATARI 2600 संस्करण में हम स्वयं एक रैकेट खेलेंगे। एक अन्य रैकेट एक अंतर्निहित एल्गोरिथम द्वारा नियंत्रित किया जाता है। हमें गेंद को हिट करने की आवश्यकता है ताकि दूसरे खिलाड़ी के पास इसे हिट करने का समय न हो। आशा है कि पिंग पोंग क्या है, यह समझाने की आवश्यकता नहीं है। निम्न स्तर पर, गेम निम्नानुसार काम करता है: हमें एक छवि फ़्रेम मिलती है - बाइट्स 210x160x3 की एक सरणी, और तय करें कि हम रैकेट को स्थानांतरित करना चाहते हैं या डाउनलोड करें। यही है, हमारे पास खेल के प्रबंधन के लिए केवल दो विकल्प हैं। प्रत्येक पसंद के बाद, गेम सिम्युलेटर अपनी कार्रवाई करता है और हमें एक इनाम देता है: या तो +1 इनाम अगर गेंद प्रतिद्वंद्वी के रैकेट से गुजरी, या -1 अगर हम गेंद से चूक गए। अन्यथा 0. और, ज़ाहिर है, हमारा लक्ष्य रैकेट को स्थानांतरित करना है ताकि हमें जितना संभव हो उतना इनाम मिले।

किसी समाधान पर विचार करते समय, याद रखें कि हम पोंग के बारे में कुछ धारणा बनाने की कोशिश करेंगे, क्योंकि यह विशेष रूप से व्यवहार में महत्वपूर्ण नहीं है। हम बड़े पैमाने के कार्यों में बहुत अधिक चीजों को ध्यान में रखते हैं, जैसे कि रोबोट में हेरफेर करना, संयोजन और नेविगेशन। पोंग सिर्फ एक मजेदार खिलौना परीक्षण मामला है जिसके साथ हम खेलते हैं, जबकि हम यह पता लगाते हैं कि बहुत सामान्य एआई सिस्टम कैसे लिखें जो एक दिन मनमाने उपयोगी कार्य कर सकते हैं।

एक आरएल नीति के रूप में तंत्रिका नेटवर्क । सबसे पहले, हम तथाकथित नीति को निर्धारित करने जा रहे हैं जो हमारे खिलाड़ी (या "एजेंट") को लागू करता है। ((*) "एजेंट", "पर्यावरण" और "एजेंट नीति" आरएल सिद्धांत से मानक शब्द हैं)। हमारे मामले में नीतिगत कार्य एक तंत्रिका नेटवर्क है। वह प्रवेश द्वार पर खेल की स्थिति को स्वीकार करेगी और बाहर निकलने पर वह तय करेगी कि क्या करना है - ऊपर या नीचे जाना। गणना के हमारे पसंदीदा सरल ब्लॉक के रूप में, हम एक दो-परत तंत्रिका नेटवर्क का उपयोग करेंगे जो कच्ची छवि पिक्सल (कुल 100,800 नंबर (210 * 160 * 3)) लेता है और एकल नंबर को रैकेट को ऊपर ले जाने की संभावना का संकेत देता है। कृपया ध्यान दें कि स्टोकेस्टिक नीति का उपयोग मानक है, जिसका अर्थ है कि हम केवल ऊपर की ओर बढ़ने की संभावना पैदा करते हैं। वास्तविक चाल प्राप्त करने के लिए, हम इस संभावना का उपयोग करेंगे। इसका कारण तब स्पष्ट हो जाएगा जब हम प्रशिक्षण के बारे में बात करेंगे।


हमारी नीति समारोह में 2-परत पूरी तरह से जुड़ा हुआ तंत्रिका नेटवर्क है

अधिक विशेष रूप से, मान लें कि इनपुट में हमें एक वेक्टर एक्स मिलता है, जिसमें पूर्व-संसाधित पिक्सेल का एक सेट होता है। फिर हमें अजगर \ numpy का उपयोग करके गणना करनी चाहिए:

h = np.dot(W1, x) # compute hidden layer neuron activations h[h<0] = 0 # ReLU nonlinearity: threshold at zero logp = np.dot(W2, h) # compute log probability of going up p = 1.0 / (1.0 + np.exp(-logp)) # sigmoid function (gives probability of going up) 

इस खंड में, W1 और W2 दो मैट्रिक्स हैं जिन्हें हम बेतरतीब ढंग से आरंभ करते हैं। हम पूर्वाग्रह का उपयोग नहीं करते हैं, क्योंकि हम करना चाहते थे। ध्यान दें कि अंत में हम सिग्मॉइड की गैर-रैखिकता का उपयोग करते हैं, जो उत्पादन की संभावना को सीमा [0,1] तक कम कर देता है। सहज रूप से, एक छिपी परत में न्यूरॉन्स (जिनका वजन डब्ल्यू 1 में स्थित है) विभिन्न गेम परिदृश्यों का पता लगा सकते हैं (उदाहरण के लिए, गेंद शीर्ष पर है और हमारा रैकेट मध्य में है), और डब्ल्यू 2 में वजन तब तय कर सकते हैं कि क्या हम प्रत्येक मामले में ऊपर जा सकते हैं या नीचे। प्रारंभिक यादृच्छिक डब्ल्यू 1 और डब्ल्यू 2, निश्चित रूप से, पहले हमारे न्यूरो-खिलाड़ी में ऐंठन और ऐंठन का कारण होगा, जो उसे एक हवाई जहाज के नियंत्रण में एक इम्बिकाइल-ऑटिस्टिक के बराबर बनाता है। तो अब एकमात्र कार्य W1 और W2 को ढूंढना है, जो एक अच्छे खेल की ओर ले जाता है!

पिक्सेल प्रीप्रोसेसिंग के बारे में एक टिप्पणी है - आदर्श रूप से, आपको कम से कम 2 फ़्रेम को तंत्रिका नेटवर्क में स्थानांतरित करने की आवश्यकता है ताकि यह आंदोलन का पता लगा सके। लेकिन स्थिति को सरल बनाने के लिए, हम दो फ्रेम के अंतर को लागू करेंगे। यही है, हम वर्तमान और पिछले फ्रेम को घटाएंगे और उसके बाद ही तंत्रिका नेटवर्क के इनपुट में अंतर को लागू करेंगे।

कुछ असंभव जैसा लगता है। इस बिंदु पर, मैं आपको सराहना करना चाहता हूं कि आरएल समस्या कितनी जटिल है। हम 100 800 नंबर (210x160x 3) प्राप्त करते हैं और इसे अपने तंत्रिका नेटवर्क में भेजते हैं जो खिलाड़ी की नीति को लागू करता है (जो, संयोगवश, आसानी से मैट्रिक्स 1 और डब्ल्यू 2 में लगभग एक लाख पैरामीटर शामिल करता है)। मान लीजिए कि हम किसी बिंदु पर जाने का फैसला करते हैं। गेम सिमुलेटर जवाब दे सकता है कि इस बार हम 0 पुरस्कार प्राप्त करेंगे और हमें अगले फ्रेम के लिए एक और 100 800 नंबर देंगे। गैर-शून्य इनाम पाने से पहले हम इस प्रक्रिया को सैकड़ों बार दोहरा सकते हैं! उदाहरण के लिए, मान लें कि हमें अंततः +1 इनाम मिला। यह अद्भुत है, लेकिन फिर हम कैसे कह सकते हैं - इसके कारण क्या हुआ? क्या यह कार्रवाई थी जो हमने अभी की है? या शायद 76 फ्रेम वापस? या शायद यह पहली बार फ्रेम 10 से जुड़ा था, और फिर हमने फ्रेम 90 में कुछ सही किया? और हम कैसे पता लगाते हैं - भविष्य में और भी बड़ी सफलता प्राप्त करने के लिए लाखों "पेन" में से कौन सा मोड़? हम इसे कुछ कार्यों में विश्वास के गुणांक को निर्धारित करने का कार्य कहते हैं। पोंग के साथ विशिष्ट मामले में, हम जानते हैं कि अगर हम प्रतिद्वंद्वी को पास करते हैं तो हमें +1 मिलता है। सही कारण यह है कि हमने गलती से गेंद को एक अच्छे रास्ते के साथ कुछ तख्ते पर वापस किक मारी थी, और बाद में हमने जो भी प्रदर्शन किया, उसका उस पर बिल्कुल भी असर नहीं हुआ। दूसरे शब्दों में, हम एक बहुत ही जटिल कम्प्यूटेशनल समस्या के साथ सामना कर रहे हैं, और सब कुछ बल्कि उदास लग रहा है।

एक शिक्षक के साथ प्रशिक्षण। इससे पहले कि हम राजनीति (पीजी) की ढाल में तल्लीन हो जाएं, मैं एक शिक्षक के साथ शिक्षण को संक्षेप में याद करना चाहूंगा, क्योंकि जैसा कि हम देखेंगे, आरएल बहुत समान है। नीचे दिए गए चार्ट को देखें। एक शिक्षक के साथ सामान्य शिक्षण में, हम छवि को नेटवर्क में स्थानांतरित करेंगे और कक्षाओं के लिए आउटपुट पर कुछ संख्यात्मक संभावनाएं प्राप्त करेंगे। उदाहरण के लिए, हमारे मामले में हमारे पास दो वर्ग हैं: UP और DOWN। मैं 30% और 70% प्रारूप में संभावनाओं के बजाय लॉगरिदमिक संभावनाओं (-1.2, -0.36) का उपयोग करता हूं, क्योंकि हम सही वर्ग (या लेबल) के लॉगरिदमिक संभावना को अनुकूलित करते हैं। यह गणितीय गणना को अधिक सुरुचिपूर्ण बनाता है और सिर्फ संभावना को अनुकूलित करने के बराबर है, क्योंकि लघुगणक एकरस है।

एक शिक्षक के साथ प्रशिक्षण में, हमारे पास सही कक्षा (लेबल) तक त्वरित पहुंच होगी। प्रशिक्षण चरण में, वे हमें बताएंगे कि अभी सही कदम की आवश्यकता क्या है (मान लीजिए कि यह यूपी, लेबल 0 है), हालांकि तंत्रिका नेटवर्क अलग तरीके से सोच सकता है। इसलिए, हम ढाल की गणना करते हैं $$$\ nabla_ {W} \ log p (y = UP \ mid x)$ नेटवर्क सेटिंग्स को ट्वीक करने के लिए। यह ढाल बस हमें बताती है कि हमें अपने लाखों मापदंडों में से प्रत्येक को कैसे बदलना चाहिए ताकि नेटवर्क एक ही स्थिति में यूपी की भविष्यवाणी करने की थोड़ी अधिक संभावना हो। उदाहरण के लिए, नेटवर्क में एक लाख मापदंडों में से एक में -2.1 का ग्रेडिएंट हो सकता है, जिसका अर्थ है कि यदि हमने इस पैरामीटर को एक छोटे सकारात्मक मान (उदाहरण के लिए, 0.001) से बढ़ा दिया है, तो यूपी की लॉगरिदमिक संभावना 2.1.1 / 0.001 तक घट जाएगी। (नकारात्मक संकेत के कारण कमी)। यदि हम ढाल लागू करते हैं और फिर बैकप्रॉपैगैशन एल्गोरिथ्म का उपयोग करके पैरामीटर को अपडेट करते हैं, तो, हाँ, हमारा नेटवर्क यूपी की एक उच्च संभावना देगा जब यह भविष्य में समान या बहुत समान छवि देखता है।



राजनीति के स्नातक (पीजी) । ठीक है, लेकिन अगर हम सही सुदृढीकरण प्रशिक्षण लेबल नहीं रखते हैं तो हम क्या करते हैं? यहां पीजी के लिए एक समाधान है (नीचे फिर से चित्र देखें)। हमारे तंत्रिका नेटवर्क ने 30% (logprob -1.2) और DOWN की 70% (logprob -0.36) की वृद्धि की संभावना की गणना की। अब हम इस वितरण से चयन करते हैं और निर्दिष्ट करते हैं कि हम क्या कार्रवाई करेंगे। उदाहरण के लिए, उन्होंने DOWN को चुना और गेम सिम्युलेटर को यह क्रिया भेजी। इस बिंदु पर, एक दिलचस्प तथ्य पर ध्यान दें: हम तुरंत DOWN कार्रवाई के लिए ढाल की गणना कर सकते हैं और लागू कर सकते हैं, जैसा कि हमने एक शिक्षक के साथ शिक्षण में किया था, और इससे नेटवर्क को भविष्य में DOWN क्रिया करने की अधिक संभावना है। इस प्रकार, हम इस ग्रेडिएंट को तुरंत सराहना और याद कर सकते हैं। लेकिन समस्या यह है कि फिलहाल हमें अभी तक पता नहीं है - क्या DOWN में जाना अच्छा है? लेकिन सबसे दिलचस्प बात यह है कि हम बस थोड़ा इंतजार कर सकते हैं और बाद में ढाल लागू कर सकते हैं! पोंग में, हम खेल के अंत तक इंतजार कर सकते हैं, फिर हमें प्राप्त इनाम ले सकते हैं (या तो अगर हम जीत गए, या -1 अगर हम हार गए), और इसे ढाल के लिए एक कारक के रूप में दर्ज करें। इसलिए, यदि हम DOWN प्रायिकता के लिए -1 का परिचय देते हैं और बैक प्रोपेगेशन करते हैं, तो हम नेटवर्क मापदंडों का पुनर्निर्माण करेंगे, ताकि भविष्य में DOWN एक्शन करने की संभावना कम हो, जब यह एक ही तस्वीर का सामना करता है, क्योंकि इस एक्शन को अपनाने के कारण हमें गेम गंवाना पड़ा। यही है, हमें किसी भी तरह से खेल के एक एपिसोड में सभी क्रियाओं (तंत्रिका नेटवर्क के इनपुट और आउटपुट) को याद रखने की आवश्यकता होगी और इस सरणी के आधार पर, एक शिक्षक के साथ शिक्षण में तंत्रिका नेटवर्क को लगभग उसी तरह से मोड़ दें।



और वह सब जो आवश्यक है: हमारे पास एक स्टोकेस्टिक नीति है जो कार्यों को चुनती है, और फिर भविष्य में, अच्छे परिणाम के लिए कार्रवाई करने वाले कार्यों को प्रोत्साहित किया जाता है, और बुरे परिणामों को बढ़ावा देने वाले कार्यों को प्रोत्साहित नहीं किया जाता है। इसके अलावा, अगर हम अंततः गेम जीतते हैं तो इनाम भी +1 या -1 नहीं होना चाहिए। यह एक ही अर्थ का एक मनमाना मूल्य हो सकता है। उदाहरण के लिए, यदि सब कुछ वास्तव में अच्छी तरह से काम करता है, तो इनाम 10.0 हो सकता है, जिसे हम तब बैकप्रॉप बैकप्रोगैजेशन शुरू करने के लिए एक ढाल के रूप में उपयोग करते हैं। यह तंत्रिका नेटवर्क की सुंदरता है। उनका उपयोग करना एक धोखा की तरह लग सकता है: आपको 1 टेराफ्लॉप की गणना में निर्मित 1 मिलियन पैरामीटर की अनुमति है, और आप प्रोग्राम को स्टोचैस्टिक ग्रेडिएंट डिसेंट (SGD) के साथ मनमानी करने के लिए सीख सकते हैं। यह काम नहीं करना चाहिए, लेकिन यह मजेदार है कि हम एक ब्रह्मांड में रहते हैं जहां यह काम करता है।

यदि हम साधारण बोर्ड गेम खेलते हैं, जैसे कि चेकर्स, तो ऑर्डर लगभग समान होगा। मिनिमैक्स या अल्फा-बीटा क्लिपिंग एल्गोरिदम से ध्यान देने योग्य अंतर है। इन एल्गोरिदम में, खेल के नियमों को जानते हुए, कार्यक्रम कुछ कदम आगे बढ़ता है, और लाखों पदों का विश्लेषण करता है। आरएल दृष्टिकोण में, केवल वास्तव में किए गए चालों का विश्लेषण किया जाता है। उसी समय, तंत्रिका नेटवर्क आगे नहीं दिखता है, क्योंकि यह खेल के नियमों के बारे में कुछ भी नहीं जानता है।

वर्कआउट ऑर्डर के बारे में विस्तार से। हम कुछ W1, W2 के साथ एक न्यूरल नेटवर्क बनाते हैं और आरंभ करते हैं और 100 खेल खेलते हैं (हम इसे राजनीति का "रन-इन", पॉलिसी रोलआउट कहते हैं)। मान लीजिए कि प्रत्येक खेल में 200 फ्रेम होते हैं, इसलिए कुल मिलाकर हमने ऊपर या नीचे जाने के लिए 100 * 200 = 20,000 निर्णय लिए। और प्रत्येक समाधान के लिए, हम एक ढाल जानते हैं जो हमें बताता है कि भविष्य में इस समाधान को प्रोत्साहित या प्रतिबंधित करने के लिए पैरामीटर को कैसे बदलना चाहिए। अब जो कुछ भी है वह प्रत्येक निर्णय को लेबल करना है जिसे हम अच्छा या बुरा बनाते हैं। उदाहरण के लिए, मान लीजिए कि हमने 12 गेम जीते और 88 हार गए। हम जीतने वाले खेलों में किए गए सभी 200 * 12 = 2400 निर्णय लेंगे और एक सकारात्मक अपडेट करेंगे (प्रत्येक क्रिया के लिए +1.0 ग्रेडिएंट भरें, बैकप्रॉप कर रहे हैं, और मापदंडों को अपडेट करेंगे। उन कार्यों को प्रोत्साहित करना जो हमने इन सभी स्थितियों में चुने हैं)। और हम अन्य 200 * 88 = 17,600 फैसले लेंगे जो हमने गेम हारने में किए थे और एक नकारात्मक अपडेट (जो हमने किया था उसे स्वीकार नहीं करना)। और यह सब लेता है नेटवर्क अब उन कार्यों को दोहराने की संभावना रखेगा जो काम कर चुके हैं, और उन कार्यों को दोहराने की संभावना कम है जो काम नहीं किए हैं। अब हम अपनी नई, थोड़ी सुधरी हुई नीति के साथ एक और 100 गेम खेलते हैं, और फिर ग्रेडिएंट्स के आवेदन को दोहराते हैं।


4 खेलों की कार्टून योजना। प्रत्येक ब्लैक सर्कल एक प्रकार का गेम स्टेट है (राज्यों के तीन उदाहरण नीचे दिखाए गए हैं), और प्रत्येक तीर एक संक्रमण है जिसे उस कार्रवाई के साथ चिह्नित किया गया है जिसे चुना गया था। इस मामले में, हमने 2 गेम जीते और 2 गेम हारे। हमने अपने द्वारा जीते गए दो खेलों को लिया और इस कड़ी में हमारे द्वारा की गई हर कार्रवाई को हल्के से प्रोत्साहित किया। इसके विपरीत, हम दो खोए हुए खेल भी लेंगे और प्रत्येक व्यक्तिगत कार्रवाई को थोड़ा हतोत्साहित करेंगे जो हमने इस कड़ी में किया था।

यदि आप इस पर विचार करते हैं, तो आप कुछ मज़ेदार गुण खोजने लगेंगे। उदाहरण के लिए, क्या होगा यदि हमने फ्रेम 50 में एक अच्छी कार्रवाई की, गेंद को सही तरीके से किक किया, लेकिन फिर गेंद को फ्रेम 150 में याद किया? चूंकि हमने गेम को खो दिया है, प्रत्येक व्यक्तिगत कार्रवाई को अब खराब के रूप में चिह्नित किया गया है, और क्या यह फ्रेम 50 पर सही हिट को नहीं रोकता है? आप सही हैं - ऐसा इस पार्टी के लिए होगा। हालांकि, जब आप हजारों / लाखों खेलों में प्रक्रिया पर विचार करते हैं, तो पलटाव का सही निष्पादन भविष्य में जीतने की आपकी संभावना को बढ़ाता है। औसतन, आप उचित रैकेट स्ट्राइक के लिए नकारात्मक अपडेट की तुलना में अधिक सकारात्मक देखेंगे। और नीति को लागू करने वाला तंत्रिका नेटवर्क अंततः सही प्रतिक्रियाओं का उत्पादन करेगा।

अपडेट: 9 दिसंबर, 2016 एक वैकल्पिक दृश्य है। ऊपर मेरे स्पष्टीकरण में, मैं "एक ढाल और बैकप्रॉप बैक प्रचार को परिभाषित करने" जैसे शब्दों का उपयोग करता हूं, जो एक निश्चित कुशल तकनीक है। यदि आप अपने स्वयं के बैकप्रॉप बैकस्प्रेड कोड लिखने या टॉर्च का उपयोग करने के लिए उपयोग किए जाते हैं, जब आप पूरी तरह से ग्रेडिएंट को नियंत्रित कर सकते हैं। हालाँकि, यदि आपको थीनो या टेंसोरफ्लो का उपयोग किया जाता है, तो आप थोड़े हैरान हो जाएंगे क्योंकि बैकपॉप कोड पूरी तरह से स्वचालित है और कस्टमाइज़ करना मुश्किल है। इस मामले में, निम्न वैकल्पिक दृश्य अधिक उत्पादक हो सकता है। एक शिक्षक के साथ शिक्षण में, सामान्य लक्ष्य अधिकतम करना है $$$\ sum_i \ log p (y_i \ mid x_i)$ जहाँ $$$x_i, y_i$ - प्रशिक्षण उदाहरण (जैसे कि चित्र और उनके लेबल)। नीति फ़ंक्शन के लिए ढाल का अनुप्रयोग शिक्षक के साथ प्रशिक्षण के साथ बिल्कुल मेल खाता है, लेकिन दो छोटे अंतरों के साथ: 1) हमारे पास सही लेबल नहीं हैं $$$y_i$ इसलिए, एक "नकली लेबल" के रूप में हम उस कार्रवाई का उपयोग करते हैं जो हमने नीति से चुनने के लिए प्राप्त की थी जब उसने देखा था $$$x_i$ , और 2) हम प्रत्येक कार्य के लिए एक और गुणांक (लाभ) का परिचय देते हैं। इस प्रकार, अंत में, हमारा नुकसान अब जैसा दिखता है $$$\ sum_i A_i \ log p (y_i \ mid x_i)$ जहाँ $$$y_i$ - यह वह क्रिया है जिसे हमने नमूने के साथ किया है, और $$$A_i$ क्या संख्या जिसे हम समीचीनता का गुणांक कहते हैं। उदाहरण के लिए, पोंग के मामले में, मूल्य $$$A_i$ यह 1.0 हो सकता है अगर हम एपिसोड जीतते हैं, और -1.0 अगर हम हार जाते हैं। यह सुनिश्चित करता है कि हम रिकॉर्डिंग क्रियाओं की संभावना को अधिकतम करते हैं जिससे अच्छे परिणाम आए और रिकॉर्डिंग क्रियाओं की संभावना कम से कम हो। और कई कॉल के परिणामस्वरूप तटस्थ क्रियाएं विशेष रूप से राजनीति के कार्य को प्रभावित नहीं करेंगी। इस प्रकार, सुदृढीकरण सीखना बिल्कुल एक शिक्षक के साथ सीखने के समान है, लेकिन एक अतिरिक्त कारक के साथ कभी बदलते हुए डेटासेट (एपिसोड) पर।

अधिक उन्नत व्यवहार्यता सुविधाएँ। मैंने थोड़ी और जानकारी का भी वादा किया। अब तक, हमने इस पर आधारित प्रत्येक व्यक्तिगत कार्रवाई की शुद्धता का मूल्यांकन किया है कि हम जीतते हैं या नहीं। अधिक सामान्य आरएल सेटअप में, हम "सशर्त इनाम" प्राप्त करेंगे $$$r_t$ प्रत्येक चरण के लिए, चरण संख्या या समय के आधार पर। सामान्य विकल्पों में से एक रियायती गुणांक का उपयोग करना है, इसलिए उपरोक्त आरेख में "संभव इनाम" होगा $$$R_t = \ sum_ {k = 0} ^ {\ infty} \ Gamma ^ k r_ {t + k}$ जहाँ $$$गामा$ 0 से 1 तक की संख्या है, जिसे छूट गुणांक कहा जाता है (उदाहरण के लिए, 0.99)। अभिव्यक्ति का कहना है कि जिस ताकत से हम कार्रवाई को प्रोत्साहित करते हैं वह सभी पुरस्कारों की भारित राशि है, लेकिन बाद के पुरस्कार तेजी से कम महत्वपूर्ण हैं। यही है, कार्यों की छोटी श्रृंखलाओं को बेहतर ढंग से प्रोत्साहित किया जाता है, और कार्यों की लंबी श्रृंखलाओं की पूंछ कम महत्वपूर्ण हो जाती है। व्यवहार में, आपको उन्हें सामान्य करने की भी आवश्यकता है। उदाहरण के लिए, मान लें कि हम गणना करते हैं $$$R_t$ खेल के 100 एपिसोड की श्रृंखला में सभी 20,000 क्रियाओं के लिए। इन मानों को सामान्य बनाने के लिए एक बहुत अच्छा विचार है (औसत विचलन को घटाएं, मानक विचलन द्वारा विभाजित करें) इससे पहले कि हम उन्हें बैकप्रॉप एल्गोरिथ्म से जोड़ दें। इस प्रकार, हम हमेशा किए गए कार्यों में से लगभग आधे कार्यों को प्रोत्साहित और हतोत्साहित करते हैं। यह उतार-चढ़ाव को कम करता है और नीति को अधिक अभिसरण बनाता है। एक गहन अध्ययन [ लिंक ] पर पाया जा सकता है।

एक नीति समारोह से व्युत्पन्न। मैं यह भी संक्षेप में वर्णन करना चाहता था कि कैसे ग्रेडिएंट को गणितीय रूप से लिया जाता है। राजनीति के कार्य के ग्रेडिएंट एक अधिक सामान्य सिद्धांत का एक विशेष मामला है। सामान्य मामला यह है कि जब हमारे पास फॉर्म की अभिव्यक्ति होती है $$$E_ {x \ sim p (x \ mid \ theta)} [f (x)]$ , यानी, कुछ स्केलर फ़ंक्शन की अपेक्षा $$$च (x)$ इसके पैरामीटर के कुछ वितरण के साथ $$$p (x; \ theta)$ कुछ वेक्टर द्वारा पैरामीटरित $$$$ थीटा$ । तो $$$च (x)$ हमारा पुरस्कार समारोह (या अधिक सामान्य अर्थों में समीचीनता का कार्य), और असतत वितरण बन जाएगा $$$p (x)$ हमारी नीति होगी, जिसका वास्तव में रूप है $$$p (a \ mid I)$ एक तस्वीर के लिए एक कार्रवाई की संभावनाओं दे $$$मैं$ । तब हम रुचि रखते हैं कि हम अपने मापदंडों के माध्यम से पी के वितरण को कैसे स्थानांतरित कर सकते हैं $$$$ थीटा$ विस्तार करना $$$च$ (यानी हम नेटवर्क सेटिंग्स कैसे बदलते हैं ताकि क्रियाओं को एक उच्च इनाम मिले) हमारे पास यह है:
$$$\ start {align} \ nabla _ {\ theta} E_x [f (x)] & = \ nabla _ {\ theta} \ sum_x p (x) f (x) और \ text {अपेक्षाओं की परिभाषा} \\ & = \ sum_x \ nabla _ {\ _ theta} p (x) f (x) & \ _ {the sum and gradient} स्वैप और \ _ \ _ \ _ p_ (x) \ frac {\ nabla _ {\ _ theta} p (x)} {p (x)} f (x) और \ पाठ {गुणा करके और विभाजित करके} p (x) \\ & = \ sum_x p (x) \ nabla _ {\ ata} \ log p (x) f (x) & पाठ {इस तथ्य का उपयोग करें कि} \ nabla _ {\ theta} \ log (z) = \ frac {1} {z} \ nabla _ {\ _A}} z \\ & = E_x [f (x) \ n \ _ \ _ theta} \ _ log p (x)] और \ text {अपेक्षा की परिभाषा} \ end {संरेखित}$

मैं इसे समझाने की कोशिश करूंगा। हमारे पास कुछ वितरण है $$$p (x; \ theta)$ (मैंने संक्षिप्त नाम का उपयोग किया है $$$p (x)$ जिससे हम विशिष्ट मूल्यों का चयन कर सकते हैं। उदाहरण के लिए, यह एक गाऊसी वितरण हो सकता है जिसमें से एक यादृच्छिक संख्या जनरेटर नमूने हैं। प्रत्येक उदाहरण के लिए, हम अनुमान फ़ंक्शन की गणना भी कर सकते हैं $$$च$ , जो वर्तमान उदाहरण के अनुसार हमें कुछ अदिश अनुमान देता है। परिणामी समीकरण हमें बताता है कि हमें अपने मापदंडों के माध्यम से वितरण को कैसे स्थानांतरित करना चाहिए $$$$ थीटा$ यदि हम उच्च दरों को प्राप्त करने के लिए इसके आधार पर आगे के कार्यों के उदाहरण चाहते हैं $$$च$ । हम कार्यों के कुछ उदाहरण लेते हैं $$$x$ और उनका मूल्यांकन $$$च (x)$ , और प्रत्येक x के लिए भी हम दूसरे शब्द का मूल्यांकन करते हैं $$$\ nabla _ {\ _ theta} \ log p (x; \ theta)$ । यह गुणक क्या है? यह ठीक वेक्टर है - ग्रेडिएंट, जो हमें पैरामीटर स्पेस में दिशा देता है, जिससे एक विशिष्ट कार्रवाई की संभावना में वृद्धि होगी $$$x$ । दूसरे शब्दों में, अगर हमने दिशा में we धक्का दिया $$$\ nabla _ {\ _ theta} \ log p (x; \ theta)$ , हम देखेंगे कि इस कार्रवाई की नई संभावना थोड़ी बढ़ जाएगी। यदि आप सूत्र को देखते हैं, तो यह बताता है कि हमें यह दिशा लेनी चाहिए और इसके द्वारा स्केलर मान को गुणा करना चाहिए $$$च (x)$ । यह सुनिश्चित करेगा कि एक उच्च रेटिंग (हमारे मामले में, एक इनाम) के साथ क्रियाओं के उदाहरण कम संकेतक वाले उदाहरणों की तुलना में अधिक मजबूती से "खींचेंगे", इसलिए यदि हम कई नमूनों के आधार पर अपडेट करना चाहते थे $$$पी$ संभावना घनत्व उच्च परिणामी खेल बिंदुओं की ओर शिफ्ट होगा, जिससे उच्च-इनाम कार्रवाई उदाहरणों की संभावना बढ़ जाती है। यह महत्वपूर्ण है कि ढाल कार्य से नहीं लिया गया है $$$च$ , क्योंकि यह आम तौर पर उदासीन और अप्रत्याशित हो सकता है। एक $$$पी$ द्वारा अलग करने योग्य $$$$ थीटा$ । वह है $$$पी$ एक निरंतर समायोज्य असतत वितरण है, जहां आप व्यक्तिगत कार्यों की संभावनाओं को समायोजित कर सकते हैं। हम भी ऐसा ही मानते हैं $$$पी$ सामान्यीकृत।



क्रमिक दृश्य। वाम: गॉसियन वितरण और इसके कई उदाहरण (नीला बिंदु)। प्रत्येक नीले बिंदु पर, हम औसत पैरामीटर के संबंध में लॉगरिदमिक प्रायिकता के ग्रेडिएंट को भी प्लॉट करते हैं। तीर उस दिशा को इंगित करता है जिसमें इस उदाहरण कार्रवाई की संभावना को बढ़ाने के लिए औसत वितरण मूल्य को स्थानांतरित किया जाना चाहिए। बीच में: कुछ मूल्यांकन फ़ंक्शन जोड़े गए, जो कुछ छोटे क्षेत्रों में +1 को छोड़कर हर जगह -1 देता है (ध्यान दें कि यह एक मनमाना हो सकता है और जरूरी नहीं कि अलग-अलग स्केलर फ़ंक्शन हो)। तीर अब रंग कोडित हैं, क्योंकि गुणन के कारण हम सभी हरे तीरों को एक सकारात्मक रेटिंग और ऋणात्मक तीरों के साथ औसत करने जा रहे हैं। सही: मापदंडों को अपडेट करने के बाद, हरे तीर और उल्टे लाल तीर हमें बाएं और नीचे धक्का देते हैं। इस वितरण के नमूने अब वांछित होने पर एक उच्च अपेक्षित रेटिंग होगी।

मुझे उम्मीद है कि आरएल के साथ कनेक्शन स्पष्ट है।हमारी नीति हमें कार्यों का उदाहरण देती है, और उनमें से कुछ दूसरों की तुलना में बेहतर काम करती हैं (शीघ्रता के कार्य को देखते हुए)। नीति सेटिंग्स को बदलने का तरीका दौड़ना है, चयनित कार्यों का ग्रेडिएंट लेना है, इसे रेटिंग से गुणा करें और जो कुछ भी हमने ऊपर जोड़ा है, उसे जोड़ें। अधिक गहन निष्कर्ष के लिए, मैं जॉन शुलमैन के
एक व्याख्यान की सिफारिश करता हूं ।
शिक्षा। खैर, हमने राजनीति के कार्य के ग्रेडिएंट के सिद्धांत विकसित किए हैं। मैंने 130-लाइन पायथन स्क्रिप्ट में पूरे दृष्टिकोण को लागू किया है जो ओपनएआई जिम से तैयार एटीएआई 2600 पोंग एमुलेटर का उपयोग करता है। मैंने 10 एपिसोड की एक श्रृंखला के लिए RMSProp एल्गोरिथ्म का उपयोग करके 200 छिपे हुए परत वाले न्यूरॉन्स के साथ दो-परत तंत्रिका नेटवर्क को प्रशिक्षित किया (प्रत्येक एपिसोड, नियमों के अनुसार, कई गेंद ड्रॉ के होते हैं और एपिसोड 21 स्कोर करना जारी रखता है)। मैंने हाइपर मापदंडों को बहुत अधिक सेट अप नहीं किया और अपनी धीमी मैकबुक पर प्रयोग किया, लेकिन तीन दिन की कसरत के बाद मुझे ऐसी पॉलिसी मिली जो बिल्ट-इन प्लेयर की तुलना में थोड़ी बेहतर है। एपिसोड की कुल संख्या लगभग 8,000 थी, इसलिए एल्गोरिथ्म ने लगभग 200,000 पोंग गेम खेले, जो कि बहुत अधिक है, और वज़न को कुल ~ 800 अपडेट किया। अगर मैंने जीपीयू पर कॉनवनेट्स के साथ प्रशिक्षण लिया, तो कुछ दिनों के भीतर, मैं बहुत अच्छे परिणाम प्राप्त कर सकता था, और अगर मैंने हाइपरपरमेटर्स को अनुकूलित किया, तो मैं हमेशा जीत सकता था। हालाँकि, मैंने बहुत अधिक समय कंप्यूटिंग या स्थापित करने में खर्च नहीं किया,इसलिए इसके बजाय हमें पोंग एआई मिला, जो मुख्य विचारों को दिखाता है और काफी अच्छी तरह से काम करता है:


.

.हम तंत्रिका नेटवर्क के प्राप्त भार को भी देख सकते हैं। प्रीप्रोसेसिंग के लिए धन्यवाद, हमारे प्रत्येक इनपुट में 80x80 (वर्तमान फ्रेम माइनस पिछला फ्रेम) की अंतर छवि है। W1 परत से प्रत्येक न्यूरॉन एक छिपी हुई परत W2 से जुड़ा होता है जिसमें 200 न्यूरॉन्स होते हैं। बांड की संख्या 80 * 80 * 200 है। आइए इन कनेक्शनों का विश्लेषण करने का प्रयास करें। हम W2 परत के सभी न्यूरॉन्स के माध्यम से सॉर्ट करेंगे और कल्पना करेंगे कि वजन क्या होता है। तराजू से जो W1 न्यूरॉन्स से एक W2 न्यूरॉन की ओर जाता है, हम 80x80 चित्र बनाएंगे। नीचे W2 की ऐसी 40 तस्वीरें (कुल 200) हैं। सफेद पिक्सेल सकारात्मक भार होते हैं, और काले नकारात्मक होते हैं। ध्यान दें कि कई W2 न्यूरॉन्स को धराशायी लाइनों में एन्कोडेड फ्लाइंग बॉल से ट्यून किया जाता है। एक खेल में, गेंद केवल एक ही स्थान पर हो सकती है,इसलिए, ये न्यूरॉन बहुउद्देश्यीय होते हैं और अगर गेंद इन पंक्तियों के अंदर होती है तो "शूट" करेंगे। ब्लैक एंड व्हाइट का विकल्प दिलचस्प है, क्योंकि जब गेंद ट्रैक के साथ चलती है, तो न्यूरॉन की गतिविधि साइन लहर की तरह उतार-चढ़ाव होगी। और ReLU के कारण, वह कुछ पदों पर केवल "शूट" करेगा। छवियों में बहुत अधिक शोर है, जो कि अगर मैंने L2 नियमितीकरण का उपयोग किया तो कम होगा।



क्या नहीं हो रहा है इसलिए, हमने सीखा कि कैसे पॉलिसी फ़ंक्शन की ग्रेडिएंट का उपयोग करके चित्रों पर पोंग खेला जाता है, और यह बहुत अच्छी तरह से काम करता है। यह दृष्टिकोण एक विचित्र "सुझाव और सत्यापित" रूप है, जहां "अनुमान" खेल की कई कड़ियों पर हमारी नीति को चलाने के लिए संदर्भित करता है, और "जाँच" उन कार्यों को प्रोत्साहित करता है जो अच्छे परिणाम देते हैं। सामान्य तौर पर, यह वर्तमान स्तर का प्रतिनिधित्व करता है कि हम वर्तमान में प्रबलित शिक्षण की समस्याओं से कैसे निपट रहे हैं। यदि आप एल्गोरिथ्म को सहज रूप से समझते हैं और जानते हैं कि यह कैसे काम करता है, तो आपको कम से कम थोड़ा निराश होना चाहिए। विशेष रूप से, यह कब काम नहीं करता है?

इसकी तुलना एक व्यक्ति कैसे पोंग खेलना सीख सकता है। आप खुद उन्हें खेल दिखाते हैं और कुछ इस तरह कहते हैं: "आप रैकेट को नियंत्रित करते हैं, और आप इसे ऊपर और नीचे ले जा सकते हैं, और आपका काम बिल्ट-इन प्रोग्राम द्वारा नियंत्रित किसी अन्य खिलाड़ी की गेंद को फेंकना है," और आप जाने के लिए तैयार हैं। कृपया कुछ अंतरों पर ध्यान दें:

• - , , , . RL , . , ( ), , . . , , , , , , , , .
  
• , ( , , , ..), ( «» « , , , - - . .). «» / . , , ( ) ( , ).
  
• — (brute force), , . . , , , . , «» , . , , .
  
• , , . , , . .
  

: : RL. , , . , . , 99% . , «» . : «», , - , - , - , , . « , ».

मैं इस तथ्य पर भी जोर देना चाहूंगा कि, इसके विपरीत, कई खेलों में राजनीति के ग्रेडर एक व्यक्ति को आसानी से हरा देंगे। विशेष रूप से, यह लगातार पुरस्कारों के साथ खेलों पर लागू होता है, जिसके लिए सटीक और त्वरित प्रतिक्रिया की आवश्यकता होती है और दीर्घकालिक योजना के बिना। पुरस्कार और कार्यों के बीच अल्पकालिक सहसंबंध आसानी से पीजी दृष्टिकोण द्वारा देखा जा सकता है। आप हमारे एजेंट पोंग में समान देख सकते हैं। वह एक रणनीति विकसित करता है जब वह बस गेंद का इंतजार करता है, और फिर बहुत तेजी से केवल इसे पकड़ने के लिए तेजी से आगे बढ़ता है, यही कारण है कि गेंद उच्च ऊर्ध्वाधर गति से उछलती है। एजेंट एक पंक्ति में कई जीत हासिल करता है, इस सरल रणनीति को दोहराता है। कई गेम (पिनबॉल, ब्रेकआउट) हैं, जिसमें डीप क्यू-लर्निंग एक व्यक्ति को अपनी सरल और सटीक क्रियाओं के साथ कीचड़ में खींचता है।

एक बार जब आप "ट्रिक" को समझ जाते हैं जिसके साथ ये एल्गोरिदम काम करते हैं, तो आप उनकी ताकत और कमजोरियों को समझ सकते हैं। विशेष रूप से, ये एल्गोरिदम उन खेलों के बारे में अमूर्त विचारों का निर्माण करने में लोगों से बहुत पीछे हैं जिनका लोग त्वरित सीखने के लिए उपयोग कर सकते हैं। एक बार जब कंप्यूटर पिक्सेल की सरणी को देखता है और कुंजी को नोटिस करता है, तो दरवाजा खुद को सोचता है कि कुंजी को ले जाना और दरवाजे पर पहुंचना अच्छा होगा। वर्तमान में इसके करीब कुछ भी नहीं है, और वहां पहुंचने का प्रयास अनुसंधान का एक सक्रिय क्षेत्र है।

तंत्रिका नेटवर्क में गैर-अलग-अलग संगणनाएं।मैं गैर-गेम से संबंधित नीतिगत ढालों के एक और दिलचस्प अनुप्रयोग का उल्लेख करना चाहूंगा: यह हमें उन घटकों का उपयोग करने वाले तंत्रिका नेटवर्क को डिजाइन और प्रशिक्षित करने की अनुमति देता है जो गैर-विभेदी संगणनाओं के साथ प्रदर्शन (या बातचीत) करते हैं। यह विचार पहली बार 1992 में विलियम्स द्वारा पेश किया गया था । और हाल ही में आवर्ती दृश्य मॉडल में लोकप्रिय किया गया है ।एक मॉडल के संदर्भ में "घनिष्ठ ध्यान" कहा जाता है जो संकीर्ण foveal कम-रिज़ॉल्यूशन के अनुक्रम के साथ एक छवि को संसाधित करता है, इसी तरह कि हमारी आंख एक चल रही केंद्रीय दृष्टि के साथ वस्तुओं की जांच करती है। प्रत्येक पुनरावृत्ति पर, RNN छवि का एक छोटा टुकड़ा प्राप्त करेगा और उस स्थान का चयन करेगा जिसे आगे देखने की आवश्यकता है। उदाहरण के लिए, आरएनएन स्थिति (5.30) को देख सकता है, छवि का एक छोटा सा टुकड़ा प्राप्त कर सकता है, फिर देखने का निर्णय ले सकता है (24, 50), आदि तंत्रिका नेटवर्क का एक खंड है जो आगे देखने के लिए चयन करता है, और फिर निरीक्षण करता है। दुर्भाग्य से, यह ऑपरेशन अलग नहीं है, क्योंकि, हमें नहीं पता कि अगर हम कहीं और नमूना लेते हैं तो क्या होगा। अधिक सामान्य मामले में, एक तंत्रिका नेटवर्क पर विचार करें जिसमें कई इनपुट और आउटपुट हैं:



ध्यान दें कि अधिकांश नीले तीर हमेशा की तरह अलग-अलग होते हैं, लेकिन कुछ दृश्य परिवर्तनों में एक उदासीन चयन प्रक्रिया भी शामिल हो सकती है, जिसे लाल रंग में हाइलाइट किया जाता है। हम सिर्फ विपरीत दिशा में नीले तीर के माध्यम से जा सकते हैं, लेकिन लाल तीर एक निर्भरता है, जिसके माध्यम से हम बैकप्रॉप का प्रचार नहीं कर सकते हैं।

बचाव के लिए ढाल नीति! आइए नेटवर्क के उस भाग के बारे में सोचें जो नमूना करता है कि इसे एक बड़े तंत्रिका नेटवर्क में एम्बेडेड स्टोचस्टिक नीति के कार्य के रूप में दर्शाया जा सकता है। इसलिए, प्रशिक्षण के दौरान, हम कई उदाहरणों (नीचे की शाखाओं द्वारा इंगित) का उत्पादन करेंगे, और फिर हम उन नमूनों को प्रोत्साहित करेंगे जो अंततः अच्छे परिणाम देते हैं (इस मामले में, उदाहरण के लिए, अंत में नुकसान से मापा जाता है)। दूसरे शब्दों में, हम सामान्य रूप से बैकप्रॉप का उपयोग करते हुए नीले तीरों में शामिल मापदंडों को प्रशिक्षित करेंगे, लेकिन लाल तीर में शामिल मापदंडों को अब नीतिगत ढालों का उपयोग करके स्वतंत्र रूप से बैकवर्ड पास से स्वतंत्र रूप से अपडेट किया जाएगा, जिससे नमूनों को कम नुकसान होगा। इस विचार को भी हाल ही में ठीक किया गया था।स्टोकेस्टिक गणना रेखांकन का उपयोग कर धीरे-धीरे अनुमान।



यादृच्छिक अभिगम स्मृति में प्रशिक्षित इनपुट / आउटपुट। आपको यह विचार कई अन्य लेखों में भी मिलेगा। उदाहरण के लिए, न्यूरल ट्यूरिंग मशीन में एक मेमोरी टेप होता है जिसके साथ वे पढ़ते हैं और लिखते हैं। राइट ऑपरेशन करने के लिए, आपको एम [i] = x जैसा कुछ करने की आवश्यकता है, जहाँ I और x की भविष्यवाणी RNN न्यूरल नेटवर्क द्वारा की जाती है। हालाँकि, हमें यह बताने का कोई संकेत नहीं है कि अगर हमने j लिखा है, तो लॉस फ़ंक्शन का क्या होगा! = I इसलिए, NTM सॉफ्ट रीड एंड राइट ऑपरेशन कर सकता है। वह ध्यान वितरण कार्य की भविष्यवाणी करता है, और फिर सभी के लिए करता है: m [i] = a [i] * x। यह अब अलग है, लेकिन हमें सभी कोशिकाओं के माध्यम से छँटाई करते हुए एक उच्च कम्प्यूटेशनल कीमत चुकानी होगी।

हालांकि, हम इस समस्या के आसपास सैद्धांतिक रूप से काम करने के लिए नीतिगत ढाल का उपयोग कर सकते हैं, जैसा कि आरएल-एनटीएम में किया जाता है। हम अभी भी ध्यान के वितरण की भविष्यवाणी करते हैं, लेकिन संपूर्ण खोज के बजाय, हम बेतरतीब ढंग से लिखने के लिए स्थानों का चयन करते हैं: i = नमूना (ए); m [i] = x प्रशिक्षण के दौरान, हम इसे i के एक छोटे से सेट के लिए कर सकते हैं और अंत में, ऐसा सेट पाएंगे जो दूसरों की तुलना में बेहतर काम करेगा। एक महान कम्प्यूटेशनल लाभ यह है कि परीक्षण के दौरान आप एक सेल से पढ़ / लिख सकते हैं। हालांकि, जैसा कि दस्तावेज़ में संकेत दिया गया है, यह रणनीति काम करने के लिए बहुत मुश्किल है, क्योंकि आपको कई विकल्पों के माध्यम से जाने की जरूरत है और लगभग गलती से काम करने वाले एल्गोरिदम पर जाना है। वर्तमान में, शोधकर्ता इस बात से सहमत हैं कि पीजी अच्छी तरह से तभी काम करता है जब कई असतत विकल्प होते हैं, जब आपको विशाल खोज स्थानों के माध्यम से कंघी करने की आवश्यकता नहीं होती है।

हालांकि, नीतिगत ढालों की मदद से, और उन मामलों में जहां बड़ी मात्रा में डेटा और कंप्यूटिंग शक्ति उपलब्ध है, हम सिद्धांत रूप में, बहुत कुछ देख सकते हैं। उदाहरण के लिए, हम तंत्रिका नेटवर्क को डिज़ाइन कर सकते हैं जो कि बड़े गैर-विभेदी वस्तुओं के साथ बातचीत करना सीखते हैं, जैसे कि लेटेक्स कंपाइलर। उदाहरण के लिए, रेड-रैन के लिए रेडी-मेड लेटेक्स कोड, या एक एसएलएएम सिस्टम, या एलक्यूआर सॉल्वर, या कुछ और उत्पन्न करने के लिए। या, उदाहरण के लिए, अधीक्षण दुनिया को पकड़ने के लिए आवश्यक जानकारी तक पहुंचने के लिए टीसीपी / आईपी (जो भी भिन्न नहीं है) के माध्यम से इंटरनेट के साथ बातचीत करना सीखना चाहते हो सकता है। यह एक बेहतरीन उदाहरण है।

निष्कर्ष

हमने देखा कि नीतिगत ढाल एक शक्तिशाली सामान्य एल्गोरिथ्म है, और उदाहरण के रूप में, हमने 130 पाइथन लाइनों में खरोंच से कच्चे पिक्सल से ATARI पोंग एजेंट को प्रशिक्षित किया । सामान्य तौर पर, एक ही एल्गोरिदम का इस्तेमाल एजेंटों को मनमाने खेल के लिए प्रशिक्षित करने के लिए किया जा सकता है और उम्मीद है कि किसी दिन हम इसका उपयोग वास्तविक दुनिया में नियंत्रण की समस्याओं को हल करने के लिए कर सकते हैं। अंत में, मैं कुछ और टिप्पणियां जोड़ना चाहूंगा:

एआई के विकास के बारे में। हमने देखा कि एल्गोरिथ्म जानवर बल खोज के माध्यम से काम करता है, जिसमें आप पहले बेतरतीब ढंग से संकोच करते हैं और नीतिगत फ़ंक्शन के मापदंडों को बदलने से पहले कम से कम एक बार, और आदर्श रूप से उपयोगी स्थितियों पर ठोकर खाना पड़ता है। हमने यह भी देखा कि एक व्यक्ति इन समस्याओं के समाधान के लिए पूरी तरह से अलग तरीके से संपर्क करता है, जो एक सार मॉडल के तेजी से निर्माण जैसा दिखता है। चूंकि ये अमूर्त मॉडल स्पष्ट रूप से कल्पना करना बहुत मुश्किल (यदि असंभव नहीं है), यह भी कारण है कि हाल ही में जेनेरेटिव मॉडल और सॉफ्टवेयर इंडक्शन में इतनी रुचि रही है।

रोबोटिक्स में उपयोग के बारे में।एल्गोरिथ्म लागू नहीं होता है जहां अनुसंधान की एक बड़ी मात्रा प्राप्त करना मुश्किल है। उदाहरण के लिए, आपके पास वास्तविक समय में दुनिया के साथ बातचीत करने वाले एक (या कई) रोबोट हो सकते हैं। यह एल्गोरिथ्म के एक भोले आवेदन के लिए पर्याप्त नहीं है। इस समस्या को कम करने के लिए डिज़ाइन किए गए कार्य का एक क्षेत्र नियतात्मक नीति ढ़ाल है । वास्तविक प्रयास करने के बजाय, यह दृष्टिकोण एक दूसरे तंत्रिका नेटवर्क (जिसे आलोचक कहा जाता है) से क्रमिक जानकारी प्राप्त करता है जो मूल्यांकन कार्य को मॉडल करता है। यह दृष्टिकोण, सिद्धांत रूप में, उच्च-आयामी कार्यों के साथ प्रभावी हो सकता है, जहां यादृच्छिक नमूना खराब कवरेज प्रदान करता है। एक अन्य संबंधित दृष्टिकोण रोबोटिक्स को स्केल करना है जिसे हम Google रोबोट फ़ार्म पर देखना शुरू कर रहे हैंया शायद ऑटोपायलट के साथ टेस्ला एस + पर भी ।

काम की एक पंक्ति भी है जो अतिरिक्त नियंत्रण जोड़कर खोज प्रक्रिया को कम निराशाजनक बनाने की कोशिश कर रही है। उदाहरण के लिए, कई व्यावहारिक मामलों में, आप सीधे व्यक्ति से विकास की प्रारंभिक दिशा प्राप्त कर सकते हैं। उदाहरण के लिए, अल्फा गो पहले केवल एक शिक्षक के साथ प्रशिक्षण का उपयोग मानव कार्यों (उदाहरण के लिए रिमोट रोबोट नियंत्रण , शिक्षुता , प्रक्षेपवक्र अनुकूलन , पूर्ण नीति खोज ) का अनुमान लगाने के लिए करता है । और परिणामी नीति को वास्तविक लक्ष्य प्राप्त करने के लिए पीजी का उपयोग करके बाद में कॉन्फ़िगर किया गया है - खेल जीतने के लिए।

कुछ मामलों में, कम प्रीसेट हो सकते हैं (उदाहरण के लिए, रोबोट को दूरस्थ रूप से नियंत्रित करने के लिए ), और इस पूर्व-इंटर्नशिप डेटा का उपयोग करने के लिए तरीके मौजूद हैं । अंत में, यदि लोग विशिष्ट डेटा या सेटिंग्स प्रदान नहीं करते हैं, तो उन्हें कुछ मामलों में गणना के द्वारा भी प्राप्त किया जा सकता है, जैसे कि महंगे अनुकूलन के तरीकों का उपयोग करके, एक ज्ञात गतिशील मॉडल में प्रक्षेपवक्र को अनुकूलित करके (जैसे कि भौतिक सिम्युलेटर में F = ma) या मामलों में। जब एक अनुमानित स्थानीय मॉडल बनाया जाता है (जैसा कि प्रबंधित नीति खोज के लिए बहुत आशाजनक संरचना में देखा जाता है)।

व्यवहार में पीजी का उपयोग करने के बारे में।मैं आरएनएन के बारे में अधिक बात करना चाहूंगा। मुझे लगता है कि ऐसा लग सकता है कि RNN जादुई हैं और स्वचालित रूप से मनमाने दृश्यों से संबंधित समस्याओं को हल करते हैं। सच्चाई यह है कि, इन मॉडलों को काम करना मुश्किल हो सकता है। देखभाल और अनुभव की आवश्यकता होती है, साथ ही जब सरल तरीके आपको 90% मदद कर सकते हैं, तो यह जानना आवश्यक है। वही नीतिगत ढाल के लिए जाता है। वे उस तरह से स्वचालित रूप से काम नहीं करते हैं: आपको कई उदाहरणों की आवश्यकता है, वे हमेशा के लिए प्रशिक्षित कर सकते हैं, जब वे काम नहीं करते हैं तो उन्हें डिबग करना मुश्किल है। बाज़ूका के लिए पहुंचने से पहले आपको हमेशा एक छोटी पिस्तौल से शूट करने की कोशिश करनी चाहिए। उदाहरण के लिए, सुदृढीकरण प्रशिक्षण के मामले में, क्रॉस-एन्ट्रापी विधि (CEM) को हमेशा पहले चेक किया जाना चाहिए।, एक साधारण स्टोकेस्टिक "अनुमान और जाँच" दृष्टिकोण जो विकास से प्रेरित है। और यदि आप अपने कार्य के लिए नीतिगत ढाल लेने की कोशिश कर रहे हैं, तो सुनिश्चित करें कि आप विशिष्ट चाल जानते हैं। सरल शुरुआत करें और एक पीजी विकल्प का उपयोग करें जिसे टीआरपीओ कहा जाता है , जो लगभग हमेशा बेहतर काम करता है और क्लासिक पीजी की तुलना में लगातार अधिक होता है । मूल विचार यह है कि पुरानी और नई नीति के बीच कुलबाक-लिबलर के उपयोग के कारण, अपनी नीति को बदलने वाली अपडेट सेटिंग से बचें।

वह सब है!मुझे आशा है कि मैंने आपको एक विचार दिया था कि हम सुदृढीकरण सीखने के साथ कहां हैं, समस्याएं क्या हैं, और यदि आप आरएल को बढ़ावा देने में मदद करना चाहते हैं, तो मैं आपको हमारे ओपनएआई जिम में ऐसा करने के लिए आमंत्रित करता हूं :) अगली बार मिलते हैं !

---

लेडी कर्पथी,
शोधकर्ता, डेवलपर, एआई और ऑटोपायलट टेस्ला विभाग के निदेशक अतिरिक्त जानकारी: डीप लर्निंग ऑन फिंगर्स कोर्स 2018 https://habr.com/en/post/414165/ डीप लर्निंग ऑन द फिंगर्स ओपन 2018 https: // habr.com/ru/company/ods/blog/438940/ NSU की शारीरिक संकाय http: //www.phys.susu//