“गहन सुदृढीकरण प्रशिक्षण। अल्फा गो और अन्य प्रौद्योगिकियां ": पुस्तक की घोषणा

सभी को नमस्कार!

हमारे पास प्रीऑर्डर के लिए उपलब्ध सुदृढीकरण प्रशिक्षण पर सबसे अच्छी पुस्तकों में से एक है, जिसे मूल रूप से मैक्सिम जापान द्वारा " डीप रिनफोर्समेंट लर्निंग हैंड्स-ऑन " कहा जाता है। यहाँ रूसी अनुवाद का कवर है:



ताकि आप पुस्तक के सारांश की सराहना कर सकें, हम आपको लेखक द्वारा मूल की रिहाई के लिए लिखी गई समीक्षा का अनुवाद प्रदान करते हैं।


नमस्ते!

मैं एक आत्म-सिखाया उत्साही हूं जो गहरी शिक्षा के लिए उत्सुक है। इसलिए, जब पैकट पब्लिशिंग हाउस के प्रतिनिधियों ने मुझसे संपर्क किया और सुदृढीकरण के साथ गहन सीखने की वर्तमान स्थिति के बारे में एक व्यावहारिक पुस्तक लिखने का सुझाव दिया, तो मैं थोड़ा डर गया, लेकिन कुछ हिचकिचाहट के बाद, मैं आशावादी रूप से सहमत हो गया: "ओह, एक दिलचस्प अनुभव होगा।"
मैं यह नहीं कहूंगा कि यह काम मुझे एक आसान सैर के रूप में दिया गया था, बिल्कुल नहीं। आपके पास कोई दिन नहीं है, कोई खाली समय नहीं है, "स्थिर मूर्खता" का लगातार डर और प्रत्येक अध्याय के लिए समय सीमा का पीछा (दो सप्ताह प्रति अध्याय और उदाहरण कोड)। हालांकि, सामान्य तौर पर, सब कुछ सकारात्मक और बहुत दिलचस्प रूप से चला गया।

प्रत्येक अध्याय की सामग्री का संक्षेप में वर्णन करने से पहले, हम पूरी पुस्तक के विचार का वर्णन करते हैं।
जब मैंने आरएल में चार साल से अधिक समय से प्रयोग करना शुरू कर दिया था, तो मैंने अपने निपटान में सूचना के निम्नलिखित स्रोतों का उपयोग किया था:

• सटन और बार्टो बुक ऑफ़ रिनफोर्समेंट लर्निंग: एन इंट्रोडक्शन
• Arxiv.org पर वैज्ञानिक लेख
• डेविड सिल्वर का कोर्स।

शायद वहाँ कुछ और था, लेकिन ये जानकारी के सबसे महत्वपूर्ण स्रोत थे। वे सभी अभ्यास से बहुत दूर हैं:

• सटन और बार्टो की पुस्तक, जिसे "आरएल पुस्तक" के रूप में भी जाना जाता है, केवल इस अनुशासन की सैद्धांतिक नींव प्रदान करती है।
• आरएल-संबंधित लेख लगभग दैनिक रूप से प्रकाशित होते हैं, लेकिन फिर भी शायद ही कभी विशिष्ट कोड के लिंक होते हैं। केवल सूत्र और एल्गोरिदम। यदि आप भाग्यशाली हैं, तो हाइपर मापदंडों को इंगित किया जाएगा।
• डेविड सिल्वर कोर्स 2015 में यूनिवर्सिटी कॉलेज लंदन (UCL) में पढ़ाया गया था। यह उस समय मौजूद विधियों का बहुत अच्छा अवलोकन देता है, जिससे उन्हें सहज रूप से महारत हासिल करने की अनुमति मिलती है, हालांकि, यहां सिद्धांत फिर से अभ्यास पर प्रबल होता है।

उसी समय, मैं डीपमाइंड ("एक तंत्रिका नेटवर्क पिक्सेल में अटॉर्नी गेम खेलना सीख सकता है!" लेख पर गहराई से झुका हुआ था, और मुझे लगा कि यह शुष्क सिद्धांत बहुत व्यावहारिक मूल्य छुपाता है। इसलिए, मैंने सिद्धांत का अध्ययन करने, विभिन्न तरीकों को लागू करने और उन्हें डीबग करने में बहुत समय बिताया। जैसा कि आपने शायद अनुमान लगाया था, यह आसान नहीं था: आप विधि को सम्मानित करने में कुछ हफ़्ते बिता सकते हैं और फिर पता लगा सकते हैं कि आपका कार्यान्वयन गलत है (या, इससे भी बदतर, आप सूत्र को गलत समझते हैं)। मैं इस तरह के प्रशिक्षण को समय की बर्बादी नहीं मानता - इसके विपरीत, मुझे लगता है कि यह कुछ सीखने का सबसे सही तरीका है। हालाँकि, इसमें बहुत समय लगता है।

दो साल बाद, जब मैंने पाठ पर काम करना शुरू किया, मेरा मुख्य लक्ष्य यह था: आरएल विधियों पर पूरी तरह से व्यावहारिक जानकारी एक पाठक को देना जो केवल इस आकर्षक अनुशासन से परिचित है - जैसा कि मैंने एक बार किया था।

अब थोड़ा किताब के बारे में। यह मुख्य रूप से अभ्यास पर केंद्रित है, और मैंने सिद्धांत और सूत्रों की मात्रा को कम करने की कोशिश की। इसमें प्रमुख सूत्र होते हैं, लेकिन कोई प्रमाण नहीं दिया जाता है। मूल रूप से, मैं जो कुछ भी हो रहा है उसका सहज ज्ञान देने की कोशिश करता हूं, प्रस्तुति की अधिकतम कठोरता की मांग नहीं करता।

इसी समय, यह माना जाता है कि पाठक को गहरी शिक्षा और आंकड़ों का बुनियादी ज्ञान है। पुस्तक में एक अध्याय है जिसमें PyTorch लाइब्रेरी का अवलोकन है (चूंकि सभी उदाहरण PyTorch का उपयोग करके दिए गए हैं), लेकिन इस अध्याय को तंत्रिका नेटवर्क पर जानकारी का एक आत्मनिर्भर स्रोत नहीं माना जा सकता है। यदि आपने पहले कभी नुकसान और सक्रियण कार्यों के बारे में नहीं सुना है, तो अन्य पुस्तकों को देखकर शुरू करें, आज कई हैं। (नोट लेन: उदाहरण के लिए, पुस्तक " डीप लर्निंग ")।

मेरी पुस्तक में आपको अलग-अलग जटिलताओं के बहुत सारे उदाहरण मिलेंगे, सरलतम ( CartPole वातावरण में CrossEntropy विधि ~ 100 पंक्तियों में पायथन में) शुरू होती है, बल्कि बड़ी परियोजनाओं के साथ समाप्त होती है, उदाहरण के लिए, एक्सचेंज पर व्यापार के लिए अल्फेजो जीरो या आरएल एजेंट सीखना। नमूना कोड पूरी तरह से GitHub पर अपलोड किया गया है , पायथन में कोड की 14k से अधिक लाइनें हैं।

पुस्तक में 18 अध्याय हैं जिनमें सुदृढीकरण के साथ आधुनिक गहन शिक्षा के सबसे महत्वपूर्ण पहलुओं को शामिल किया गया है:

• अध्याय 1 : प्रबलित अधिगम प्रतिमान पर परिचयात्मक जानकारी प्रदान करता है, यह प्रदर्शित करता है कि शिक्षक के साथ और उसके बिना सीखने में अंतर कैसे होता है। यहां हम सुदृढीकरण सीखने से संबंधित केंद्रीय गणितीय मॉडल पर विचार करते हैं: मार्कोव निर्णय लेने की प्रक्रिया: (एमपीपीआर)। MPNR के साथ परिचित को चरण-दर-चरण बनाया गया था: मैं मार्कोव श्रृंखलाओं के बारे में बात करता हूं, जो कि सुदृढीकरण के मार्कोव प्रक्रियाओं में बदल जाते हैं (सुदृढीकरण के एक घटक के अतिरिक्त) और, अंत में पूर्ण मार्कोस निर्णय लेने वाली प्रक्रियाओं में, जहां एजेंट की कार्रवाइयों को भी समग्र तस्वीर में ध्यान में रखा जाता है।
• अध्याय 2 : OpenAI जिम , आरएल के लिए एक सामान्यीकृत एपीआई, विभिन्न प्रकार के वातावरण में काम करने के लिए डिज़ाइन किया गया है, जिसमें अटारी शामिल है, शास्त्रीय समस्याओं को हल करना, जैसे कि कार्टपोल, निरंतर सीखने के कार्य, आदि।
• अध्याय 3 : PyTorch API का एक एक्सप्रेस अवलोकन देता है। यह अध्याय डीएल के लिए एक पूर्ण मार्गदर्शिका के रूप में इरादा नहीं था, हालांकि, यह आगे के अध्यायों को समझने के लिए नींव देता है। यदि आप गहरी सीखने की समस्याओं को हल करने के लिए अन्य साधनों का उपयोग करते हैं, तो इसे सुंदर प्योरटेक मॉडल के अच्छे परिचय के रूप में काम करना चाहिए, ताकि आपके लिए निम्नलिखित अध्यायों के उदाहरणों को समझना आसान हो। इस अध्याय के अंत में, हम एक सरल GAN सिखाएंगे जो विभिन्न खेलों से अटारी स्क्रीनशॉट को उत्पन्न और अलग करेगा।
• अध्याय 4 : सबसे सरल और सबसे शक्तिशाली तरीकों में से एक की जांच करता है: क्रॉसएन्ट्रॉपी। इस अध्याय में, हम आपको पहला नेटवर्क सिखाएंगे जो कार्टपोल वातावरण में समस्याओं को हल कर सकता है ।
• अध्याय 5 : यह अध्याय मूल्यों के लिए पुनरावृति एल्गोरिथ्म पर पुस्तक का दूसरा भाग शुरू करता है। अध्याय 5 फ्रोजनलेक वातावरण में समस्याओं को हल करने के लिए बेलमैन समीकरण का उपयोग करके स्प्रेडशीट प्रशिक्षण के एक सरल तरीके पर चर्चा करता है ।
• अध्याय 6 : यह अध्याय आपको DQN से परिचित कराता है जो अटारी खेल खेलते हैं। एजेंट का आर्किटेक्चर ठीक वैसा ही है जैसा कि प्रसिद्ध लेख डीपमाइंड में है ।
• अध्याय 7 : अंतर्निहित DQN की स्थिरता और प्रदर्शन को बेहतर बनाने में मदद करने के लिए कई आधुनिक DQN एक्सटेंशन पेश करता है। इस अध्याय में, लेख " रेनबो: डीप आरएल में सुधार का संयोजन " से तरीके; इन सभी विधियों को अध्याय में लागू किया गया है, और मैं उन्हें अंतर्निहित विचारों की व्याख्या करता हूं। ये विधियाँ हैं: N- स्टेप DQN, ड्यूल DQN, नॉइज़ नेटवर्क, प्राथमिकता प्लेबैक बफ़र, द्वंद्वयुद्ध नेटवर्क और श्रेणी नेटवर्क। अध्याय के अंत में, सभी विधियों को एक समान कोड उदाहरण में संयोजित किया गया है, जैसा कि "इंद्रधनुष लेख" में किया गया है।
• अध्याय 8 : वास्तविक दुनिया की समस्याओं को हल करने में आरएल के व्यावहारिक पक्ष को दर्शाते हुए पहले मध्यम आकार की परियोजना का वर्णन करता है। इस अध्याय में, DQN का उपयोग करते हुए, एक एजेंट को एक्सचेंज पर संचालन करने के लिए प्रशिक्षित किया जाता है।
• अध्याय 9 : यह अध्याय नीतिगत ढाल तकनीकों पर पुस्तक का तीसरा भाग शुरू करता है। इसमें हम ऐसे तरीकों, उनकी ताकत और कमजोरियों से परिचित होते हैं, जो पहले से ही ऊपर समझे गए मूल्यों द्वारा गणना के तरीकों की तुलना में हैं। इस परिवार में पहला तरीका REINFORCE कहलाता है।
• अध्याय 10 : आरएल के सबसे गंभीर मुद्दों में से एक से निपटने का तरीका बताता है: नीतिगत परिवर्तनशीलता। मूल पीजी स्तरों के साथ प्रयोग करने के बाद, आप अभिनेता-आलोचक विधि से परिचित हो जाएंगे।
• अध्याय 11 : आधुनिक हार्डवेयर पर अभिनेता-आलोचक विधि को समानांतर करने के तरीके के बारे में बात करता है।
• अध्याय 12 : एक दूसरा व्यावहारिक उदाहरण जो बताता है कि प्राकृतिक भाषा प्रसंस्करण से जुड़ी समस्याओं को कैसे हल किया जाए। इस अध्याय में, हम कॉर्नेल सिनेमा संवाद बॉक्स की सामग्री पर आरएल विधियों का उपयोग करने के लिए एक सरल चैटबॉट सिखाते हैं।
• अध्याय 13 : वेब स्वचालन पर एक और व्यावहारिक उदाहरण: मिनीवॉब का उपयोग मंच के रूप में किया जाता है। दुर्भाग्य से, OpenAI ने MiniWoB का उपयोग करने से इनकार कर दिया, इसलिए इसके बारे में जानकारी प्राप्त करना मुश्किल है ( यहां कुछ अनाज हैं)। लेकिन MiniWoB का विचार शानदार है, इसलिए इस अध्याय में मैं दिखाता हूं कि एजेंट को कॉन्फ़िगर करने और उससे जुड़ी कुछ समस्याओं को हल करने के लिए कैसे प्रशिक्षित किया जाए।
• अध्याय 14 : किताब का अंतिम, चौथा भाग , अधिक उन्नत तरीकों और तकनीकों के लिए समर्पित, इसके साथ शुरू होता है। अध्याय 14 निरंतर प्रबंधन कार्यों पर केंद्रित है और कुछ PyBullet वातावरण में समस्याओं को हल करने के लिए A3C, DDPG और D4PG विधियों का वर्णन करता है।
• अध्याय 15 : निरंतर प्रबंधन के मुद्दों के बारे में अधिक बात करता है और उदाहरण के रूप में TRPO, PPO और ACKTR का उपयोग करके आपको ट्रस्ट क्षेत्र की घटना से परिचित कराता है।
• अध्याय 16 : ग्रेडिंग के बिना सुदृढीकरण के साथ शिक्षण विधियों के लिए समर्पित ("ब्लैक बॉक्स" के सिद्धांत पर काम करना); उन्हें DQN और PG विधियों के लिए अधिक स्केलेबल विकल्प के रूप में तैनात किया गया है। निरंतर नियंत्रण की कई समस्याओं को हल करने के लिए विकासवादी रणनीतियों और आनुवंशिक एल्गोरिदम को यहां लागू किया जाता है।
• अध्याय 17 : मॉडल-आधारित आरएल दृष्टिकोण की जांच करता है और मॉडल-आधारित और गैर-मॉडल-आधारित विधियों के बीच अंतर को भरने के लिए डीपमाइंड के प्रयास का वर्णन करता है। यह अध्याय ब्रेकआउट के लिए I2A एजेंट को लागू करता है।
• अध्याय 18 : पुस्तक का अंतिम अध्याय कनेक्ट 4 खेलते समय इस्तेमाल की गई अल्फा जीरो विधि पर चर्चा करता है। फिर तैयार एजेंट को परिणामों की जांच के लिए टेलीग्राम बॉट के हिस्से के रूप में उपयोग किया जाता है।

वह सब है! मुझे आशा है कि आप पुस्तक का आनंद लेंगे।