2018 की शुरुआत में, एक लेख प्रकाशित किया गया था डीप रेनफोर्समेंट लर्निंग डोंट वर्क स्टिल स्टिल ("सुदृढीकरण के साथ सीखना अभी तक काम नहीं करता है।")। जिसकी मुख्य शिकायत यह थी कि सुदृढीकरण के साथ आधुनिक शिक्षण एल्गोरिदम को नियमित यादृच्छिक खोज के रूप में समस्या को हल करने के लिए समान समय की आवश्यकता होती है।

तब से कुछ भी बदल गया है? नहीं।

प्रबलित शिक्षा को मजबूत एआई के निर्माण के तीन मुख्य मार्गों में से एक माना जाता है। लेकिन मशीन सीखने के इस क्षेत्र में कठिनाइयों का सामना करना पड़ता है और वैज्ञानिक इन कठिनाइयों से निपटने के लिए जिन तरीकों की कोशिश कर रहे हैं, वे बताते हैं कि इस दृष्टिकोण के साथ मूलभूत समस्याएं हो सकती हैं।

रुको, तीन में से एक का क्या मतलब है? अन्य दो क्या हैं?

हाल के वर्षों में तंत्रिका नेटवर्क की सफलता को देखते हुए और उच्च-स्तरीय संज्ञानात्मक क्षमताओं के साथ वे कैसे काम करते हैं, इसके विश्लेषण को देखते हुए, जिन्हें पहले केवल मनुष्यों और उच्चतर जानवरों की विशेषता माना जाता था, आज वैज्ञानिक समुदाय में एक राय है कि मजबूत एआई बनाने के तीन मुख्य दृष्टिकोण हैं तंत्रिका नेटवर्क का आधार, जिसे कम या ज्यादा यथार्थवादी माना जा सकता है:

1. वर्ड प्रोसेसिंग

दुनिया ने इंटरनेट पर पाठ्य पुस्तकों और संदर्भ पुस्तकों सहित बड़ी संख्या में पुस्तकों और पाठ को संचित किया है। कंप्यूटर पर प्रसंस्करण के लिए पाठ सुविधाजनक और तेज़ है। सैद्धांतिक रूप से, मजबूत संवादी एआई को प्रशिक्षित करने के लिए ग्रंथों का यह सरणी पर्याप्त होना चाहिए।

यह निहित है कि इन पाठ्यपुस्तकों में दुनिया की पूरी संरचना परिलक्षित होती है (कम से कम, यह पाठ्यपुस्तकों और संदर्भ पुस्तकों में वर्णित है)। लेकिन यह एक तथ्य नहीं है। सूचनाओं की प्रस्तुति के रूप में ग्रंथों को वास्तविक त्रि-आयामी दुनिया और उस समय के पाठ्यक्रम से दृढ़ता से तलाक दिया जाता है जिसमें हम रहते हैं।

पाठ सरणियों पर प्रशिक्षित एआई के अच्छे उदाहरण चैट बॉट और स्वचालित अनुवादक हैं। चूंकि पाठ का अनुवाद करने के लिए आपको वाक्यांश के अर्थ को समझने और नए शब्दों में (दूसरी भाषा में) इसे फिर से लिखने की आवश्यकता है। एक आम गलत धारणा है कि व्याकरण और वाक्यविन्यास नियम, सभी संभावित अपवादों के विवरण सहित, किसी विशेष भाषा का पूरी तरह से वर्णन करते हैं। ऐसा नहीं है। भाषा जीवन में केवल एक सहायक उपकरण है, यह आसानी से बदल जाती है और नई स्थितियों के लिए अनुकूल हो जाती है।

पाठ प्रसंस्करण (यहां तक ​​कि विशेषज्ञ प्रणालियों, यहां तक ​​कि तंत्रिका नेटवर्क) के साथ समस्या यह है कि नियमों का कोई सेट नहीं है, किन स्थितियों में वाक्यांश लागू किए जाने चाहिए। कृपया ध्यान दें - वाक्यांशों के निर्माण के नियम खुद नहीं हैं (व्याकरण और वाक्यविन्यास क्या करता है), लेकिन किन स्थितियों में वाक्यांश। उसी स्थिति में, लोग विभिन्न भाषाओं में वाक्यांशों का उच्चारण करते हैं जो आम तौर पर भाषा की संरचना के संदर्भ में एक-दूसरे से संबंधित नहीं होते हैं। अत्यधिक आश्चर्य के साथ वाक्यांशों की तुलना करें: "हे भगवान!" और "ओ पवित्र शिट!"। ठीक है, और भाषा मॉडल को जानते हुए, उनके बीच एक पत्राचार कैसे किया जाए? कोई रास्ता नहीं। यह ऐतिहासिक रूप से संयोग से हुआ। आपको स्थिति को जानने की जरूरत है और वे आमतौर पर किसी विशेष भाषा में क्या बोलते हैं। इसका कारण यह है कि स्वचालित अनुवादक इतने अपूर्ण हैं।

क्या यह ज्ञान विशुद्ध रूप से ग्रंथों की एक सरणी से अलग किया जा सकता है अज्ञात है। लेकिन अगर स्वचालित अनुवादक मूर्खतापूर्ण और हास्यास्पद गलतियां किए बिना पूरी तरह से अनुवाद करते हैं, तो यह इस बात का सबूत होगा कि पाठ के आधार पर एक मजबूत एआई बनाना संभव है।

2. छवि मान्यता

इस छवि को देखो

इस फोटो को देखकर हम समझते हैं कि शूटिंग रात में की गई थी। झंडों को देखते हुए, हवा दाएं से बाएं ओर चलती है। और दाहिने हाथ के यातायात को देखते हुए, मामला इंग्लैंड या ऑस्ट्रेलिया में नहीं हो रहा है। इस जानकारी में से कोई भी तस्वीर के पिक्सल में स्पष्ट रूप से इंगित नहीं की गई है, यह बाहरी ज्ञान है। फोटो में केवल संकेत हैं जिनके द्वारा हम अन्य स्रोतों से प्राप्त ज्ञान का उपयोग कर सकते हैं।

इसलिए, यह माना जाता है कि यदि आप किसी चित्र में वस्तुओं को पहचानने के लिए एक तंत्रिका नेटवर्क को प्रशिक्षित करते हैं, तो यह एक आंतरिक विचार होगा कि वास्तविक कार्य कैसे होता है। और तस्वीरों से प्राप्त यह दृश्य, निश्चित रूप से हमारी वास्तविक और वास्तविक दुनिया के अनुरूप होगा। उन ग्रंथों के सरणियों के विपरीत, जहां इसकी गारंटी नहीं है।

तस्वीरों के एक ImageNet सरणी (और अब OpenImages V4 , COCO , KITTI , BDD100K और अन्य) पर प्रशिक्षित तंत्रिका नेटवर्क का मूल्य एक तस्वीर में बिल्ली की मान्यता के सभी तथ्य पर नहीं है। और वह प्रस्तर परत में संग्रहीत है। यह वह जगह है जहां हमारी दुनिया का वर्णन करने वाली उच्च-स्तरीय विशेषताओं का एक सेट स्थित है। 1024 संख्याओं का एक वेक्टर 80% सटीकता के साथ इसमें से 1000 विभिन्न श्रेणियों की वस्तुओं का विवरण प्राप्त करने के लिए पर्याप्त है (और 95% मामलों में सही उत्तर 5 निकटतम विकल्पों में होगा)। जरा इसके बारे में सोचो।

यही कारण है कि penultimate परत से इन सुविधाओं को कंप्यूटर दृष्टि में पूरी तरह से अलग कार्यों में सफलतापूर्वक उपयोग किया जाता है। ट्रांसफर लर्निंग और फाइन ट्यूनिंग के माध्यम से। इस वेक्टर से 1024 की संख्या में आप प्राप्त कर सकते हैं, उदाहरण के लिए, तस्वीर से गहराई का नक्शा

( काम से एक उदाहरण जहां व्यावहारिक रूप से अपरिवर्तित पूर्व-प्रशिक्षित डेन्सनेट-169 नेटवर्क का उपयोग किया जाता है)

या किसी व्यक्ति की मुद्रा निर्धारित करें। कई अनुप्रयोग हैं।

परिणामस्वरूप, छवि पहचान को संभवतः एक मजबूत AI बनाने के लिए उपयोग किया जा सकता है, क्योंकि यह वास्तव में हमारे वास्तविक दुनिया के मॉडल को दर्शाता है। फ़ोटोग्राफ़ी से वीडियो और वीडियो तक एक कदम हमारा जीवन है, क्योंकि हमें लगभग 99% जानकारी नेत्रहीन मिलती है।

लेकिन तस्वीर से यह पूरी तरह से समझ में नहीं आता है कि तंत्रिका नेटवर्क को सोचने और निष्कर्ष निकालने के लिए कैसे प्रेरित किया जाए। उसे सवालों के जवाब देने के लिए प्रशिक्षित किया जा सकता है जैसे "टेबल पर कितनी पेंसिल हैं?" (कार्यों के इस वर्ग को विज़ुअल क्वेश्चन आंसरिंग कहा जाता है, ऐसे डेटासेट का एक उदाहरण: https://visualqa.org )। या फोटो में क्या हो रहा है इसका एक टेक्स्ट विवरण दें। यह इमेज कैप्शनिंग टास्क क्लास है।

लेकिन क्या यह बुद्धिमत्ता है? इस दृष्टिकोण को विकसित करने के बाद, निकट भविष्य में, तंत्रिका नेटवर्क वीडियो सवालों के जवाब देने में सक्षम होंगे जैसे "दो गौरैया तारों पर बैठे थे, उनमें से एक उड़ गया, कितने गौरैया बचे?" यह वास्तविक गणित है, थोड़ा अधिक जटिल मामलों में, जानवरों के लिए दुर्गम और मानव स्कूल शिक्षा के स्तर पर। खासकर अगर, गौरैया को छोड़कर, उनके बगल में स्तन बैठे होंगे, लेकिन उन्हें ध्यान में रखने की आवश्यकता नहीं है, क्योंकि सवाल केवल गौरैया के बारे में था। हां, यह निश्चित रूप से बुद्धिमत्ता होगी।

3. सुदृढीकरण सीखना

यह विचार बहुत सरल है: इनाम के लिए अग्रणी कार्यों को प्रोत्साहित करने के लिए, और विफलता के लिए अग्रणी से बचने के लिए। यह सीखने का एक सार्वभौमिक तरीका है और जाहिर है, यह निश्चित रूप से एक मजबूत एआई के निर्माण का कारण बन सकता है। इसलिए, हाल के वर्षों में सुदृढीकरण सीखने में इतनी रुचि है।

प्रबलित शिक्षा में एक बड़ा धन है। सिम्युलेटर में, आप दुनिया का एक सरलीकृत मॉडल बना सकते हैं। तो, एक मानव आकृति के लिए, एक जीवित व्यक्ति (मांसपेशियों की अनुमानित संख्या) में 700 के बजाय सिर्फ 17 डिग्री की स्वतंत्रता पर्याप्त है। इसलिए, सिम्युलेटर में आप समस्या को बहुत छोटे आयाम में हल कर सकते हैं।

आगे देखते हुए, आधुनिक सुदृढीकरण सीखना एल्गोरिदम किसी व्यक्ति के मॉडल को मनमाने ढंग से नियंत्रित करने में सक्षम नहीं हैं, यहां तक ​​कि स्वतंत्रता के 17 डिग्री के साथ भी। यही है, वे अनुकूलन समस्या को हल नहीं कर सकते हैं, जहां इनपुट पर 44 नंबर और इनपुट पर 17 हैं। यह केवल बहुत ही सरल मामलों में करना संभव है, प्रारंभिक स्थितियों के सूक्ष्म मैनुअल समायोजन और हाइपरपरमेटर्स के साथ। और यहां तक ​​कि इस मामले में, उदाहरण के लिए, चलने के लिए 17 डिग्री की स्वतंत्रता के साथ एक मानवीय मॉडल को पढ़ाने के लिए, और एक स्थायी स्थिति से शुरू करना (जो बहुत सरल है), आपको एक शक्तिशाली GPU पर कई दिनों की गणना की आवश्यकता है। और उदाहरण के लिए, कुछ अधिक जटिल मामले, एक मनमाने ढंग से मुद्रा से उठना सीखना, शायद कभी नहीं सीखें। यह एक विफलता है।

इसके अलावा, सभी सुदृढीकरण लर्निंग एल्गोरिदम निराशाजनक रूप से छोटे तंत्रिका नेटवर्क के साथ काम करते हैं, लेकिन वे बड़े सीखने के साथ सामना नहीं करेंगे। बड़े कन्वेंशन नेटवर्क का उपयोग केवल तस्वीर के आयाम को कई विशेषताओं को कम करने के लिए किया जाता है, जो सुदृढीकरण के साथ सीखने के एल्गोरिदम को खिलाया जाता है। एक ही चलने वाला ह्यूमनॉइड 128 न्यूरॉन्स की दो या तीन परतों के साथ एक फीड फॉरवर्ड नेटवर्क द्वारा नियंत्रित किया जाता है। गंभीरता से? और इसके आधार पर, क्या हम एक मजबूत एआई बनाने की कोशिश कर रहे हैं?

यह समझने की कोशिश करने के लिए कि ऐसा क्यों होता है और सुदृढीकरण सीखने के साथ क्या गलत है, आपको सबसे पहले आधुनिक सुदृढीकरण सीखने में बुनियादी आर्किटेक्चर के साथ खुद को परिचित करने की आवश्यकता है।

मस्तिष्क और तंत्रिका तंत्र की शारीरिक संरचना विशिष्ट प्रकार के जानवरों और इसके रहने की स्थिति के विकास के द्वारा बनाई गई है। इसलिए, विकास के दौरान, एक मक्खी ने इस तरह के एक तंत्रिका तंत्र को विकसित किया और गैन्ग्लिया में न्यूरोट्रांसमीटर (कीटों में मस्तिष्क का एक एनालॉग) के इस तरह के काम ने जल्दी से एक मक्खी की आकृति को चकमा दिया। खैर, एक फ्लाई स्वैटर से नहीं, बल्कि उन पक्षियों से, जिन्होंने 400 मिलियन साल तक मछली पकड़ी है (केवल मजाक करते हुए, पक्षी खुद 150 मिलियन साल पहले दिखाई दिए, सबसे अधिक संभावना मेंढक 360 मिलियन साल से है)। एक गैंडा इतना तंत्रिका तंत्र और मस्तिष्क धीरे-धीरे लक्ष्य की ओर मुड़ता है और दौड़ना शुरू कर देता है। और वहां, जैसा कि वे कहते हैं, राइनो की आंखों की रोशनी खराब है, लेकिन यह उसकी समस्या नहीं है।

लेकिन विकास के अलावा, प्रत्येक विशिष्ट व्यक्ति, जन्म से और जीवन भर शुरू होता है, सुदृढीकरण के साथ सामान्य सीखने के तंत्र को ठीक से काम करता है। स्तनधारियों, और कीड़ों के मामले में भी , डोपामाइन प्रणाली यह काम करती है। उसका काम रहस्य और बारीकियों से भरा है, लेकिन यह सब इस तथ्य से उबलता है कि एक पुरस्कार की स्थिति में, डोपामाइन प्रणाली, स्मृति तंत्र के माध्यम से, किसी तरह न्यूरॉन्स के बीच के कनेक्शन को ठीक करती है जो तुरंत पहले सक्रिय थीं। इस तरह से साहचर्य स्मृति का निर्माण होता है।

जो, इसकी संघात्मकता के कारण, फिर निर्णय लेने में उपयोग किया जाता है। सीधे शब्दों में कहें तो, यदि सहयोगी स्मृति के माध्यम से वर्तमान स्थिति (इस स्थिति में वर्तमान सक्रिय न्यूरॉन्स) आनंद न्यूरॉन्स को सक्रिय करती है, तो व्यक्ति उन कार्यों का चयन करता है जो उसने एक समान स्थिति में किया था और जिसे उसने याद किया था। "कार्रवाई चुनना" एक खराब परिभाषा है। कोई चारा नहीं है। बस एक निश्चित स्थिति के लिए डोपामाइन प्रणाली द्वारा तय की गई खुशी मेमोरी न्यूरॉन्स, स्वचालित रूप से मोटर न्यूरॉन्स को सक्रिय करते हैं, जिससे मांसपेशियों में संकुचन होता है। यह है अगर तत्काल कार्रवाई की जरूरत है।

सुदृढीकरण के साथ कृत्रिम ज्ञान, ज्ञान के क्षेत्र के रूप में, इन दोनों समस्याओं को हल करना आवश्यक है:

1. तंत्रिका नेटवर्क की वास्तुकला चुनें (हमारे लिए पहले से क्या विकास हुआ है)

अच्छी खबर यह है कि स्तनधारियों में (और corvids में स्ट्रैटम में ) नियोकॉर्टेक्स में किए गए उच्च संज्ञानात्मक कार्य लगभग एक समान संरचना में किए जाते हैं। जाहिर है, इसके लिए कुछ कठोर "वास्तुकला" की आवश्यकता नहीं है।

मस्तिष्क क्षेत्रों की विविधता संभवतः विशुद्ध रूप से ऐतिहासिक कारणों से है। जब, वे विकसित हुए, मस्तिष्क के नए हिस्से बहुत पहले जानवरों से छोड़े गए मूल के शीर्ष पर बढ़ गए। सिद्धांत से यह काम करता है - स्पर्श न करें। दूसरी ओर, अलग-अलग लोगों में, मस्तिष्क के समान हिस्से समान स्थितियों पर प्रतिक्रिया करते हैं। यह दोनों सहानुभूति (सुविधाओं और "दादी के न्यूरॉन्स" द्वारा स्वाभाविक रूप से सीखने की प्रक्रिया के दौरान इन जगहों पर समझाया जा सकता है), और शरीर विज्ञान द्वारा समझाया जा सकता है। जो सिग्नलिंग रास्ते जीन में एन्कोड किए गए हैं, वे इन क्षेत्रों में सटीक रूप से जाते हैं। कोई सहमति नहीं है, लेकिन आप पढ़ सकते हैं, उदाहरण के लिए, यह हालिया लेख: "जैविक और कृत्रिम बुद्धि । "

2. जानें कि सुदृढीकरण के साथ सीखने के सिद्धांतों के अनुसार तंत्रिका नेटवर्क को कैसे प्रशिक्षित किया जाए

यह वही है जो आधुनिक सुदृढीकरण सीखना मुख्य रूप से कर रहा है। और सफलताएँ क्या हैं? वास्तव में नहीं।

भोला दृष्टिकोण

ऐसा लगता है कि सुदृढीकरण के साथ एक तंत्रिका नेटवर्क को प्रशिक्षित करना बहुत सरल है: हम यादृच्छिक क्रियाएं करते हैं, और यदि हमें इनाम मिलता है, तो हम "संदर्भ" के रूप में उठाए गए कार्यों पर विचार करते हैं। हम उन्हें मानक लेबल के रूप में तंत्रिका नेटवर्क के आउटपुट पर डालते हैं और त्रुटि के पीछे प्रसार की विधि द्वारा तंत्रिका नेटवर्क को प्रशिक्षित करते हैं, ताकि यह बिल्कुल ऐसे आउटपुट का उत्पादन करे। खैर, सबसे आम तंत्रिका नेटवर्क प्रशिक्षण। और अगर कार्रवाई विफल हो गई, तो या तो इस मामले को अनदेखा करें, या इन कार्यों को दबा दें (हम कुछ अन्य को आउटपुट के रूप में सेट करते हैं, उदाहरण के लिए, कोई अन्य यादृच्छिक कार्रवाई)। सामान्य तौर पर, यह विचार डोपामाइन प्रणाली को दोहराता है।

लेकिन अगर आप इस तरह से किसी भी तंत्रिका नेटवर्क को प्रशिक्षित करने का प्रयास करते हैं, तो कोई फर्क नहीं पड़ता कि वास्तुकला कितना जटिल है, पुनरावर्ती, दृढ़ या साधारण प्रत्यक्ष वितरण, फिर ... यह काम नहीं किया!

क्यों? अज्ञात।

यह माना जाता है कि उपयोगी संकेत इतना छोटा है कि यह शोर की पृष्ठभूमि के खिलाफ खो जाता है। इसलिए, नेटवर्क त्रुटि को फैलाने के पीछे मानक विधि नहीं सीखता है। एक इनाम बहुत कम ही होता है, शायद सैकड़ों या हजारों चरणों में एक बार। और यहां तक ​​कि LSTM को इतिहास में अधिकतम 100-500 अंक याद हैं, और फिर केवल बहुत ही सरल कार्यों में। लेकिन अधिक जटिल लोगों पर, यदि इतिहास में 10-20 अंक हैं, तो यह पहले से ही अच्छा है।

लेकिन समस्या की जड़ बहुत दुर्लभ पुरस्कारों में है (कम से कम व्यावहारिक मूल्य के कार्यों में)। फिलहाल, हम यह नहीं जानते कि तंत्रिका नेटवर्क को कैसे प्रशिक्षित किया जाए जो अलग-थलग मामलों को याद रखे। दिमाग तेज के साथ क्या करता है। आप कुछ ऐसा याद रख सकते हैं जो जीवन भर केवल एक बार हुआ हो। और वैसे, बुद्धि के अधिकांश प्रशिक्षण और कार्य ऐसे मामलों पर ही निर्मित होते हैं।

यह छवि मान्यता के क्षेत्र से कक्षाओं के भयानक असंतुलन जैसा है। इससे निपटने के लिए कोई उपाय नहीं है। वे अब तक के साथ आने के लिए सबसे अच्छा है कि बस एक विशेष विशेष बफर में संग्रहीत अतीत से नई स्थितियों, सफल स्थितियों के साथ, नेटवर्क इनपुट के लिए प्रस्तुत करने के लिए है। यही है, न केवल नए मामलों को सिखाने के लिए, बल्कि सफल पुराने भी। स्वाभाविक रूप से, इस तरह के बफर को असीम रूप से नहीं बढ़ाया जा सकता है, और यह स्पष्ट नहीं है कि इसमें क्या संग्रहीत किया जाए। फिर भी किसी तरह तंत्रिका नेटवर्क के अंदर अस्थायी रूप से उन मार्गों को ठीक करने की कोशिश की जा रही है, जो एक सफल मामले के दौरान सक्रिय थे, ताकि बाद में प्रशिक्षण उन्हें अधिलेखित न करें। मेरे विचार में, मस्तिष्क में क्या हो रहा है, इसके बजाय एक करीब सादृश्य, हालांकि उन्होंने अभी तक इस दिशा में बहुत सफलता हासिल नहीं की है। चूंकि उनकी गणना में नए प्रशिक्षित कार्य जमे हुए रास्तों को छोड़ने वाले न्यूरॉन्स के परिणामों का उपयोग करते हैं, परिणामस्वरूप, संकेत केवल नए जमे हुए लोगों के साथ हस्तक्षेप करता है, और पुराने कार्य काम करना बंद कर देते हैं। एक और जिज्ञासु दृष्टिकोण है: नेटवर्क को नए उदाहरणों / कार्यों के साथ केवल पिछले कार्यों के लिए ऑर्थोगोनल दिशा ( https://arxiv.org/abs/1810.01256 ) में प्रशिक्षित करना। यह पिछले अनुभव को अधिलेखित नहीं करता है, लेकिन नेटवर्क क्षमता को काफी सीमित करता है।

इस आपदा से निपटने के लिए डिज़ाइन किए गए एल्गोरिदम का एक अलग वर्ग (और एक मजबूत एआई हासिल करने की उम्मीद देते हुए) मेटा-लर्निंग में विकसित किया जा रहा है। ये एक तंत्रिका नेटवर्क को एक साथ कई कार्य सिखाने का प्रयास करते हैं। इस अर्थ में नहीं कि यह एक कार्य में अलग-अलग चित्रों को पहचानता है, अर्थात् अलग-अलग डोमेन में अलग-अलग कार्य करता है (प्रत्येक अपने स्वयं के वितरण और समाधान परिदृश्य के साथ)। कहते हैं, चित्रों को पहचानो और एक ही समय पर एक बाइक की सवारी करें। अब तक, सफलता बहुत अच्छी नहीं है, क्योंकि आमतौर पर यह सब सामान्य सार्वभौमिक भार के साथ एक तंत्रिका नेटवर्क को तैयार करने के लिए नीचे आता है, और फिर जल्दी से, ढाल वंश के कुछ चरणों में, उन्हें एक विशिष्ट कार्य के लिए अनुकूल करने के लिए। मेटा-लर्निंग एल्गोरिदम के उदाहरण MAML और सरीसृप हैं ।

सामान्य तौर पर, केवल यह समस्या (एकल सफल उदाहरणों से सीखने की अक्षमता) सुदृढीकरण के साथ आधुनिक प्रशिक्षण का अंत करती है। इस दुखद तथ्य से पहले तंत्रिका नेटवर्क की सारी शक्ति अब तक शक्तिहीन है।

यह तथ्य, कि सबसे सरल और सबसे स्पष्ट तरीका काम नहीं करता है, शोधकर्ताओं ने क्लासिक टेबल-आधारित सुदृढीकरण सीखने पर लौटने के लिए मजबूर किया। जो, एक विज्ञान के रूप में, अति प्राचीनता में दिखाई दिया, जब तंत्रिका नेटवर्क परियोजना में भी नहीं थे। लेकिन अब, तालिकाओं और सूत्रों में मानों की मैन्युअल रूप से गणना करने के बजाय, चलो उद्देश्य कार्यों के रूप में तंत्रिका नेटवर्क के रूप में इस तरह के एक शक्तिशाली सन्निकटन का उपयोग करें! यह आधुनिक सुदृढीकरण सीखना का सार है। और तंत्रिका नेटवर्क के सामान्य प्रशिक्षण से इसका मुख्य अंतर है।

क्यू-लर्निंग और DQN

सुदृढीकरण सीखना (तंत्रिका नेटवर्क से पहले भी) एक सरल और मूल विचार के रूप में पैदा हुआ था: चलो यादृच्छिक क्रियाएं करते हैं, और फिर तालिका के प्रत्येक कक्ष और आंदोलन की प्रत्येक दिशा के लिए, हम एक विशेष सूत्र के अनुसार गणना करेंगे (जिसे बेलमैन समीकरण कहा जाता है, यह शब्द जो आप करेंगे) सुदृढीकरण प्रशिक्षण के साथ लगभग हर काम में मिलने के लिए) यह सेल और चुनी हुई दिशा कितनी अच्छी है। यह संख्या जितनी अधिक होगी, उतने ही अधिक इस मार्ग से विजय प्राप्त होगी।

कोई फर्क नहीं पड़ता कि आप किस सेल में दिखाई देते हैं, बढ़ते हरे रंग के साथ चलते हैं! (वर्तमान सेल के किनारों पर अधिकतम संख्या की ओर)।

इस संख्या को क्यू कहा जाता है (शब्द गुणवत्ता से - पसंद की गुणवत्ता, स्पष्ट रूप से), और विधि क्यू-लर्निंग है। एक तंत्रिका नेटवर्क के साथ इस संख्या की गणना करने के लिए सूत्र की जगह, या इस सूत्र का उपयोग करके तंत्रिका नेटवर्क को पढ़ाने के अलावा (साथ ही प्रशिक्षण नेटवर्क के गणित के साथ शुद्ध रूप से जुड़े एक और चाल), दीपमंडी को DQN विधि मिली। यह वह है जिसने 2015 में अटारी खेलों का ढेर जीता और डीप रेनफोर्स लर्निंग में एक क्रांति की शुरुआत की।

दुर्भाग्य से, इसकी वास्तुकला में यह विधि केवल असतत असतत कार्यों के साथ काम करती है। DQN में, वर्तमान स्थिति (वर्तमान स्थिति) तंत्रिका नेटवर्क के इनपुट को खिलाया जाता है, और आउटपुट पर तंत्रिका नेटवर्क संख्या Q की भविष्यवाणी करता है। और चूंकि नेटवर्क का आउटपुट एक साथ सभी संभावित कार्यों को सूचीबद्ध करता है (प्रत्येक अपनी खुद की अनुमानित क्यू के साथ), यह पता चलता है कि DQN में तंत्रिका नेटवर्क शास्त्रीय फ़ंक्शन को कार्यान्वित करता है। (एस, ए) क्यू-लर्निंग से। Q state action ( Q(s,a) s a). argmax Q , .

Q, . , Q- (.. Q , ). . , (Exploration), , , . , .

, ? 5 Atari, continuous ? , -1..1 0.1, , Atari. . , . 10 . - , 10 . . DQN , 17 . , , .

DQN, , , continuous ( ): DDQN, DuDQN, BDQN, CDQN, NAF, Rainbow. , Direct Future Prediction (DFP) , DQN . Q , DFP , . . , . , , , .

, Reinforcement Learning.

Policy Gradient

state, ( , ). , actions, . , R . ( ), ( ). . .

, R , , . ! . "" labels ( ), . , , R.

Policy Gradient. — , R, . — , , . , .

Actor-critic, DDPG

, — , . , Q- , DQN. state, action(s). state, action, , Q : Q(s,a).

, Q(s,a), ( critic, ), , ( , actor), R. , . actor-critic. Policy Gradient, , . .

DDPG. actions, continuous . DDPG continuous DQN .

Advantage Actor Critic (A3C/A2C)

critic Q(s,a) — , actor, DDPG. , .

, . , , , . , , , ( , ).

Q(s,a), Advantage: A(s,a) = Q(s,a) — V(s). A(s,a) Q(s,a) , — , V(s). A(s,a) > 0, , . A(s,a) < 0, , , .. .

V(s) state , ( s, a). — state, V(s). , state, V(s).

, Q(s,a) r, , A = r — V(s).

, V(s) ( ), — actor critic, ! state, head: actions, V(s). c , .. state. , .

V(s) . V(s), action ( ), . Dueling Q-Network (DuDQN), Q(s,a) Q(s,a) = V(s) + A(a), .

Asynchronous Advantage Actor Critic (A3C) , , actor. batch . , actor. , , . , A2C — A3C, actor ( ). A2C , , .

TRPO, PPO, SAC

, .

, . Reinforcement Learning , , , — , . .

— TRPO PPO, state-of-the-art, Actor-Critic. PPO RL. , OpenAI Five Dota 2.

, TRPO PPO — , . , A3C/A2C , . , policy , . - gradient clipping , . , ( , ), , , - .

हाल ही में, सॉफ्ट-एक्टर-क्रिटिक (एसएसी) एल्गोरिथ्म लोकप्रियता प्राप्त कर रहा है। यह पीपीओ से बहुत अलग नहीं है, केवल पॉलिसी में एन्ट्रापी बढ़ाने के लिए सीखने पर एक लक्ष्य जोड़ा गया है। एजेंट व्यवहार को अधिक यादृच्छिक बनाएं। नहीं, ऐसा नहीं है। यह एजेंट अधिक यादृच्छिक स्थितियों में कार्य करने में सक्षम था। एक बार एजेंट किसी भी यादृच्छिक स्थितियों के लिए तैयार होने के बाद, यह स्वचालित रूप से नीति की विश्वसनीयता बढ़ाता है। इसके अलावा, एसएसी को पीपीओ की तुलना में थोड़ा कम प्रशिक्षण के उदाहरणों की आवश्यकता होती है, और हाइपरपरमीटर सेटिंग्स के लिए कम संवेदनशील होता है, जो एक प्लस भी है। हालांकि, यहां तक ​​कि एसएसी के साथ, 17 डिग्री की स्वतंत्रता के साथ चलने के लिए एक मानवीय स्थिति को प्रशिक्षित करने के लिए, एक स्थायी स्थिति से शुरू होने पर, आपको लगभग 20 मिलियन फ्रेम और एक जीपीयू पर गणना के एक दिन की आवश्यकता होती है। अधिक कठिन प्रारंभिक स्थितियां, कहती हैं, एक मनमाने ढंग से मुद्रा से उठने के लिए सिखाने के लिए, बिल्कुल भी नहीं सिखाया जा सकता है।

कुल, आधुनिक सुदृढीकरण सीखने में सामान्य सिफारिश: एसएसी, पीपीओ, डीडीपीजी, डीक्यूएन (उस क्रम में, अवरोही) का उपयोग करें।

मॉडल के आधार पर

एक और दिलचस्प दृष्टिकोण है, अप्रत्यक्ष रूप से सुदृढीकरण सीखने से संबंधित है। यह पर्यावरण के एक मॉडल का निर्माण करना है, और यह अनुमान लगाने के लिए इसका उपयोग करना है कि अगर हम कुछ कार्रवाई करते हैं तो क्या होगा।

इसका नुकसान यह है कि यह किसी भी तरह से यह नहीं कहता है कि क्या कार्रवाई की जानी चाहिए। केवल उनके परिणाम के बारे में। लेकिन इस तरह के एक तंत्रिका नेटवर्क को प्रशिक्षित करना आसान है - बस किसी भी आंकड़े पर प्रशिक्षित करें। यह एक न्यूरल नेटवर्क पर आधारित विश्व सिम्युलेटर जैसा कुछ करता है।

उसके बाद, हम बड़ी संख्या में यादृच्छिक क्रियाएं उत्पन्न करते हैं, और प्रत्येक को इस सिम्युलेटर (एक तंत्रिका नेटवर्क के माध्यम से) के माध्यम से संचालित किया जाता है। और हम देखते हैं कि कौन सा अधिकतम इनाम लाएगा। एक छोटा अनुकूलन है - न केवल यादृच्छिक कार्यों को उत्पन्न करने के लिए, बल्कि वर्तमान प्रक्षेपवक्र से सामान्य कानून के अनुसार विचलन करना। और वास्तव में, अगर हम अपना हाथ बढ़ाते हैं, तो उच्च संभावना के साथ हमें इसे जारी रखने की आवश्यकता है। इसलिए, सबसे पहले, आपको वर्तमान प्रक्षेपवक्र से न्यूनतम विचलन की जांच करने की आवश्यकता है।

यहाँ चाल यह है कि म्यूजिको या पीबलेट जैसे एक आदिम भौतिक सिम्युलेटर भी लगभग 200 एफपीएस का उत्पादन करता है। और यदि आप एक तंत्रिका नेटवर्क को कम से कम कुछ कदम आगे की भविष्यवाणी करने के लिए प्रशिक्षित करते हैं, तो सरल वातावरण के लिए आप आसानी से एक समय में 2000-5000 पूर्वानुमानों के बैच प्राप्त कर सकते हैं। GPU की शक्ति के आधार पर, आप GPU में समानांतर और तंत्रिका नेटवर्क में कम्प्यूटेशनल गति के कारण प्रति सेकंड हजारों यादृच्छिक क्रियाओं का पूर्वानुमान प्राप्त कर सकते हैं। यहां तंत्रिका नेटवर्क बस वास्तविकता के बहुत तेज सिम्युलेटर के रूप में कार्य करता है।

इसके अलावा, चूंकि तंत्रिका नेटवर्क वास्तविक दुनिया की भविष्यवाणी कर सकता है (यह सामान्य अर्थों में एक मॉडल-आधारित दृष्टिकोण है), तो प्रशिक्षण को पूरी तरह से कल्पना में ले जाया जा सकता है, इसलिए बोलने के लिए। सुदृढीकरण सीखने में इस अवधारणा को ड्रीम वर्ल्ड या वर्ल्ड मॉडल कहा जाता है। यह अच्छी तरह से काम करता है, एक अच्छा विवरण यहां है: https://worldmodels.imtqy.com । इसके अलावा, इसमें एक प्राकृतिक समकक्ष है - साधारण सपने। और सिर में हाल ही में या नियोजित घटनाओं के कई स्क्रॉल।

नकल सीखना

शक्तिहीनता के कारण जो सुदृढीकरण लर्निंग एल्गोरिदम बड़े आयामों और जटिल कार्यों पर काम नहीं करते हैं, लोग कम से कम लोगों के रूप में विशेषज्ञों के कार्यों को दोहराते हैं। यहां, अच्छे परिणाम प्राप्त किए गए (पारंपरिक सुदृढीकरण सीखना द्वारा अप्राप्य)। तो, OpenAI खेल मोंटेज़ुमा का बदला पारित करने के लिए निकला। चाल सरल हो गई - एजेंट को तुरंत खेल के अंत में रखने के लिए (व्यक्ति द्वारा दिखाए गए प्रक्षेपवक्र के अंत में)। वहां, पीपीओ की मदद से, अंतिम इनाम की निकटता के लिए धन्यवाद, एजेंट जल्दी से प्रक्षेपवक्र के साथ चलना सीखता है। उसके बाद हमने उसे थोड़ा पीछे कर दिया, जहाँ वह जल्दी से उस जगह पर पहुँचना सीख गया जहाँ उसने पहले से ही अध्ययन किया है। और इसलिए, खेल के बहुत शुरुआत तक प्रक्षेपवक्र के साथ धीरे-धीरे "रेस्पॉन" बिंदु को स्थानांतरित करना, एजेंट पूरे खेल में विशेषज्ञ प्रक्षेपवक्र को पारित / अनुकरण करना सीखता है।

एक और प्रभावशाली परिणाम मोशन कैप्चर पर शूट किए गए लोगों के लिए आंदोलनों की पुनरावृत्ति है: डीपिमिक । नुस्खा OpenAI विधि के समान है: प्रत्येक एपिसोड पथ की शुरुआत से शुरू नहीं होता है, लेकिन पथ के साथ एक यादृच्छिक बिंदु से। फिर पीपीओ ने सफलतापूर्वक इस बिंदु के परिवेश का अध्ययन किया।

मुझे कहना होगा कि उबेर से सनसनीखेज गो-एक्सप्लोर एल्गोरिदम, जिसने मोंटेज़ुमा के रिवेंज को रिकॉर्ड अंकों के साथ पारित किया है, एक सुदृढीकरण लर्निंग एल्गोरिदम नहीं है। यह एक नियमित यादृच्छिक खोज है, लेकिन एक बेतरतीब ढंग से देखी गई सेल सेल (एक मोटे सेल जो कई राज्य में आती है) से शुरू होती है। और केवल जब खेल के अंत तक प्रक्षेपवक्र को इस तरह की यादृच्छिक खोज से पाया जाता है, तो तंत्रिका नेटवर्क को इमिटेशन लर्निंग का उपयोग करके प्रशिक्षित किया जाता है। OpenAI के समान तरीके से, अर्थात प्रक्षेपवक्र के अंत में शुरू।

जिज्ञासा (जिज्ञासा)

सुदृढीकरण सीखने में एक बहुत महत्वपूर्ण अवधारणा जिज्ञासा है। प्रकृति में, यह पर्यावरण अनुसंधान के लिए एक इंजन है।

समस्या यह है कि जिज्ञासा के उपाय के रूप में, आप एक सरल नेटवर्क भविष्यवाणी त्रुटि का उपयोग नहीं कर सकते हैं, आगे क्या होगा। अन्यथा, इस तरह का एक नेटवर्क झूलते हुए पत्ते के साथ पहले पेड़ के सामने लटकाएगा। या रैंडम चैनल स्विचिंग वाले टीवी के सामने। चूंकि जटिलता के कारण परिणाम की भविष्यवाणी करना असंभव होगा और त्रुटि हमेशा बड़ी होगी। हालाँकि, यह ठीक यही कारण है कि हम (लोग) पत्ते, पानी और आग को देखना पसंद करते हैं। और दूसरे लोग कैसे काम करते हैं =)। लेकिन हमारे पास सुरक्षात्मक तंत्र हैं ताकि हमेशा के लिए लटका न सकें।

इस तरह के तंत्र में से एक का आविष्कार जिज्ञासा से प्रेरित अन्वेषण में व्युत्क्रम मॉडल के रूप में किया गया था
स्व-पर्यवेक्षित भविष्यवाणी । संक्षेप में, एक एजेंट (तंत्रिका नेटवर्क), यह बताने के अलावा कि किसी दिए गए स्थिति में कौन से कार्य सबसे अच्छे तरीके से किए जाते हैं, अतिरिक्त रूप से यह भविष्यवाणी करने की कोशिश करता है कि किए गए कार्यों के बाद दुनिया का क्या होगा। और वह अगले कदम के लिए दुनिया की इस भविष्यवाणी का उपयोग करता है, ताकि वह और वर्तमान कदम पहले की गई उसकी क्रियाओं का अनुमान लगा सके (हाँ, यह मुश्किल है, आप इसे बिना किसी संकेत के समझ नहीं सकते हैं)।

यह एक जिज्ञासु प्रभाव की ओर जाता है: एजेंट केवल जिज्ञासु बन जाता है कि वह अपने कार्यों से क्या प्रभाव डाल सकता है। वह किसी पेड़ की झूलती हुई शाखाओं को प्रभावित नहीं कर सकता है, इसलिए वे उसके प्रति उदासीन हो जाते हैं। लेकिन वह जिले के चारों ओर घूम सकता है, इसलिए वह चलने और दुनिया का पता लगाने के लिए उत्सुक है।

हालांकि, यदि एजेंट के पास टीवी रिमोट कंट्रोल है जो यादृच्छिक चैनलों को स्विच करता है, तो वह इसे प्रभावित कर सकता है! और वह चैनल विज्ञापन infinitum पर क्लिक करने के लिए उत्सुक होगा (क्योंकि वह भविष्यवाणी नहीं कर सकता कि अगला चैनल क्या होगा, क्योंकि यह यादृच्छिक है)। इस समस्या को दरकिनार करने का एक प्रयास Google ने रीचैबिलिटी के माध्यम से एपिसोडिक क्यूरोसिटी के काम में किया था।

लेकिन शायद सबसे अच्छा अत्याधुनिक परिणाम जिज्ञासा के कारण है, OpenAI वर्तमान में रैंडम नेटवर्क आसवन (RND) के विचार का मालिक है। इसका सार यह है कि यह एक दूसरा, पूरी तरह से बेतरतीब ढंग से आरंभिक नेटवर्क लेता है, और वर्तमान स्थिति को इसे खिलाया जाता है। और हमारा मुख्य कार्य तंत्रिका नेटवर्क इस तंत्रिका नेटवर्क के उत्पादन का अनुमान लगाने की कोशिश कर रहा है। दूसरे नेटवर्क को प्रशिक्षित नहीं किया गया है, यह हर समय निश्चित रहता है क्योंकि इसे आरंभीकृत किया गया था।

क्या कहना है? मुद्दा यह है कि यदि किसी भी राज्य को हमारे कार्यशील नेटवर्क द्वारा पहले से ही देखा और अध्ययन किया गया है, तो वह कम या ज्यादा सफलतापूर्वक उस दूसरे नेटवर्क के उत्पादन की भविष्यवाणी करने में सक्षम होगा। और अगर यह एक नया राज्य है, जहां हम कभी नहीं रहे हैं, तो हमारा तंत्रिका नेटवर्क उस आरएनडी नेटवर्क के उत्पादन की भविष्यवाणी करने में सक्षम नहीं होगा। रैंडमली इनिशियलाइज्ड नेटवर्क के आउटपुट की भविष्यवाणी करने में यह त्रुटि जिज्ञासा के सूचक के रूप में उपयोग की जाती है (यदि हम इस स्थिति में इसके आउटपुट का अनुमान नहीं लगा सकते हैं तो यह उच्च पुरस्कार देता है)।

यह कार्य पूरी तरह से स्पष्ट क्यों नहीं है। लेकिन वे लिखते हैं कि यह समस्या को तब खत्म करता है जब भविष्यवाणी का लक्ष्य स्टोचस्टिक होता है और जब आगे क्या होगा इसकी भविष्यवाणी करने के लिए पर्याप्त डेटा नहीं है (जो साधारण जिज्ञासा एल्गोरिदम में एक बड़ी भविष्यवाणी त्रुटि देता है)। एक तरह से या किसी अन्य, लेकिन आरएनडी ने वास्तव में खेलों में उत्सुकता के आधार पर उत्कृष्ट शोध परिणाम दिखाए। और यादृच्छिक टीवी की समस्या का सामना करता है।

RND के साथ, OpenAI में पहली बार ईमानदारी से जिज्ञासा (और उबेर की तरह प्रारंभिक यादृच्छिक खोज के माध्यम से नहीं), मोंटेज़ुमा के बदला का पहला स्तर पारित किया। हर बार और अविश्वसनीय रूप से नहीं, लेकिन समय-समय पर यह निकलता रहता है।

परिणाम क्या है?

जैसा कि आप देख सकते हैं, कुछ ही वर्षों में, सुदृढीकरण सीखना एक लंबा सफर तय कर चुका है। केवल कुछ सफल समाधान नहीं, जैसा कि दृढ़ नेटवर्क में होता है, जहां रिड्यूल और स्किप कनेक्शन ने नेटवर्क को सैकड़ों परतों के साथ रेल करना संभव बनाया है, इसके बजाय अकेले रिलु सक्रियण फ़ंक्शन के साथ एक दर्जन परतें हैं, जो कि सिग्मोइड और तन्ह में लुप्त हो रहे ग्रेडिएंट्स की समस्या को काबू में करती हैं। सुदृढीकरण के साथ सीखने में, अवधारणाओं में प्रगति हुई है और कारणों को समझने में कि कार्यान्वयन के इस या उस भोले संस्करण में काम नहीं किया। कीवर्ड "काम नहीं किया।"

लेकिन तकनीकी दृष्टिकोण से, सब कुछ अभी भी सभी समान क्यू, वी, या ए मूल्यों की भविष्यवाणियों पर टिकी हुई है। अलग-अलग पैमानों पर समय की निर्भरता नहीं होती है, जैसे मस्तिष्क में (पदानुक्रमित सुदृढीकरण सीखने की गिनती नहीं होती है, पदानुक्रम जीवित मस्तिष्क में समरूपता की तुलना में इसमें बहुत अधिक आदिम है)। विशेष रूप से सुदृढीकरण सीखने के लिए तैयार किए गए नेटवर्क आर्किटेक्चर के साथ आने का कोई प्रयास नहीं, जैसा कि एलएसटीएम और समय अनुक्रमों के लिए अन्य आवर्तक नेटवर्क के साथ हुआ। सुदृढीकरण सीखना या तो मौके पर ही समाप्त हो जाता है, छोटी सफलताओं में आनन्दित होता है, या पूरी तरह से गलत दिशा में आगे बढ़ता है।

मुझे विश्वास है कि सुदृढीकरण सीखने में एक बार तंत्रिका नेटवर्क की वास्तुकला में एक सफलता होगी, जैसा कि दृढ़ नेटवर्क में हुआ था। और हम वास्तव में काम कर रहे सुदृढीकरण को देखेंगे। अलग-थलग उदाहरणों पर सीखना, कार्यशील स्मृति के साथ और अलग-अलग समय के पैमाने पर काम करना।