मशीन सीखने में जिज्ञासा और शिथिलता

प्रबलित लर्निंग (आरएल) सबसे होनहार मशीन लर्निंग तकनीकों में से एक है जिसे सक्रिय रूप से विकसित किया जा रहा है। यहां, एआई एजेंट को सही कार्यों के लिए सकारात्मक इनाम मिलता है, और गलत लोगों के लिए नकारात्मक इनाम। गाजर और छड़ी की यह विधि सरल और सार्वभौमिक है। इसके साथ, डीपमाइंड ने पुराने Atari वीडियो गेम, और AlphaGoZero को प्राचीन गो गेम खेलने के लिए DQN एल्गोरिथम सिखाया। इसलिए OpenAI ने आधुनिक Dota वीडियो गेम खेलने के लिए OpenAI- पांच एल्गोरिदम सिखाया, और Google ने नई वस्तुओं को पकड़ने के लिए रोबोटिक हाथ सिखाया। आरएल की सफलता के बावजूद, अभी भी कई समस्याएं हैं जो इस तकनीक की प्रभावशीलता को कम करती हैं।

आरएल एल्गोरिदम को ऐसे वातावरण में काम करना मुश्किल लगता है जहां एजेंट को शायद ही कभी प्रतिक्रिया मिलती है। लेकिन यह वास्तविक दुनिया की खासियत है। एक उदाहरण के रूप में, एक सुपरमार्केट की तरह एक बड़े भूलभुलैया में अपने पसंदीदा पनीर की तलाश करें। आप पनीर के साथ एक विभाग की तलाश कर रहे हैं, लेकिन आप इसे नहीं पा सकते हैं। यदि हर कदम पर आपको "छड़ी" या "गाजर" नहीं मिलती है, तो यह कहना असंभव है कि आप सही दिशा में आगे बढ़ रहे हैं। इनाम के अभाव में, आपको हमेशा के लिए भटकने से रोकता है? आपकी जिज्ञासा के सिवा कुछ नहीं। यह किराना विभाग में जाने के लिए प्रेरित करता है, जो अपरिचित दिखता है।

वैज्ञानिक कार्य, " एपिकोडिक क्यूरोसिटी थ्रू रिचुचबिलिटी", Google ब्रेन टीम , डीपमाइंड और ज्यूरिख के स्विस हायर टेक्निकल स्कूल के बीच सहयोग का परिणाम है। हम एक नया एपिसोड मेमोरी-आधारित आरएल इनाम मॉडल प्रदान करते हैं। वह एक जिज्ञासा की तरह दिखता है जो आपको पर्यावरण का पता लगाने की अनुमति देता है। चूंकि एजेंट को न केवल पर्यावरण का अध्ययन करना चाहिए, बल्कि प्रारंभिक समस्या को भी हल करना चाहिए, हमारा मॉडल शुरू में विरल इनाम में एक बोनस जोड़ता है। संयुक्त इनाम अब विरल नहीं है, जो मानक आरएल एल्गोरिदम को इससे सीखने की अनुमति देता है। इस प्रकार, हमारी जिज्ञासा विधि उन कार्यों की सीमा का विस्तार करती है जिन्हें आरएल का उपयोग करके हल किया जा सकता है।


पुनरावृत्ति के माध्यम से समसामयिक जिज्ञासा: अवलोकन डेटा को स्मृति में जोड़ा जाता है, इनाम की गणना इस आधार पर की जाती है कि स्मृति में समान अवलोकन से वर्तमान अवलोकन कितना दूर है। एजेंट को उन टिप्पणियों के लिए अधिक से अधिक इनाम मिलता है जो अभी तक स्मृति में प्रस्तुत नहीं किए गए हैं।

विधि का मुख्य विचार पर्यावरण की एजेंट की टिप्पणियों को एपिसोडिक मेमोरी में संग्रहीत करना है, साथ ही एजेंट को स्मृति में प्रस्तुत नहीं किए गए टिप्पणियों को देखने के लिए पुरस्कृत करता है। "स्मृति की कमी" हमारे तरीके में नवीनता की परिभाषा है। इस तरह के अवलोकनों की खोज का अर्थ है किसी अजनबी की खोज। किसी अजनबी को खोजने की ऐसी लालसा AI एजेंट को नए स्थानों पर ले जाएगी, जिससे एक सर्कल में भटकने से रोका जा सकेगा, और अंततः उसे लक्ष्य पर ठोकर मारने में मदद मिलेगी। जैसा कि हम बाद में चर्चा करते हैं, हमारे शब्दांकन एजेंट को अवांछनीय व्यवहार से रोक सकते हैं जो कुछ अन्य शब्दों के अधीन हैं। हमारे महान आश्चर्य के लिए, इस व्यवहार में कुछ समानताएं हैं जो एक आम आदमी "शिथिलता" कहेगा।

पिछली जिज्ञासा

यद्यपि अतीत ^{[1] [2] [३] [४]} में जिज्ञासा बनाने के कई प्रयास हुए हैं, इस लेख में हम एक प्राकृतिक और बहुत लोकप्रिय दृष्टिकोण पर ध्यान केंद्रित करेंगे: पूर्वानुमान के आधार पर आश्चर्य के माध्यम से जिज्ञासा। इस तकनीक का वर्णन एक हालिया लेख में किया गया है, "इन्वेस्टिगेटिंग ए एनवायरनमेंट एन क्यूरिओसिंग यूजिंग क्यूरोसिटी बाय प्रीडिक्टिंग अंडर ओन कंट्रोल" (आमतौर पर जिसे आईसीएम कहा जाता है)। आश्चर्य और जिज्ञासा के बीच संबंध को स्पष्ट करने के लिए, हम फिर से सुपरमार्केट में पनीर खोजने की समानता का उपयोग करते हैं।


इंदिरा पास्को द्वारा चित्रण, CC BY-NC-ND 4.0 के तहत लाइसेंस प्राप्त

स्टोर के चारों ओर घूमते हुए, आप भविष्य की भविष्यवाणी करने की कोशिश कर रहे हैं ( "अब मैं मांस विभाग में हूं, इसलिए मुझे लगता है कि कोने के आसपास का विभाग मछली का विभाग है, वे आमतौर पर इस सुपरमार्केट श्रृंखला में पास हैं" )। यदि पूर्वानुमान गलत है, तो आप हैरान हैं ( "वास्तव में, सब्जियों का एक विभाग है। मुझे यह उम्मीद नहीं थी!" ) - और इस तरह से आपको एक इनाम मिलता है। यह भविष्य में फिर से कोने के चारों ओर देखने के लिए प्रेरणा बढ़ाता है, केवल यह सत्यापित करने के लिए नए स्थानों की खोज करता है कि आपकी उम्मीदें सच हैं (और संभवतः पनीर के लिए ठोकरें)।

इसी तरह, आईसीएम विधि दुनिया की गतिशीलता का एक भविष्य कहनेवाला मॉडल बनाती है और एजेंट को इनाम देती है यदि मॉडल अच्छा पूर्वानुमान नहीं लगा सकता है - आश्चर्य या नवीनता का एक मार्कर। कृपया ध्यान दें कि नए स्थानों की खोज सीधे आईसीएम जिज्ञासा में व्यक्त नहीं है। ICM विधि के लिए, उन्हें शामिल करना अधिक आश्चर्यचकित करने का एक तरीका है और इस प्रकार आपके समग्र इनाम को अधिकतम करता है। जैसा कि यह पता चला है, कुछ वातावरणों में स्वयं को आश्चर्यचकित करने के अन्य तरीके हो सकते हैं, जिससे अप्रत्याशित परिणाम प्राप्त होते हैं।


एक टीवी के साथ बैठक करते समय आश्चर्य के आधार पर एक जिज्ञासा प्रणाली के साथ एक एजेंट। दीपक पटक के वीडियो से एनिमेशन, CC BY 2.0 के तहत लाइसेंस प्राप्त

शिथिलता का खतरा

OpenM शोधकर्ताओं के साथ ICM पद्धति के लेखकों ने एक लेख "क्यूरियोसिटी-बेस्ड लर्निंग का एक बड़ा-स्केल अध्ययन," में आश्चर्य का अधिकतम खतरा दिखाया: एजेंट कार्य के लिए कुछ उपयोगी करने के बजाय शिथिलता में लिप्त होना सीख सकते हैं। ऐसा क्यों होता है यह समझने के लिए, एक विचार प्रयोग पर विचार करें जिसे लेखक "टेलीविजन शोर समस्या" कहते हैं। यहां एजेंट को एक बहुत उपयोगी वस्तु (जैसे हमारे उदाहरण में "पनीर") खोजने के कार्य के साथ एक भूलभुलैया में रखा गया है। वातावरण में एक टीवी है, और एजेंट का रिमोट कंट्रोल है। चैनलों की एक सीमित संख्या है (प्रत्येक चैनल का एक अलग ट्रांसमिशन है), और रिमोट पर प्रत्येक प्रेस टीवी को यादृच्छिक चैनल पर स्विच करता है। ऐसे वातावरण में एक एजेंट कैसे कार्य करेगा?

यदि आश्चर्य के आधार पर जिज्ञासा का गठन किया जाता है, तो चैनलों का एक परिवर्तन अधिक पुरस्कार देगा, क्योंकि प्रत्येक परिवर्तन अप्रत्याशित और अप्रत्याशित है। यह ध्यान रखना महत्वपूर्ण है कि सभी उपलब्ध चैनलों के एक चक्रीय स्कैन के बाद भी, एक चैनल का एक यादृच्छिक चयन यह सुनिश्चित करता है कि प्रत्येक नया परिवर्तन अभी भी अप्रत्याशित होगा - एजेंट एक भविष्यवाणी करता है कि यह चैनल स्विच करने के बाद टीवी दिखाएगा, और सबसे अधिक संभावना है कि पूर्वानुमान गलत हो जाएगा, जो आश्चर्य का कारण होगा। यह ध्यान रखना महत्वपूर्ण है कि भले ही एजेंट ने प्रत्येक चैनल पर प्रत्येक ट्रांसमिशन को पहले ही देख लिया हो, फिर भी परिवर्तन अप्रत्याशित है। इसके कारण, एजेंट, बहुत उपयोगी वस्तु की तलाश करने के बजाय, अंततः टीवी के सामने रहेगा - शिथिलता के समान। इस व्यवहार को रोकने के लिए जिज्ञासा के शब्दों को कैसे बदला जाए?

एपिसोडिक जिज्ञासा

"पुनर्जागरण के माध्यम से एपिसोडिक जिज्ञासा" लेख में , हम एक एपिसोडिक मेमोरी-आधारित जिज्ञासा मॉडल की जांच करते हैं , जो तत्काल खुशी के लिए कम संभावना है। ऐसा क्यों? यदि हम ऊपर उदाहरण लेते हैं, तो कुछ समय बाद चैनलों को स्विच करने के बाद, सभी प्रसारण अंततः मेमोरी में समाप्त हो जाएंगे। इस प्रकार, टीवी अपनी अपील खो देगा: भले ही स्क्रीन पर प्रोग्राम जिस क्रम में दिखाई देते हैं वह यादृच्छिक और अप्रत्याशित है, वे सभी स्मृति में हैं! यह आश्चर्य पर आधारित विधि से मुख्य अंतर है: हमारी पद्धति भविष्य की भविष्यवाणी करने की कोशिश भी नहीं करती है, यह भविष्यवाणी करना मुश्किल है (या असंभव)। इसके बजाय, एजेंट अतीत की जांच करता है और यह देखने के लिए जांचता है कि क्या वर्तमान में मेमोरी में कोई अवलोकन है। इस प्रकार, हमारे एजेंट को तत्काल सुख की संभावना नहीं है, जो "टेलीविजन शोर" देता है। एजेंट को अधिक पुरस्कार प्राप्त करने के लिए टीवी के बाहर की दुनिया में जाना और तलाशना होगा।

लेकिन हम कैसे तय करते हैं कि कोई एजेंट वही चीज देखता है जो मेमोरी में स्टोर की जाती है? सटीक मिलान जाँच व्यर्थ है: एक वास्तविक वातावरण में, एक एजेंट शायद ही कभी दो बार देखता है। उदाहरण के लिए, भले ही एजेंट उसी कमरे में लौट आए, फिर भी वह इस कमरे को एक अलग कोण से देखेगा।

सटीक मैचों के लिए जाँच करने के बजाय, हम एक गहरे तंत्रिका नेटवर्क का उपयोग करते हैं जो यह मापने के लिए प्रशिक्षित होता है कि दो समान अनुभव कैसे हैं। इस नेटवर्क को प्रशिक्षित करने के लिए, हमें यह अनुमान लगाना चाहिए कि समय में कितनी बारीकी से अवलोकन हुए। समय में निकटता एक अच्छा संकेतक है कि क्या दो टिप्पणियों को एक ही का हिस्सा माना जाना चाहिए। इस तरह की सीखने से पुनरावृत्ति के माध्यम से नवीनता की एक सामान्य अवधारणा होती है, जिसे नीचे चित्रित किया गया है।


रीचबिलिटी ग्राफ नवीनता को परिभाषित करता है। व्यवहार में, यह ग्राफ़ उपलब्ध नहीं है - इसलिए, हम टिप्पणियों के बीच चरणों की संख्या का अनुमान लगाने के लिए तंत्रिका नेटवर्क सन्निकटन को प्रशिक्षित करते हैं

प्रायोगिक परिणाम

जिज्ञासा का वर्णन करने के लिए विभिन्न तरीकों के प्रदर्शन की तुलना करने के लिए, हमने उन्हें दो नेत्रहीन समृद्ध 3 डी वातावरणों में परीक्षण किया: वीजेडूम और डीएमएलएब । इन शर्तों के तहत, एजेंट को विभिन्न कार्य दिए गए थे, जैसे भूलभुलैया में एक लक्ष्य खोजना, अच्छी वस्तुएं एकत्र करना और बुरे लोगों से बचना। DMLab परिवेश में, एजेंट डिफ़ॉल्ट रूप से एक लेज़र जैसे शानदार गैजेट के साथ सुसज्जित होता है, लेकिन यदि किसी विशिष्ट कार्य के लिए गैजेट की आवश्यकता नहीं है, तो एजेंट इसका उपयोग स्वतंत्र रूप से नहीं कर सकता है। दिलचस्प बात यह है कि आश्चर्य के आधार पर, आईसीएम एजेंट ने वास्तव में लेजर का उपयोग अक्सर किया, भले ही वह कार्य को पूरा करने के लिए बेकार हो! जैसा कि टीवी के मामले में, भूलभुलैया में एक मूल्यवान वस्तु की खोज करने के बजाय, उसने दीवारों पर शूटिंग के लिए समय बिताना पसंद किया, क्योंकि इसने आश्चर्य के रूप में बहुत सारे पुरस्कार दिए। सैद्धांतिक रूप से, एक दीवार शॉट का परिणाम पूर्वानुमान योग्य होना चाहिए, लेकिन व्यवहार में यह भविष्यवाणी करना बहुत मुश्किल है। यह संभवतः मानक एआई एजेंट के लिए उपलब्ध भौतिकी की गहन ज्ञान की आवश्यकता है।


हैरान आईसीएम एजेंट भूलभुलैया की खोज करने के बजाय लगातार दीवार में गोली मारता है

उसके विपरीत, हमारे एजेंट ने पर्यावरण का अध्ययन करने के लिए उचित व्यवहार में महारत हासिल की है। ऐसा इसलिए हुआ क्योंकि वह अपने कार्यों के परिणाम की भविष्यवाणी करने की कोशिश नहीं कर रहा है, बल्कि उन टिप्पणियों की तलाश कर रहा है जो उन लोगों से "आगे" हैं जो एपिसोडिक मेमोरी में हैं। दूसरे शब्दों में, एजेंट स्पष्ट रूप से उन लक्ष्यों का पीछा करता है जिन्हें दीवार पर एक साधारण शॉट की तुलना में अधिक प्रयास की आवश्यकता होती है।


हमारी विधि बुद्धिमान पर्यावरण अन्वेषण व्यवहार को प्रदर्शित करती है।

यह देखना दिलचस्प है कि इनाम के लिए हमारा दृष्टिकोण एक सर्कल में चलने वाले एजेंट को कैसे दंडित करता है, क्योंकि पहले गोद के पूरा होने के बाद, एजेंट नई टिप्पणियों का सामना नहीं करता है और इस तरह कोई भी इनाम प्राप्त नहीं करता है:


इनाम दृश्य: लाल नकारात्मक इनाम से मेल खाती है, हरे से सकारात्मक। बाएं से दाएं: पुरस्कार कार्ड, स्मृति में स्थानों के साथ मानचित्र, पहला-व्यक्ति दृश्य

इसी समय, हमारी पद्धति पर्यावरण के अच्छे अध्ययन में योगदान करती है:


इनाम दृश्य: लाल नकारात्मक इनाम से मेल खाती है, हरे से सकारात्मक। बाएं से दाएं: पुरस्कार कार्ड, स्मृति में स्थानों के साथ मानचित्र, पहला-व्यक्ति दृश्य

हम आशा करते हैं कि हमारा काम अनुसंधान की एक नई लहर के लिए योगदान देता है जो अपने बुद्धिमान व्यवहार पर एजेंटों को शिक्षित करने के लिए आश्चर्य की तकनीक के दायरे से परे जाता है। हमारी पद्धति का गहराई से विश्लेषण करने के लिए, कृपया वैज्ञानिक कार्य के पहले से ही देख लें ।

धन्यवाद:

यह परियोजना Google ब्रेन टीम, डीपमाइंड और ज्यूरिख के स्विस हायर टेक्निकल स्कूल के बीच सहयोग का परिणाम है। मुख्य अनुसंधान समूह: निकोले सविनोव, एंटोन रायचुक, राफेल मारिनियर, डेमियन विंसेंट, मार्क पॉलेफेयस, टिमोथी लिलीपैर और सिल्वेन गेली। हम इस दस्तावेज पर चर्चा करने के लिए ओलिवियर पीटरकिन, कार्लोस रिकेल्मे, चार्ल्स ब्लंडेल और सर्गेई लेविन को धन्यवाद देना चाहते हैं। दृष्टांतों के साथ मदद के लिए हम इंदिरा पास्को के आभारी हैं।

साहित्य के संदर्भ:

[१] "तंत्रिका घनत्व के मॉडल के साथ गिनती के आधार पर पर्यावरण का अध्ययन" , जॉर्ज ओस्ट्रोव्स्की, मार्क जी। बेलेमार, आरोन वान डेन ओर्ड, रेमी मुनोज़
[२] "सुदृढीकरण के साथ गहन सीखने के लिए गिनती आधारित सीखने का माहौल" , खोरन टैन, रेन हूथुफ, डेविस फुट, एडम नॉक, सी चेन, यान डुआन, जॉन शुलमैन, फिलिप डी तुर्क, पीटर एबेल
[३] "आंतरिक रूप से प्रेरित अनुसंधान के लिए लक्ष्यों का पता लगाने के लिए एक शिक्षक के बिना सीखना", अलेक्जेंडर पेरे, सेबेस्टियन फॉरेस्ट, ओलिवियर सिगोट, पियरे-यवेस उडे
[४] "VIME: इंटेलिजेंस टू मैक्सिमम इनफॉर्मेशन चेंजेस," रीन हूथुफ, शी चेन, यान डुआन, जॉन शुल्मैन, फिलिप डी तुर्क, पीटर एबेल