जटिल समस्याओं से बचने के लिए एआई ने जटिल व्यवहार सीखा

सुदृढीकरण सीखना अक्सर एआई के लिए प्रेरणा के रूप में जिज्ञासा का उपयोग करता है। उसे नई संवेदनाएं तलाशने और दुनिया का पता लगाने के लिए मजबूर करना। लेकिन जीवन अप्रिय आश्चर्य से भरा है। आप एक चट्टान से गिर सकते हैं और जिज्ञासा के दृष्टिकोण से यह हमेशा बहुत नई और दिलचस्प संवेदनाएं होंगी। लेकिन जाहिर है कि इसके लिए क्या प्रयास नहीं करना चाहिए।

बर्कले के डेवलपर्स ने वर्चुअल एजेंट के लिए कार्य को उल्टा कर दिया: यह उत्सुकता नहीं थी जिसने मुख्य प्रेरक बल बनाया, बल्कि सभी तरीकों से किसी भी नवीनता से बचने की इच्छा थी। लेकिन "कुछ नहीं" करने से यह कठिन था। लगातार बदलते परिवेश में रखे जाने के कारण, नई संवेदनाओं से बचने के लिए एआई को जटिल व्यवहार सीखना पड़ा।

सुदृढीकरण लर्निंग एक मजबूत एआई के निर्माण की दिशा में डरपोक कदम उठाती है। और जबकि सब कुछ बहुत कम आयामों तक सीमित है, शाब्दिक रूप से वे इकाइयाँ जिनमें वर्चुअल एजेंट को कार्य करना है (अधिमानतः यथोचित), समय-समय पर नए विचार प्रकट होते हैं कि कृत्रिम बुद्धिमत्ता के प्रशिक्षण को कैसे बेहतर बनाया जाए।

लेकिन न केवल सीखने के एल्गोरिदम जटिल हैं। पर्यावरण भी सख्त हो रहा है। अधिकांश सुदृढीकरण सीखने के वातावरण बहुत सरल हैं और एजेंट को दुनिया का पता लगाने के लिए प्रेरित करते हैं। यह एक ऐसा भूलभुलैया हो सकता है जिसे पूरी तरह से खत्म करने के लिए रास्ता खोजना चाहिए, या एक कंप्यूटर गेम जिसे अंत तक पूरा करना होगा।

लेकिन लंबे समय में, जीवित चीजें (उचित और ऐसा नहीं) न केवल उनके आसपास की दुनिया का पता लगाने का प्रयास करती हैं। लेकिन उन सभी अच्छे को भी रखना जो उनके छोटे (या नहीं) जीवन में है।

इसे होमोस्टेसिस कहा जाता है - शरीर की एक निरंतर स्थिति बनाए रखने की इच्छा। एक या दूसरे रूप में, यह सभी जीवित चीजों के लिए आम है। बर्कले के डेवलपर्स इस तरह के एक अजीब उदाहरण देते हैं: मानव जाति की सभी उपलब्धियों, द्वारा और बड़े पैमाने पर अप्रिय आश्चर्य से बचाने के लिए डिज़ाइन किया गया है। पर्यावरण की बढ़ती बढ़ती सुरक्षा से बचाव के लिए। हम उन घरों का निर्माण करते हैं जहां हम मौसम के बदलाव से सुरक्षित एक निरंतर तापमान बनाए रखते हैं। हम लगातार स्वस्थ रहने के लिए दवा का उपयोग करते हैं।

कोई इसके साथ बहस कर सकता है, लेकिन इस सादृश्य में वास्तव में कुछ है।

लोगों ने सवाल पूछा - अगर किसी भी नवीनता से बचने की कोशिश करने के लिए AI के लिए मुख्य प्रेरणा है तो क्या होगा? अराजकता को एक सीखने के उद्देश्य के रूप में, दूसरे शब्दों में कम से कम करें।

और उन्होंने एजेंट को कभी बदलती खतरनाक दुनिया में रखा।

परिणाम दिलचस्प थे। कई मामलों में, इस तरह के सीखने ने पाठ्यक्रम-आधारित शिक्षा को पार कर लिया है, और गुणवत्ता की दृष्टि से अधिक बार, शिक्षक के साथ सीखने के करीब आता है। यही है, एक विशिष्ट लक्ष्य को प्राप्त करने के लिए विशेष प्रशिक्षण - खेल जीतने के लिए, भूलभुलैया के माध्यम से जाना।

यह निश्चित रूप से तार्किक है, क्योंकि यदि आप एक ढहने वाले पुल पर खड़े हैं, तो उस पर बने रहने के लिए (निरंतरता बनाए रखने और नई संवेदनाओं को गिरने से बचने के लिए), आपको लगातार किनारे से दूर जाने की आवश्यकता है। ऐलिस ने कहा कि उसके सभी भाग खड़े रह सकते हैं।

और वास्तव में, किसी भी सुदृढीकरण सीखने के एल्गोरिथ्म में, ऐसा क्षण है। क्योंकि खेल में मौतों और प्रकरण के त्वरित अंत को नकारात्मक इनाम के साथ दंडित किया जाता है। या, एल्गोरिथ्म पर निर्भर करता है, एक एजेंट द्वारा प्राप्त अधिकतम इनाम को कम करके अगर यह चट्टान से लगातार गिर नहीं सकता है।

लेकिन यह ऐसे सूत्रीकरण में है, जब एआई के पास नवीनता से बचने की इच्छा के अलावा कोई और लक्ष्य नहीं है, ऐसा लगता है कि यह पहली बार प्रबलित सीखने में इस्तेमाल किया गया था।

दिलचस्प बात यह है कि इस तरह की प्रेरणा से, वर्चुअल एजेंट ने कई गेम खेलना सीखा, जिसमें जीतने का लक्ष्य है। उदाहरण के लिए, टेट्रिस।

या डूम से पर्यावरण, जहां आपको उड़ान के आग के गोले को चकमा देने और विरोधियों से संपर्क करने की आवश्यकता है। क्योंकि कई कार्यों को निरंतरता बनाए रखने के कार्यों के रूप में तैयार किया जा सकता है। टेट्रिस के लिए, इस क्षेत्र को खाली रखने की इच्छा है। क्या स्क्रीन लगातार भर रही है? ओह प्रिय, जब यह अंत तक भर जाएगा तो क्या होगा? नहीं, नहीं, हमें ऐसी खुशी की जरूरत नहीं है। बहुत धक्का लगा।

तकनीकी पक्ष से, यह काफी सरल रूप से व्यवस्थित किया गया है। जब एक एजेंट एक नया राज्य प्राप्त करता है, तो वह मूल्यांकन करता है कि यह राज्य कितना परिचित है। अर्थात्, नए राज्य को उस राज्य के वितरण में कितना शामिल किया जाता है जो उसने पहले दौरा किया था। एजेंट एक अधिक परिचित स्थिति में हो जाता है, जितना बड़ा इनाम। और सीखने की नीति का कार्य (ये सभी सुदृढीकरण सीखना से शर्तें हैं, अगर किसी को नहीं पता है) उन कार्यों को चुनना है जो सबसे परिचित राज्य में संक्रमण का कारण बनेंगे। इसके अलावा, प्राप्त किए गए प्रत्येक नए राज्य का उपयोग परिचित राज्यों के आंकड़ों को अपडेट करने के लिए किया जाता है, जिसके साथ नए राज्यों की तुलना की जाती है।

दिलचस्प बात यह है कि एआई की प्रक्रिया में, मैंने सहजता से यह समझना सीख लिया कि नए राज्य प्रभावित होते हैं जिन्हें नवीनता माना जाता है। और यह कि आप दो तरीकों से परिचित राज्यों को प्राप्त कर सकते हैं: या तो पहले से ही ज्ञात स्थिति में जाएं। या एक ऐसी स्थिति में जाएं जो पर्यावरण की दृढ़ता / परिचितता की बहुत अवधारणा को अद्यतन करेगा, और एजेंट एक नए में होगा, जो उसके कार्यों, परिचित स्थिति से बनेगा।

यह एजेंट को जटिल समन्वित कार्रवाई करने के लिए मजबूर करता है, अगर केवल जीवन में कुछ भी नहीं करना है।

विरोधाभासी रूप से, यह सामान्य सीखने से जिज्ञासा का एक एनालॉग होता है, और एजेंट को उसके आसपास की दुनिया का पता लगाने के लिए मजबूर करता है। अचानक कहीं और यहाँ और अब से भी सुरक्षित जगह है? वहां आप पूरी तरह से आलस्य में लिप्त हो सकते हैं और पूरी तरह से कुछ भी नहीं कर सकते हैं, जिससे किसी भी समस्या और नई संवेदनाओं से बचा जा सकता है। यह कहना अतिशयोक्ति नहीं होगी कि इस तरह के विचार शायद हम में से किसी के साथ हुए हैं। और कई लोगों के लिए, यह जीवन में एक असली प्रेरणा शक्ति है। हालांकि वास्तविक जीवन में, हम में से किसी को भी टेट्रिस को शीर्ष तक भरने से निपटना नहीं था, ज़ाहिर है।

सच कहूं तो यह एक जटिल कहानी है। लेकिन अभ्यास से पता चलता है कि यह काम करता है। शोधकर्ताओं ने इस एल्गोरिथम की तुलना जिज्ञासा के आधार पर सबसे अच्छे प्रतिनिधियों से की: ICM और RND । पहला जिज्ञासा का एक प्रभावी तंत्र है जो पहले से ही सुदृढीकरण के साथ सीखने में क्लासिक बन गया है। एजेंट केवल नए अपरिचित और इसलिए दिलचस्प राज्यों के लिए प्रयास नहीं करता है। इस तरह के एल्गोरिदम में स्थिति की अपरिचितता का अनुमान इस बात से लगाया जाता है कि क्या एजेंट इसका अनुमान लगा सकता है (पहले वाले लोगों में सचमुच दौरा किए गए राज्यों के काउंटर थे, लेकिन अब सब कुछ अभिन्न अनुमान के नीचे आ गया है जो तंत्रिका नेटवर्क प्रदान करता है)। लेकिन इस मामले में, पेड़ों पर चलती पत्तियां या टीवी पर सफेद शोर ऐसे एजेंट के लिए अंतहीन नवीनता होगी, और जिज्ञासा की एक अंतहीन भावना का कारण होगा। क्योंकि वह कभी भी पूरी तरह से यादृच्छिक वातावरण में सभी संभावित नए राज्यों की भविष्यवाणी नहीं कर सकता है।

इसलिए, आईसीएम में, एक एजेंट केवल उन नए राज्यों की तलाश करता है जो अपने कार्यों से प्रभावित कर सकते हैं। क्या AI टीवी पर सफेद शोर को प्रभावित कर सकता है? नहीं। अतः अविनाशी। और अगर आप इसे स्थानांतरित करते हैं तो क्या यह गेंद को प्रभावित कर सकता है? हां। इसलिए गेंद से खेलना दिलचस्प है। ऐसा करने के लिए, ICM व्युत्क्रम मॉडल के साथ एक बहुत अच्छे विचार का उपयोग करता है, जिसके साथ फॉरवर्ड मॉडल की तुलना की जाती है। मूल कार्य में अधिक विवरण।

RND जिज्ञासा तंत्र का एक नया विकास है। जो व्यवहार में आईसीएम से आगे निकल गया है। संक्षेप में, तंत्रिका नेटवर्क एक और तंत्रिका नेटवर्क के आउटपुट की भविष्यवाणी करने की कोशिश कर रहा है, जिसे यादृच्छिक भार द्वारा शुरू किया जाता है और कभी नहीं बदलता है। यह माना जाता है कि अधिक परिचित स्थिति (दोनों तंत्रिका नेटवर्क के इनपुट, वर्तमान और बेतरतीब ढंग से शुरू किए गए) को खिलाया जाता है, अधिक बार वर्तमान तंत्रिका नेटवर्क यादृच्छिक रूप से शुरू किए गए आउटपुट का अनुमान लगाने में सक्षम होगा। मुझे नहीं पता कि यह सब कौन करता है। एक तरफ, मैं ऐसे व्यक्ति के साथ हाथ मिलाना चाहता हूं, और दूसरी तरफ, ऐसी विकृतियों के लिए एक किक दे।

लेकिन एक तरह से या किसी अन्य, और होमोस्टैसिस को बनाए रखने के विचार पर प्रशिक्षण और किसी भी नवीनता से बचने की कोशिश करना, व्यवहार में कई मामलों में आईसीएन या आरएनडी पर आधारित पाठ्यक्रम की तुलना में बेहतर परिणाम प्राप्त हुआ। रेखांकन में क्या परिलक्षित होता है।

लेकिन यहां यह स्पष्ट करना आवश्यक है कि यह केवल उन वातावरणों के लिए है जो शोधकर्ताओं ने अपने काम में उपयोग किए थे। वे खतरनाक, यादृच्छिक, शोर और बढ़ती एंट्रोपी के साथ हैं। यह वास्तव में उनमें कुछ भी नहीं करने के लिए अधिक लाभदायक हो सकता है। और कभी-कभी यह सक्रिय रूप से आगे बढ़ता है जब आग की एक गेंद आप में उड़ जाती है या आपके पीछे का पुल ढहने लगता है। हालांकि, बर्कले के शोधकर्ता स्पष्ट रूप से अपने कठिन जीवन के अनुभव से जोर देते हैं, कि इस तरह के वातावरण पहले से सुदृढीकरण प्रशिक्षण में उपयोग किए जाने की तुलना में जटिल वास्तविक जीवन के बहुत करीब हैं। खैर, मुझे नहीं पता, मुझे नहीं पता। मेरे जीवन में, मेरे अंदर उड़ने वाले राक्षसों से आग के गोले और एक ही निकास के साथ निर्जन लेबिरिंथ लगभग एक ही आवृत्ति के साथ पाए जाते हैं। लेकिन इससे इनकार नहीं किया जा सकता है कि प्रस्तावित दृष्टिकोण, इसकी सभी सादगी के साथ, आश्चर्यजनक परिणाम दिखाई दिए। शायद भविष्य में दोनों दृष्टिकोणों को यथोचित रूप से संयुक्त किया जाना चाहिए - वर्तमान पर्यावरण अध्ययन के लिए दीर्घकालिक और जिज्ञासा में सकारात्मक स्थिरता के संरक्षण के साथ होमोस्टैसिस।

मूल कार्य से जुड़ा