सामान्य प्रयोजन कृत्रिम बुद्धि। टीके, वर्तमान स्थिति, संभावनाएं

आजकल, "आर्टिफिशियल इंटेलिजेंस" शब्द का अर्थ विभिन्न प्रणालियों से बहुत अधिक है - एक तंत्रिका नेटवर्क से छवि पहचान के लिए एक बोट में क्वेक खेलने के लिए। विकिपीडिया एआई की एक अद्भुत परिभाषा देता है - यह "रचनात्मक कार्यों का प्रदर्शन करने के लिए बुद्धिमान प्रणालियों की संपत्ति है जो पारंपरिक रूप से मनुष्य के विशेषाधिकार को माना जाता है।" यही है, यह स्पष्ट रूप से परिभाषा से देखा जाता है - यदि एक निश्चित फ़ंक्शन को सफलतापूर्वक स्वचालित किया गया था, तो यह कृत्रिम बुद्धिमत्ता माना जाता है।

हालाँकि, जब "कृत्रिम बुद्धिमत्ता बनाने" का कार्य पहले सेट किया गया था, AI का अर्थ कुछ अलग था। इस लक्ष्य को अब स्ट्रांग AI या जनरल पर्पस AI कहा जाता है।

समस्या का बयान

अब समस्या के दो प्रसिद्ध रूप हैं। पहला है स्ट्रांग AI। दूसरा एक सामान्य-उद्देश्य AI (उर्फ आर्टिफिशियल जनरल इंटेलिजेंस, संक्षिप्त एजीआई) है।
Upd। टिप्पणियों में, वे मुझे बताते हैं कि यह अंतर भाषा के स्तर पर अधिक संभावना है। रूसी में, "बुद्धि" शब्द का मतलब अंग्रेजी में "खुफिया" शब्द से बिल्कुल नहीं है

एक मजबूत एआई एक काल्पनिक एआई है जो एक व्यक्ति जो कर सकता है वह सब कुछ कर सकता है। यह आमतौर पर उल्लेख किया गया है कि वह प्रारंभिक सेटिंग (हम्म, लोग इसे पास करते हैं?) में ट्यूरिंग टेस्ट पास करना चाहिए? एक अलग व्यक्ति के रूप में खुद के बारे में जागरूक रहें और अपने लक्ष्यों को प्राप्त करने में सक्षम हों।

यानी यह एक कृत्रिम व्यक्ति की तरह कुछ है। मेरी राय में, इस तरह के एआई की उपयोगिता मुख्य रूप से अनुसंधान है, क्योंकि एक मजबूत एआई की परिभाषा कहीं भी यह नहीं कहती है कि इसके लक्ष्य क्या होंगे।

AGI या सामान्य-उद्देश्य AI "परिणामों की मशीन" है। वह इनपुट पर एक निश्चित लक्ष्य निर्धारण प्राप्त करती है - और मोटर्स / लेजर / नेटवर्क कार्ड / मॉनीटर पर कुछ नियंत्रण क्रियाएं करती हैं। और लक्ष्य प्राप्त हो जाता है। इसी समय, एजीआई को शुरू में पर्यावरण के बारे में ज्ञान नहीं है - केवल सेंसर, एक्ट्यूएटर और चैनल जिसके माध्यम से यह लक्ष्य निर्धारित करता है। प्रबंधन प्रणाली को एजीआई माना जाएगा यदि यह किसी भी वातावरण में किसी भी लक्ष्य को प्राप्त कर सकती है। हमने उसे एक कार चलाने और दुर्घटनाओं से बचने के लिए रखा - वह इसे संभाल लेगी। हमने उसे एक परमाणु रिएक्टर के नियंत्रण में रखा, ताकि अधिक ऊर्जा हो, लेकिन विस्फोट न हो - वह इसे संभाल सकता है। हम एक मेलबॉक्स देंगे और वैक्यूम क्लीनर बेचने का निर्देश देंगे - सामना भी करेंगे। AGI "उलटा समस्याओं" का एक हल है। यह जांचने के लिए कि कितने वैक्यूम क्लीनर बेचे जाते हैं, यह एक साधारण मामला है। लेकिन यह जानने के लिए कि इस वैक्यूम क्लीनर को खरीदने के लिए किसी व्यक्ति को कैसे समझाना है, यह पहले से ही बुद्धि के लिए एक काम है।

इस लेख में मैं एजीआई के बारे में बात करूंगा। कोई ट्यूरिंग परीक्षण, कोई आत्म-जागरूकता, कोई कृत्रिम व्यक्तित्व नहीं - असाधारण रूप से व्यावहारिक एआई और कम व्यावहारिक संचालक।

मामलों की वर्तमान स्थिति

अब रीइनफोर्समेंट लर्निंग, या रीइन्फोर्स्ड लर्निंग जैसी प्रणालियों का ऐसा वर्ग है। यह एजीआई जैसा कुछ है, केवल बहुमुखी प्रतिभा के बिना। वे सीखने में सक्षम हैं, और इसके कारण, विभिन्न प्रकार के वातावरण में लक्ष्य प्राप्त करते हैं। लेकिन फिर भी वे किसी भी वातावरण में लक्ष्यों को प्राप्त करने से बहुत दूर हैं।

सामान्य तौर पर, सुदृढीकरण सीखने की व्यवस्था कैसे की जाती है और उनकी समस्याएं क्या हैं?



किसी भी आरएल को इस तरह व्यवस्थित किया जाता है। एक नियंत्रण प्रणाली है, आसपास की वास्तविकता के बारे में कुछ संकेत सेंसर (राज्य) के माध्यम से और शासी निकायों (क्रियाओं) के माध्यम से इसे आसपास के वास्तविकता पर कार्य करते हैं। इनाम सुदृढीकरण का संकेत है। आरएल-सिस्टम में, नियंत्रण इकाई के बाहर से सुदृढीकरण बनता है और यह इंगित करता है कि लक्ष्य प्राप्त करने के साथ एआई कितनी अच्छी तरह से मुकाबला करता है। उदाहरण के लिए, अंतिम मिनट में कितने वैक्यूम क्लीनर बेचे गए।
तब एक तालिका कुछ इस तरह से बनती है (मैं इसे SAR तालिका कहूंगा):



समय की धुरी नीचे की ओर निर्देशित होती है। तालिका वह सब कुछ दिखाती है जो एआई ने किया, वह सब कुछ जो उसने देखा और सभी सुदृढीकरण सिग्नल। आमतौर पर आरएल के लिए कुछ सार्थक करने के लिए, उसे पहले कुछ समय के लिए यादृच्छिक चालें बनाने की जरूरत होती है, या किसी और की चाल को देखना चाहिए। सामान्य तौर पर, आरएल तब शुरू होता है जब एसएआर तालिका में पहले से ही कम से कम कुछ लाइनें होती हैं।
आगे क्या होता है?

सार्सा

सुदृढीकरण सीखने का सबसे सरल रूप।

हम कुछ प्रकार के मशीन लर्निंग मॉडल लेते हैं और, एस और ए (राज्य और क्रिया) के संयोजन का उपयोग करते हुए, हम अगले कुछ घड़ी चक्रों के लिए कुल आर की भविष्यवाणी करते हैं। उदाहरण के लिए, हम देखेंगे कि (ऊपर दी गई तालिका के आधार पर) यदि आप किसी महिला से कहते हैं कि "एक पुरुष हो, एक वैक्यूम क्लीनर खरीदें!", तो इनाम कम होगा, और यदि आप एक आदमी से एक ही बात कहते हैं, तो उच्च।

क्या विशिष्ट मॉडल का उपयोग किया जा सकता है - मैं बाद में वर्णन करूंगा, अभी के लिए मैं केवल यह कहूंगा कि यह केवल तंत्रिका नेटवर्क नहीं है। आप निर्णय पेड़ों का उपयोग कर सकते हैं या यहां तक ​​कि एक तालिका के रूप में एक फ़ंक्शन को परिभाषित कर सकते हैं।

और फिर निम्नलिखित होता है। AI एक अन्य संदेश या किसी अन्य क्लाइंट का लिंक प्राप्त करता है। सभी ग्राहक डेटा बाहर से AI में दर्ज किए जाते हैं - हम सेंसर सिस्टम के हिस्से के रूप में ग्राहक आधार और संदेश काउंटर पर विचार करेंगे। यही है, यह कुछ ए (कार्रवाई) असाइन करने और सुदृढीकरण की प्रतीक्षा करने के लिए बनी हुई है। एआई सभी संभावित कार्रवाई करता है और बदले में भविष्यवाणी करता है (एक ही मशीन लर्निंग मॉडल का उपयोग करके) - अगर मैं ऐसा करता हूं तो क्या होगा? अगर है तो क्या है? और इसके लिए कितना सुदृढीकरण होगा? और फिर आरएल वह कार्रवाई करता है जिसके लिए अधिकतम इनाम अपेक्षित है।

मैंने अपने खेलों में से एक में इस तरह की एक सरल और अनाड़ी प्रणाली शुरू की। SARSA खेल में इकाइयों को काम पर रखता है, और खेल के नियमों में बदलाव की स्थिति में एडाप्ट करता है।

इसके अलावा, सभी प्रकार के प्रबलित प्रशिक्षण में पुरस्कारों की छूट और एक खोज / शोषण दुविधा है।

डिस्काउंटिंग पुरस्कार एक ऐसा तरीका है जब आरएल अगले एन चालों के लिए इनाम राशि को अधिकतम करने की कोशिश नहीं करता है, लेकिन सिद्धांत के अनुसार भारित राशि "100 रूबल अब एक वर्ष में 110 से बेहतर है"। उदाहरण के लिए, यदि छूट कारक 0.9 है, और नियोजन क्षितिज 3 है, तो हम मॉडल को अगले 3 घड़ी चक्रों के लिए कुल आर पर नहीं, बल्कि R1 * 0.9 + R2 * 0.81 + R3 * 0.729 पर प्रशिक्षित करेंगे। यह क्यों आवश्यक है? फिर, एआई, अनंत में कहीं न कहीं एक लाभ बना रहा है, हमें ज़रूरत नहीं है। हमें एक एआई की जरूरत है जो यहां और अभी एक लाभ उत्पन्न करे।
अन्वेषण / शोषण दुविधा। यदि RL वह करता है जो उसका मॉडल इष्टतम मानता है, तो यह कभी नहीं जान पाएगा कि क्या कोई बेहतर रणनीति थी। शोषण एक रणनीति है जिसमें आरएल वही करता है जो अधिकतम पुरस्कारों का वादा करता है। एक्सप्लोर एक ऐसी रणनीति है जिसमें आरएल बेहतर रणनीतियों की तलाश में पर्यावरण का पता लगाने के लिए कुछ करता है। प्रभावी बुद्धि कैसे लागू करें? उदाहरण के लिए, आप हर कुछ उपायों पर एक यादृच्छिक कार्रवाई कर सकते हैं। या आप एक पूर्वानुमान मॉडल नहीं बना सकते हैं, लेकिन कई अलग-अलग सेटिंग्स के साथ। वे अलग-अलग परिणाम देंगे। अंतर जितना बड़ा होगा, इस विकल्प की अनिश्चितता की डिग्री उतनी ही अधिक होगी। आप कार्रवाई कर सकते हैं ताकि इसका अधिकतम मूल्य हो: M + k * std, जहां M सभी मॉडलों का औसत पूर्वानुमान है, std पूर्वानुमान का मानक विचलन है, और k जिज्ञासा का गुणांक है।

नुकसान क्या हैं?

मान लीजिए कि हमारे पास विकल्प हैं। लक्ष्य पर जाएं (जो हमसे 10 किमी दूर है, और यह सड़क अच्छी है) कार से या पैदल जाएं। और फिर, इस विकल्प के बाद, हमारे पास विकल्प हैं - सावधानी से आगे बढ़ें या प्रत्येक स्तंभ में क्रैश करने का प्रयास करें।

व्यक्ति तुरंत कहेगा कि आमतौर पर कार चलाना बेहतर है और सावधानी से व्यवहार करें।

लेकिन SARSA ... वह देखेगा कि कार से जाने का फैसला पहले क्या हुआ था। लेकिन इसने इसे आगे बढ़ाया। आँकड़ों के शुरुआती सेट के चरण में, AI ने लापरवाही बरती और आधे मामलों में कहीं दुर्घटनाग्रस्त हो गया। हां, वह अच्छा ड्राइव कर सकता है। लेकिन जब वह चुनता है कि क्या कार से जाना है, तो उसे नहीं पता कि वह अगले कदम का चयन करेगा। उसके पास आंकड़े हैं - फिर आधे मामलों में उसने उपयुक्त विकल्प चुना, और आधे में - आत्मघाती। इसलिए, औसतन, चलना बेहतर है।

SARSA का मानना ​​है कि एजेंट उसी रणनीति का पालन करेगा जिसका इस्तेमाल टेबल को आबाद करने के लिए किया गया था। और इस आधार पर कार्य करता है। लेकिन क्या होगा अगर हम अन्यथा मान लेते हैं - कि एजेंट अगली चाल में सबसे अच्छी रणनीति का पालन करेगा?

क्यू-लर्निंग

यह मॉडल प्रत्येक राज्य के लिए अधिकतम प्राप्य कुल इनाम से गणना करता है। और वह इसे एक विशेष कॉलम Q में लिखता है। अर्थात, यदि S से अवस्था में आप 2 अंक या 1 प्राप्त कर सकते हैं, तो चाल पर निर्भर करता है, तो Q (S) 2 के बराबर होगा (1 की भविष्यवाणी गहराई के साथ)। राज्य एस से क्या इनाम प्राप्त किया जा सकता है, हम भविष्यवाणी मॉडल वाई (एस, ए) से सीखते हैं। (एस - राज्य, ए - कार्रवाई)।

फिर हम एक अनुमानित मॉडल क्यू (एस, ए) बनाते हैं - अर्थात, यदि हम एस से कार्रवाई ए करते हैं और तालिका में अगला कॉलम - Q2 बनाते हैं, तो राज्य किस स्थिति में जाएगा। यही है, अधिकतम क्यू जो राज्य एस से प्राप्त किया जा सकता है (हम सभी संभव ए के माध्यम से सॉर्ट करते हैं)।

फिर हम एक प्रतिगमन मॉडल Q3 (एस, ए) बनाते हैं - अर्थात, जिस स्थिति में हम एस के साथ ए का प्रदर्शन करते हैं, तो हम जिस राज्य में जाएंगे वहां Q2।

और इसी तरह। इस प्रकार, हम पूर्वानुमान की असीमित गहराई प्राप्त कर सकते हैं।



तस्वीर में, आर सुदृढीकरण है।

और फिर हर कदम हम उस कार्रवाई का चयन करते हैं जो सबसे बड़ी Qn का वादा करती है। यदि हम इस एल्गोरिथ्म को शतरंज में लागू करते हैं, तो हमें एक आदर्श मिनीमैक्स जैसा कुछ मिलेगा। मिसकल्चुलेटिंग के लगभग बराबर कुछ चीजें बड़ी गहराई तक जाती हैं।

क्ष-शिक्षण व्यवहार का एक सामान्य उदाहरण। शिकारी के पास एक भाला है, और वह अपनी पहल पर भालू के साथ जाता है। वह जानता है कि उसके भविष्य के कदमों के अधिकांश हिस्से में एक बहुत बड़ा नकारात्मक इनाम है (जीतने के तरीकों की तुलना में हारने के बहुत अधिक तरीके हैं), वह जानता है कि सकारात्मक इनाम के साथ चालें हैं। शिकारी का मानना ​​है कि भविष्य में वह सबसे अच्छी चालें बनाएगा (और यह ज्ञात नहीं है कि SARSA में कौन पसंद करता है), और यदि वह सबसे अच्छी चाल बनाता है, तो वह भालू को हरा देगा। अर्थात्, भालू के पास जाने के लिए, उसे शिकार बनाने के लिए आवश्यक हर तत्व को बनाने में सक्षम होने के लिए पर्याप्त है, लेकिन तत्काल सफलता का अनुभव होना आवश्यक नहीं है।

यदि शिकारी ने SARSA शैली में अभिनय किया, तो वह मान लेगा कि भविष्य में उसके कार्य पहले की तरह ही होंगे (इस तथ्य के बावजूद कि उसके पास अब ज्ञान का एक अलग सामान है), और वह केवल तभी भालू के पास जाएगा यदि वह पहले से ही चला गया हो और वह जीता, उदाहरण के लिए,> 50% मामलों में (अच्छी तरह से, या यदि अन्य शिकारी आधे से अधिक मामलों में जीते, अगर वह अपने अनुभव से सीखता है)।

नुकसान क्या हैं?

1. मॉडल बदलती वास्तविकता के साथ सामना नहीं करता है। यदि हमारा पूरा जीवन हमें लाल बटन दबाने के लिए दिया गया है, और अब वे हमें दंडित कर रहे हैं, और कोई भी दृश्य परिवर्तन नहीं हुआ है ... QL इस पैटर्न को बहुत लंबे समय तक बनाए रखेगा।
2. Qn एक बहुत ही जटिल कार्य हो सकता है। उदाहरण के लिए, इसकी गणना करने के लिए, आपको एन पुनरावृत्तियों के एक चक्र को स्क्रॉल करने की आवश्यकता है - और यह तेजी से काम नहीं करेगा। एक पूर्वानुमान मॉडल में आमतौर पर सीमित जटिलता होती है - यहां तक ​​कि एक बड़े तंत्रिका नेटवर्क में एक जटिलता सीमा होती है, और लगभग कोई भी मशीन सीखने वाला मॉडल चक्र को घुमा नहीं सकता है।
3. वास्तविकता में आमतौर पर छिपे हुए चर होते हैं। उदाहरण के लिए, अब क्या समय है? यह पता लगाना आसान है कि क्या हम घड़ी को देखते हैं, लेकिन जैसे ही हम दूर देखते हैं, यह पहले से ही छिपा हुआ चर है। इन अप्रचलित मूल्यों को ध्यान में रखने के लिए, यह आवश्यक है कि मॉडल न केवल वर्तमान स्थिति को ध्यान में रखता है, बल्कि किसी प्रकार का इतिहास भी है। QL में, आप ऐसा कर सकते हैं - उदाहरण के लिए, न केवल वर्तमान S को, बल्कि कई पिछले वाले को भी न्यूरॉन-या-क्या-पर-हम-वहां खिलाने के लिए। यह आरएल में किया जाता है, जो अटारी गेम खेलता है। इसके अलावा, आप पूर्वानुमान के लिए एक आवर्तक तंत्रिका नेटवर्क का उपयोग कर सकते हैं - इसे इतिहास के कई फ्रेमों पर क्रमिक रूप से चलाने दें और Qn की गणना करें।

मॉडल आधारित प्रणाली

लेकिन क्या होगा यदि हम न केवल आर या क्यू, बल्कि आमतौर पर सभी संवेदी डेटा की भविष्यवाणी करते हैं? हमारे पास लगातार वास्तविकता की एक पॉकेट कॉपी होगी और हम इस पर अपनी योजनाओं की जांच कर पाएंगे। इस मामले में, हम क्यू-फ़ंक्शन की गणना की कठिनाई के बारे में बहुत कम चिंतित हैं। हां, गणना करने के लिए बहुत सी घड़ियों की आवश्यकता होती है - ठीक है, इसलिए वैसे भी, प्रत्येक योजना के लिए, हम बार-बार पूर्वानुमान मॉडल चलाएंगे। योजना 10 आगे बढ़ी? हम मॉडल को 10 बार लॉन्च करते हैं, और हर बार हम इसके आउटपुट को इसके इनपुट में फीड करते हैं।

नुकसान क्या हैं?

1. संसाधन की तीव्रता। मान लें कि हमें प्रत्येक उपाय पर दो विकल्पों का चुनाव करने की आवश्यकता है। फिर 10 घड़ी चक्रों के लिए हमारे पास 2 ^ 10 = 1024 संभव योजनाएं होंगी। प्रत्येक योजना 10 मॉडल लॉन्च है। यदि हम दर्जनों शासी निकायों के साथ एक हवाई जहाज को नियंत्रित करते हैं? और क्या हम 0.1 सेकंड की अवधि के साथ वास्तविकता का अनुकरण करते हैं? क्या आप कम से कम कुछ मिनटों के लिए एक नियोजन क्षितिज रखना चाहते हैं? हमें कई बार मॉडल चलाना होगा, एक समाधान के लिए बहुत सारे प्रोसेसर घड़ी चक्र हैं। यहां तक ​​कि अगर आप किसी भी तरह योजनाओं की गणना का अनुकूलन करते हैं, तो सभी, QL की तुलना में अधिक गणना के आदेश हैं।
2. अराजकता की समस्या। कुछ प्रणालियों को डिज़ाइन किया गया है ताकि इनपुट सिमुलेशन की एक छोटी सी अशुद्धि भी एक बड़ी आउटपुट त्रुटि की ओर ले जाए। इसका मुकाबला करने के लिए, आप वास्तविकता के कई सिमुलेशन चला सकते हैं - थोड़ा अलग। वे बहुत अलग परिणाम देंगे, और इससे यह समझना संभव होगा कि हम इस तरह की अस्थिरता के क्षेत्र में हैं।

रणनीति गणना विधि

यदि हमारे पास एआई के लिए परीक्षण वातावरण तक पहुंच है, अगर हम इसे वास्तविकता में नहीं, बल्कि एक सिमुलेशन में चलाते हैं, तो हम अपने एजेंट के व्यवहार की रणनीति को किसी रूप में लिख सकते हैं। और फिर चुनें - विकास या कुछ और के साथ - ऐसी रणनीति जो अधिकतम लाभ की ओर ले जाती है।
"एक रणनीति चुनें" का अर्थ है कि हमें पहले यह जानने की ज़रूरत है कि रणनीति को इस तरह से कैसे लिखा जाए कि इसे विकास एल्गोरिथम में धकेला जा सके। यही है, हम कार्यक्रम कोड के साथ रणनीति लिख सकते हैं, लेकिन कुछ जगहों पर गुणांक छोड़ देते हैं, और विकास को उन्हें लेने देते हैं। या हम एक तंत्रिका नेटवर्क के साथ एक रणनीति लिख सकते हैं - और विकास को अपने कनेक्शनों के भार को लेने दें।

यानी यहां कोई पूर्वानुमान नहीं है। कोई SAR टेबल नहीं। हम बस एक रणनीति का चयन करते हैं, और यह तुरंत कार्रवाई करता है।

यह एक शक्तिशाली और प्रभावी तरीका है, यदि आप आरएल की कोशिश करना चाहते हैं और यह नहीं जानते हैं कि कहां से शुरू करना है, तो मैं इसकी सलाह देता हूं। यह "एक चमत्कार देखने" का एक बहुत ही सस्ता तरीका है।

नुकसान क्या हैं?

1. कई बार समान प्रयोगों को चलाने की क्षमता की आवश्यकता होती है। यही है, हमें वास्तविकता को शुरुआती बिंदु पर लाने में सक्षम होना चाहिए - हजारों बार। नई रणनीति आज़माने के लिए।
   
   जीवन शायद ही कभी ऐसे अवसर प्रदान करता है। आमतौर पर, अगर हमारे पास उस प्रक्रिया का एक मॉडल है जिसमें हम रुचि रखते हैं, तो हम एक चालाक रणनीति नहीं बना सकते हैं - हम बस एक योजना बना सकते हैं, जैसा कि मॉडल-आधारित दृष्टिकोण में, यहां तक ​​कि कुंद बल बल के साथ भी।
2. अनुभव करने के लिए असहिष्णुता। क्या हमारे पास वर्षों के अनुभव के लिए SAR तालिका है? हम इसके बारे में भूल सकते हैं, यह अवधारणा में फिट नहीं होता है।

रणनीतियों की गणना करने की एक विधि, लेकिन "लाइव"

रणनीतियों की एक ही गणना, लेकिन जीवित वास्तविकता पर। हम एक रणनीति के 10 उपाय आजमाते हैं। फिर 10 दूसरा उपाय। फिर तीसरे के 10 उपाय। फिर हम उसी का चयन करते हैं जहां अधिक सुदृढीकरण था।
पैदल चलने के मानवों के लिए सबसे अच्छा परिणाम इस विधि द्वारा प्राप्त किया गया था।



मेरे लिए, यह कुछ अप्रत्याशित लगता है - ऐसा लगता है कि QL + मॉडल-आधारित दृष्टिकोण गणितीय रूप से आदर्श है। लेकिन ऐसा कुछ भी नहीं है। दृष्टिकोण के फायदे लगभग पिछले वाले के समान हैं - लेकिन वे कम स्पष्ट हैं, क्योंकि रणनीतियों का परीक्षण बहुत लंबे समय तक नहीं किया जाता है (ठीक है, हम विकास पर सहस्राब्दी नहीं हैं), जिसका अर्थ है कि परिणाम अस्थिर हैं। इसके अलावा, परीक्षणों की संख्या भी, अनंत तक नहीं पहुंचाई जा सकती - जिसका अर्थ है कि रणनीति को विकल्पों के बहुत जटिल स्थान में नहीं तलाशना होगा। न केवल उसके पास "पेन" होगा जो कि "मुड़" हो सकता है। खैर, अनुभव असहिष्णुता को रद्द नहीं किया गया है। और, क्यूएल या मॉडल-आधारित की तुलना में, ये मॉडल अक्षम रूप से अनुभव का उपयोग करते हैं। उन्हें मशीन लर्निंग का उपयोग करने वाले दृष्टिकोणों की तुलना में वास्तविकता के साथ बहुत अधिक इंटरैक्शन की आवश्यकता होती है।

जैसा कि आप देख सकते हैं, सिद्धांत में एक एजीआई बनाने के किसी भी प्रयास में या तो पुरस्कार सीखने के लिए मशीन लर्निंग होना चाहिए, या किसी रणनीति के पैरामीट्रिक नोटेशन का कोई रूप - ताकि आप इस रणनीति को विकास जैसी किसी चीज के साथ उठा सकें।

यह उन लोगों के प्रति एक मजबूत हमला है जो डेटाबेस, तर्क और वैचारिक रेखांकन के आधार पर AI बनाने की पेशकश करते हैं। यदि आप, प्रतीकात्मक दृष्टिकोण के प्रस्तावकों, इसे पढ़ें - टिप्पणियों में आपका स्वागत है, मुझे यह जानकर खुशी होगी कि एजीआई ऊपर बताए गए मैकेनिकों के बिना क्या कर सकता है।

आरएल के लिए मशीन लर्निंग मॉडल

लगभग किसी भी एमएल मॉडल का उपयोग प्रबलित शिक्षण के लिए किया जा सकता है। तंत्रिका नेटवर्क, निश्चित रूप से, अच्छे हैं। लेकिन उदाहरण के लिए, KNN है। प्रत्येक जोड़ी एस और ए के लिए, हम सबसे समान लोगों की तलाश करते हैं, लेकिन अतीत में। और हम देख रहे हैं कि उसके बाद आर। स्टूपिड क्या होगा? हां, लेकिन यह काम करता है। निर्णायक पेड़ हैं - यहां "ग्रेडिंग बूस्टिंग" और "निर्णायक वन" कीवर्ड पर चलना बेहतर है। क्या पेड़ जटिल निर्भरता पर कब्जा करने में गरीब हैं? एंगेजिंग का उपयोग करें। क्या आपका AI जनरल के करीब है? स्वचालित FE का उपयोग करें! विभिन्न फॉर्मूलों के एक समूह के माध्यम से जाएं, उन्हें अपने बढ़ावा देने के लिए सुविधाओं के रूप में जमा करें, उन सूत्रों को छोड़ दें जो त्रुटि को बढ़ाते हैं, और उन सूत्रों को छोड़ देते हैं जो सटीकता में सुधार करते हैं। फिर नए फ़ार्मुलों के तर्क के रूप में सर्वश्रेष्ठ फ़ार्मुलों को जमा करें, और इसी तरह, विकसित हों।

आप पूर्वानुमान के लिए प्रतीकात्मक रजिस्ट्रियों का उपयोग कर सकते हैं - अर्थात, बस कुछ प्राप्त करने के प्रयास में सूत्रों को छाँटना है जो Q या R को अनुमानित करता है। एल्गोरिथम को छाँटने का प्रयास करना संभव है - फिर आपको सोलोमोनोव के इंडक्शन नामक एक चीज़ मिलती है, जो सैद्धांतिक रूप से इष्टतम है, लेकिन प्रशिक्षण के लिए लगभग बहुत मुश्किल है। कार्यों का अनुमान।

लेकिन तंत्रिका नेटवर्क आमतौर पर अभिव्यक्ति और सीखने की जटिलता के बीच एक समझौता है। एल्गोरिदम प्रतिगमन सैकड़ों वर्षों के लिए आदर्श रूप से किसी भी निर्भरता को चुनता है। निर्णय पेड़ बहुत तेज़ी से काम करेगा - लेकिन यह y = a + b को एक्सट्रपलेट करने में सक्षम नहीं होगा। एक तंत्रिका नेटवर्क बीच में कुछ है।

विकास की संभावनाएं

अब बिल्कुल एजीआई करने के तरीके क्या हैं? कम से कम सैद्धांतिक रूप से।

विकास

हम कई अलग-अलग परीक्षण वातावरण बना सकते हैं और कुछ तंत्रिका नेटवर्क के विकास को शुरू कर सकते हैं। , .

, .

, - RL, , . , RL — — « - , , !». — .

AIXI

Model-Based , . — , , . — , . , . , , — .

. , — , .

Seed AI

, . . , , . … ? .

?

, RL actions RL.
RL - - . RL , , .

— , actions .

Seed AI — . ? , ?

, Google, DeepMind . , .

, =) , « , AGI»!