लेख के लेखकों में डीपमाइंड कंपनी की कृत्रिम बुद्धिमत्ता (सेफ्टी टीम) के कर्मचारी हैं।

रॉकेट का निर्माण कठिन है। प्रत्येक घटक को सावधानीपूर्वक अध्ययन और परीक्षण की आवश्यकता होती है, जबकि सुरक्षा और विश्वसनीयता कोर पर होती है। रॉकेट वैज्ञानिक और इंजीनियर सभी प्रणालियों को डिजाइन करने के लिए एक साथ आते हैं: नेविगेशन से लेकर नियंत्रण, इंजन और चेसिस तक। एक बार जब सभी भागों को इकट्ठा किया जाता है और सिस्टम की जाँच की जाती है, तभी हम अंतरिक्ष यात्रियों को इस विश्वास के साथ रख सकते हैं कि सब कुछ ठीक हो जाएगा।

यदि कृत्रिम बुद्धिमत्ता (एआई) एक रॉकेट है , तो किसी दिन हम सभी को बोर्ड पर टिकट मिलेंगे। और, रॉकेट की तरह, सुरक्षा कृत्रिम बुद्धिमत्ता प्रणाली बनाने का एक महत्वपूर्ण हिस्सा है। सुरक्षा को खरोंच से सावधान प्रणाली के डिजाइन की आवश्यकता होती है ताकि यह सुनिश्चित हो सके कि विभिन्न घटक एक साथ काम करते हैं, जबकि एक ही समय में इसके चालू होने के बाद सिस्टम के सफल संचालन की निगरानी के लिए सभी उपकरण बनाते हैं।

उच्च स्तर पर, दीपमिन्द में सुरक्षा अनुसंधान संभव अल्पकालिक और दीर्घकालिक जोखिमों का पता लगाने और कम करने के दौरान विश्वसनीय प्रणालियों को डिजाइन करने पर केंद्रित है। एआई की तकनीकी सुरक्षा एक अपेक्षाकृत नया लेकिन तेजी से विकासशील क्षेत्र है, जिसकी सामग्री उच्च सैद्धांतिक स्तर से आनुभविक और विशिष्ट अनुसंधान तक भिन्न होती है। इस ब्लॉग का उद्देश्य क्षेत्र के विकास में योगदान देना और तकनीकी विचारों के बारे में एक महत्वपूर्ण बातचीत को प्रोत्साहित करना है, जिससे एआई सुरक्षा की हमारी सामूहिक समझ को बढ़ावा मिलता है।

पहले लेख में, हम एआई तकनीकी सुरक्षा के तीन क्षेत्रों पर चर्चा करेंगे: विनिर्देशों , विश्वसनीयता और वारंटी । भविष्य के लेख आम तौर पर यहां उल्लिखित सीमाओं के अनुरूप होंगे। यद्यपि हमारे विचार समय के साथ अनिवार्य रूप से बदल जाते हैं, हम मानते हैं कि ये तीन क्षेत्र वर्तमान और भविष्य के अनुसंधान के लिए उपयोगी वर्गीकरण प्रदान करने के लिए पर्याप्त व्यापक स्पेक्ट्रम को कवर करते हैं।


एआई सुरक्षा के तीन समस्या क्षेत्र। प्रत्येक ब्लॉक कुछ प्रासंगिक मुद्दों और दृष्टिकोणों को सूचीबद्ध करता है। ये तीन क्षेत्र अलग-थलग नहीं हैं, बल्कि एक-दूसरे के साथ बातचीत करते हैं। विशेष रूप से, एक विशेष सुरक्षा समस्या में कई ब्लॉक समस्याएं शामिल हो सकती हैं।

विनिर्देशों: सिस्टम कार्यों को परिभाषित करना

विनिर्देशों को सुनिश्चित करना है कि एआई प्रणाली का व्यवहार ऑपरेटर के सच्चे इरादों के अनुरूप है

शायद आप राजा मिदास के मिथक और सुनहरे स्पर्श को जानते हैं। एक विकल्प में, ग्रीक देव डायोनिसस ने मिदास को अपनी इच्छा के अनुसार कोई भी इनाम देने का वादा किया, इस तथ्य के लिए कि राजा ने डायोनिसस के दोस्त को आतिथ्य और दया दिखाने की पूरी कोशिश की। तब मिदास ने पूछा कि वह जो कुछ भी छूता है वह सोने में बदल जाता है । वह इस नई शक्ति से खुशी के साथ खुद को घेर रहा था: एक ओक की शाखा, एक पत्थर और बगीचे में गुलाब - सब कुछ उसके स्पर्श से सोने में बदल गया। लेकिन उसने जल्द ही अपनी इच्छा की मूर्खता का पता लगा लिया: यहां तक ​​कि खाने-पीने की चीजें भी सोने में बदल गईं। कहानी के कुछ संस्करणों में, यहां तक ​​कि उनकी बेटी एक आशीर्वाद का शिकार हुई जो एक अभिशाप बन गई।

यह कहानी विनिर्देशों की समस्या को दर्शाती है: हमारी इच्छाओं को सही ढंग से कैसे तैयार किया जाए? विनिर्देशों को यह सुनिश्चित करना चाहिए कि AI सिस्टम निर्माता की सच्ची इच्छाओं के अनुसार कार्य करने का प्रयास करता है, और खराब परिभाषित या गलत लक्ष्य के लिए भी नहीं चलता है। तीन प्रकार के विनिर्देश औपचारिक रूप से प्रतिष्ठित हैं:

• आदर्श विनिर्देश (" इच्छा "), एक आदर्श एआई प्रणाली का एक काल्पनिक (लेकिन तैयार करने के लिए मुश्किल) के अनुरूप, पूरी तरह से मानव ऑपरेटर की इच्छाओं के अनुरूप है;
• परियोजना विनिर्देश (" ब्लूप्रिंट "), संबंधित विनिर्देश जो हम वास्तव में एक AI सिस्टम बनाने के लिए उपयोग करते हैं, उदाहरण के लिए, एक विशिष्ट पुरस्कार फ़ंक्शन, जिसे अधिकतम करने के लिए एक प्रबलित शिक्षण प्रणाली प्रोग्राम की जाती है;
• पहचान किए गए विनिर्देश (" व्यवहार "), जो सिस्टम के वास्तविक व्यवहार का सबसे अच्छा वर्णन करता है। उदाहरण के लिए, सिस्टम के व्यवहार (उलटा सुदृढीकरण सीखने) के अवलोकन के बाद रिवर्स इंजीनियरिंग के परिणामस्वरूप इनाम समारोह की पहचान की गई। यह इनाम फ़ंक्शन और विनिर्देश आमतौर पर ऑपरेटर द्वारा क्रमादेशित प्रोग्राम से अलग होते हैं क्योंकि एआई सिस्टम आदर्श ऑप्टिमाइज़र नहीं होते हैं या डिज़ाइन विनिर्देश का उपयोग करने के अन्य अप्रत्याशित परिणामों के कारण होते हैं।

विनिर्देश की समस्या तब उत्पन्न होती है जब आदर्श विनिर्देश और पहचाने गए विनिर्देश के बीच एक विसंगति होती है, अर्थात, जब AI सिस्टम वह नहीं करता है जो हम उससे चाहते हैं। एआई की तकनीकी सुरक्षा के दृष्टिकोण से समस्या का अध्ययन करने का मतलब है: यदि लक्ष्यों को परिभाषित नहीं किया गया है, तो अधिक मौलिक और सामान्य लक्ष्य कार्यों और सहायता एजेंटों को कैसे डिज़ाइन किया जाए? यदि समस्याएं आदर्श और डिज़ाइन विनिर्देशों के बीच एक बेमेल को जन्म देती हैं, तो वे "डिज़ाइन" उपश्रेणी में आते हैं, और यदि डिज़ाइन और पहचान वाले के बीच, तो "इमर्जेशन" उपश्रेणी में।

उदाहरण के लिए, हमारे वैज्ञानिक लेख एआई सेफ्टी ग्रिडवोरस (जो इस आलेख की तुलना में विशिष्टताओं और विश्वसनीयता समस्याओं की अलग-अलग परिभाषा प्रदान करता है) में, हम एजेंटों को अनुकूलन के लिए एक इनाम समारोह देते हैं, लेकिन फिर हम "सुरक्षा प्रदर्शन समारोह" द्वारा उनके वास्तविक प्रदर्शन का मूल्यांकन करते हैं, जो एजेंटों से छिपा हुआ है। इस तरह की एक प्रणाली संकेतित अंतरों को मॉडल करती है: सुरक्षा फ़ंक्शन एक आदर्श विनिर्देश है, जिसे गलत तरीके से एक इनाम फ़ंक्शन (डिज़ाइन विनिर्देश) के रूप में तैयार किया जाता है, और फिर एजेंटों द्वारा एक विनिर्देशन बनाकर कार्यान्वित किया जाता है, जो उनकी परिणामी नीति के माध्यम से प्रकट होता है।


जंगली में OpenAI के दोषपूर्ण इनाम कार्यों से : एक सुदृढीकरण सीखने वाले एजेंट को अधिक अंक के लिए एक यादृच्छिक रणनीति मिली

एक अन्य उदाहरण के रूप में, कोस्टारनर्स गेम पर विचार करें, जिसका विश्लेषण OpenAI में हमारे सहयोगियों द्वारा किया गया था ("दोषपूर्ण वन्यजीव पुरस्कार कार्यों से ऊपर का एनीमेशन देखें")। हम में से अधिकांश के लिए, खेल का लक्ष्य ट्रैक को जल्दी खत्म करना और अन्य खिलाड़ियों से आगे निकलना है - यह हमारा आदर्श विनिर्देश है। हालांकि, इस लक्ष्य को सटीक पुरस्कार समारोह में अनुवाद करना मुश्किल है, इसलिए मार्ग के किनारे गोल मारने के लिए कोस्टारनर्स खिलाड़ियों (डिज़ाइन विनिर्देश) को पुरस्कृत करते हैं। सुदृढीकरण प्रशिक्षण के साथ खेलने के लिए एक एजेंट को प्रशिक्षित करने से अद्भुत व्यवहार होता है: एजेंट रेस को समाप्त करने के बजाय बार-बार दुर्घटनाग्रस्त होने, बार-बार दुर्घटनाग्रस्त होने और आग पकड़ने के चक्कर में नाव को नियंत्रित करता है। इस व्यवहार से, हम निष्कर्ष निकालते हैं (विनिर्देशन की पहचान) कि खेल में तात्कालिक इनाम और पूर्ण चक्र इनाम के बीच संतुलन टूट जाता है। ऐसे ही कई और उदाहरण हैं जहाँ AI सिस्टम अपने उद्देश्य विनिर्देश में खामियों का पता लगाता है।

विश्वसनीयता, डिजाइनिंग सिस्टम जो उल्लंघन का विरोध करते हैं

विश्वसनीयता सुनिश्चित करती है कि व्यवधान की स्थिति में AI सिस्टम सुरक्षित रूप से काम करता रहे

वास्तविक परिस्थितियों में, जहां AI सिस्टम काम करता है, वहाँ हमेशा एक निश्चित स्तर का जोखिम, अप्रत्याशितता और अस्थिरता होती है। आर्टिफिशियल इंटेलिजेंस सिस्टम को अप्रत्याशित घटनाओं और शत्रुतापूर्ण हमलों के लिए प्रतिरोधी होना चाहिए जो इन प्रणालियों को नुकसान पहुंचा सकते हैं या उनमें हेरफेर कर सकते हैं। कृत्रिम बुद्धिमत्ता प्रणालियों के विश्वसनीयता अध्ययन का उद्देश्य यह सुनिश्चित करना है कि हमारे एजेंट सुरक्षित सीमाओं के भीतर रहें, चाहे वे उभरती परिस्थितियों की परवाह न करें। यह जोखिम ( रोकथाम ) या आत्म-स्थिरीकरण और चिकनी गिरावट ( वसूली ) से बचने के द्वारा प्राप्त किया जा सकता है। वितरण संबंधी बदलाव , शत्रुतापूर्ण आदानों (प्रतिकूल आदानों) और असुरक्षित अन्वेषण (असुरक्षित अन्वेषण) से उत्पन्न सुरक्षा समस्याओं को विश्वसनीयता समस्याओं के रूप में वर्गीकृत किया जा सकता है।

डिस्ट्रीब्यूशन शिफ्ट की समस्या के समाधान का वर्णन करने के लिए, एक घर की सफाई करने वाले रोबोट पर विचार करें जो आमतौर पर पालतू जानवरों के बिना कमरे को साफ करता है। तब रोबोट को पालतू जानवरों के साथ घर में लॉन्च किया गया था - और सफाई के दौरान कृत्रिम बुद्धि इसके साथ टकरा गई थी। एक रोबोट जिसने बिल्लियों और कुत्तों को पहले कभी नहीं देखा है, वह इसे साबुन से धोएगा, जिससे अवांछनीय परिणाम होंगे ( अमोडी और ओलाह एट अल। 2016 )। यह एक विश्वसनीयता समस्या का एक उदाहरण है जो परीक्षण के दौरान डेटा के वितरण के प्रशिक्षण के दौरान वितरण से भिन्न होता है।


एआई सेफ्टी ग्रिडवोरस के काम से। एजेंट लावा से बचने के लिए सीखता है, लेकिन एक नई स्थिति में परीक्षण करते समय, जब लावा का स्थान बदल गया है, वह ज्ञान को सामान्य करने में सक्षम नहीं है - और लावा में सही चलता है

शत्रुतापूर्ण इनपुट एक वितरण शिफ्ट का एक विशिष्ट मामला है जहां इनपुट डेटा को विशेष रूप से AI सिस्टम को ट्रिक करने के लिए डिज़ाइन किया गया है।


साधारण छवियों पर आरोपित एक शत्रुतापूर्ण प्रविष्टि क्लासिफायर को स्लॉथ को रेस कार के रूप में पहचानने का कारण बन सकती है। प्रत्येक पिक्सेल में दो चित्र अधिकतम 0.0078 भिन्न होते हैं। पहले को 99% से अधिक की संभावना के साथ तीन-उँगलियों वाले स्लॉथ के रूप में वर्गीकृत किया गया है। दूसरी - 99% से अधिक की संभावना वाली रेस कार की तरह

असुरक्षित अनुसंधान को एक प्रणाली द्वारा प्रदर्शित किया जा सकता है जो अपने प्रदर्शन और लक्ष्यों को अधिकतम करने की गारंटी देता है कि अध्ययन के दौरान सुरक्षा से समझौता नहीं किया जाएगा, क्योंकि यह अपने वातावरण में सीखता है और जांचता है। एक उदाहरण एक रोबोट क्लीनर है जो एक गीले एमओपी को बिजली के आउटलेट में डालता है, जिसमें अधिकतम सफाई रणनीतियों ( गार्सिया और फर्नाज़ , 2015 , अमोडी और ओलाह एट अल।, 2016 ) का अध्ययन किया जाता है।

गारंटी: निगरानी और सिस्टम गतिविधि का नियंत्रण

आश्वासन देता है कि हम ऑपरेशन के दौरान एआई सिस्टम को समझने और नियंत्रित करने में सक्षम हैं

हालाँकि सावधानीपूर्वक सोची-समझी सुरक्षा सावधानियां कई जोखिमों को खत्म कर सकती हैं, लेकिन शुरुआत से ही सब कुछ करना मुश्किल है। एआई सिस्टम के चालू होने के बाद, हमें उनकी निरंतर निगरानी और कॉन्फ़िगरेशन के लिए उपकरणों की आवश्यकता होती है। हमारी अंतिम श्रेणी, आश्वासन, इन मुद्दों को दो दृष्टिकोणों से संबोधित करता है: निगरानी और लागू करना।

मॉनिटरिंग में मानव निरीक्षण (सारांश आँकड़े) का उपयोग करके और स्वचालित निरीक्षण (लॉग की एक बड़ी संख्या का विश्लेषण करने के लिए) दोनों का उपयोग करके, उनके व्यवहार का विश्लेषण और भविष्यवाणी करने के लिए जाँच प्रणालियों के सभी तरीके शामिल हैं। दूसरी ओर, सबमिशन में नियंत्रण तंत्र का विकास और प्रणालियों के व्यवहार पर प्रतिबंध शामिल है। व्याख्या और असंतोष जैसी समस्याएं क्रमशः नियंत्रण और सबमिशन की उपश्रेणियों से संबंधित हैं।

आर्टिफिशियल इंटेलिजेंस सिस्टम हमारे दिखने में या डेटा प्रोसेस करने के तरीके के समान नहीं हैं। इससे व्याख्यात्मक समस्याएं पैदा होती हैं। अच्छी तरह से डिजाइन किए गए माप उपकरण और प्रोटोकॉल आपको कृत्रिम बुद्धिमत्ता प्रणाली ( दोशी-वेलेज़ और किम, 2017 ) द्वारा किए गए निर्णयों की गुणवत्ता का मूल्यांकन करने की अनुमति देते हैं। उदाहरण के लिए, एक मेडिकल आर्टिफिशियल इंटेलिजेंस सिस्टम आदर्श रूप से एक निदान के साथ-साथ यह भी बताएगा कि यह निष्कर्ष कैसे आया - ताकि डॉक्टर शुरुआत से अंत तक तर्क प्रक्रिया की जांच कर सकें ( डे फौव एट अल।, 2018 )। इसके अलावा, अधिक जटिल कृत्रिम बुद्धिमत्ता प्रणालियों को समझने के लिए, हम मन के मशीन सिद्धांत का उपयोग करके व्यवहार मॉडल के निर्माण के लिए स्वचालित तरीकों का भी उपयोग कर सकते हैं ( Rabinowitz et al, 2018 )।


ToMNet एजेंटों की दो उप-प्रजाति का पता लगाता है और उनके व्यवहार की भविष्यवाणी करता है ( "मशीन थ्योरी ऑफ़ माइंड" ) से

अंत में, हम यदि आवश्यक हो तो AI सिस्टम को अक्षम करने में सक्षम होना चाहते हैं। यह एक अड़चन समस्या है। एक विश्वसनीय स्विच डिजाइन करना बहुत मुश्किल है: उदाहरण के लिए, क्योंकि इनाम को अधिकतम करने वाली एक AI प्रणाली में आमतौर पर इसे रोकने के लिए मजबूत प्रोत्साहन होता है ( Hadfield-Menell et al।, 2017 ); और क्योंकि इस तरह के रुकावट, विशेष रूप से अक्सर वाले, अंततः मूल कार्य को बदलते हैं, एआई प्रणाली को अनुभव से गलत निष्कर्ष निकालने के लिए मजबूर करते हैं ( ओर्सो और आर्मस्ट्रांग, 2016 )।


रुकावटों के साथ समस्या: मानव हस्तक्षेप (यानी, स्टॉप बटन दबाने) कार्य को बदल सकता है। आकृति में, मार्कोव निर्णय लेने की प्रक्रिया में व्यवधान एक संक्रमण (लाल रंग में) जोड़ता है, जो मूल कार्य (काले रंग में) को बदल देता है। ऑर्सेउ और आर्मस्ट्रांग, 2016 देखें

भविष्य की तलाश में

हम उस प्रौद्योगिकी की नींव का निर्माण कर रहे हैं जिसका उपयोग भविष्य में कई महत्वपूर्ण अनुप्रयोगों के लिए किया जाएगा। यह ध्यान में रखा जाना चाहिए कि कुछ समाधान जो सिस्टम को शुरू करते समय सुरक्षा के लिए महत्वपूर्ण नहीं होते हैं, जब तकनीक व्यापक हो जाती है तो ऐसी हो सकती है। यद्यपि एक समय में इन मॉड्यूल को सुविधा के लिए सिस्टम में एकीकृत किया गया था, लेकिन जो समस्याएं उत्पन्न हुई हैं, उन्हें पूर्ण पुनर्निर्माण के बिना ठीक करना मुश्किल होगा।

कंप्यूटर विज्ञान के इतिहास से दो उदाहरणों का हवाला दिया जा सकता है: यह अशक्त सूचक है, जिसे टोनी होर ने अपनी "अरब डॉलर की त्रुटि" कहा , और सी। में प्राप्त () प्रक्रिया यदि प्रारंभिक प्रोग्रामिंग भाषाओं को सुरक्षा को ध्यान में रखते हुए डिजाइन की गई थी, तो प्रगति धीमी हो जाएगी, लेकिन संभावना है कि आधुनिक सूचना सुरक्षा पर इसका बहुत सकारात्मक प्रभाव पड़ेगा।

अब, सावधानीपूर्वक विचार करने और सब कुछ योजनाबद्ध करने के बाद, हम समान समस्याओं और कमजोरियों से बचने में सक्षम हैं। हम आशा करते हैं कि इस लेख से समस्याओं का वर्गीकरण इस तरह की कार्यप्रणाली के लिए एक उपयोगी आधार के रूप में काम करेगा। हम यह सुनिश्चित करने का प्रयास करते हैं कि भविष्य में AI सिस्टम न केवल "उम्मीद से सुरक्षित" के सिद्धांत पर काम करेगा, बल्कि वास्तव में विश्वसनीय और सत्यापन योग्य होगा, क्योंकि हमने उन्हें इस तरह से बनाया है!

हम व्यापक एआई अनुसंधान समुदाय के साथ निकट सहयोग में, इन क्षेत्रों में रोमांचक प्रगति को जारी रखने के लिए तत्पर हैं, और विभिन्न विषयों के लोगों को एआई सुरक्षा अनुसंधान में योगदान देने पर विचार करने के लिए प्रोत्साहित करते हैं।

साधन

इस विषय पर पढ़ने के लिए, नीचे अन्य लेखों, कार्यक्रमों और टैक्सोनोमी का चयन किया गया है, जिन्होंने हमें हमारे वर्गीकरण को संकलित करने में मदद की है या एआई तकनीकी सुरक्षा मुद्दों पर एक उपयोगी वैकल्पिक रूप प्रदान किया है:

• अनुशंसित सामग्रियों की व्याख्या की गई ग्रंथ सूची (मानव-संगत AI के लिए केंद्र, 2018)
• आर्टिफिशियल जनरल इंटेलिजेंस के लिए सुरक्षा और नियंत्रण (यूसी बर्कले, 2018)
• एआई सुरक्षा संसाधन (विक्टोरिया क्राकोवना, 2018)
• एजीआई सुरक्षा साहित्य की समीक्षा (एवरिट एट अल।, 2018)
• AI के हानिकारक उपयोग की तैयारी (2018)
• AI में विशिष्टता गेमिंग उदाहरण (विक्टोरिया क्राकोवना, 2018)
• एआई संरेखण के लिए दिशा और डिसाइडेराटा (पॉल क्रिस्टियानो, 2017)
• संरेखण अनुसंधान के लिए अनुदान (पॉल क्रिस्टियानो, 2017)
• मानव हितों के साथ मशीन इंटेलिजेंस संरेखित करने के लिए एजेंट नींव: एक तकनीकी अनुसंधान एजेंडा (मशीन इंटेलिजेंस रिसर्च इंस्टीट्यूट, 2017)
• एआई सेफ्टी ग्रिडवर्जेंस ( लीके एट अल।, 2017)
• एआई कंट्रोल प्रॉब्लम और गवर्नेंस प्रॉब्लम (निक बोस्सोम, 2017) के बीच सहभागिता
• उन्नत मशीन लर्निंग सिस्टम (मशीन इंटेलिजेंस रिसर्च इंस्टीट्यूट, 2017) के लिए संरेखण
• एआई सुरक्षा: तीन मानव समस्याएं और एक एआई मुद्दा (स्टुअर्ट आर्मस्ट्रांग, 2017)
• एआई सेफ्टी में ठोस समस्याएं (डारियो अमोडी एट अल, 2016)
• मूल्य सीखने की समस्या (मशीन इंटेलिजेंस रिसर्च इंस्टीट्यूट, 2016)
• मजबूत और लाभकारी AI के लिए शोध प्रश्नों का सर्वेक्षण (भविष्य का जीवन संस्थान, 2015)
• रोबस्ट एंड बेनिफिशियल आर्टिफिशियल इंटेलिजेंस (भविष्य के जीवन संस्थान, 2015 के लिए अनुसंधान प्राथमिकताएं )

• आर्टिफिशियल इंटेलिजेंस
• मशीन सीखने
• Deepmind
• ऐ सुरक्षा