एक विश्वसनीय और सत्यापित एआई बनाना: विनिर्देशों, विश्वसनीय प्रशिक्षण और औपचारिक सत्यापन का अनुपालन

कंप्यूटर प्रोग्रामिंग के युग की शुरुआत से त्रुटियां और सॉफ़्टवेयर हाथ से चले गए। समय के साथ, डेवलपर्स ने तैनात होने से पहले परीक्षण और डिबगिंग कार्यक्रमों के लिए प्रथाओं का एक समूह विकसित किया है, लेकिन ये अभ्यास गहरी शिक्षा के साथ आधुनिक प्रणालियों के लिए उपयुक्त नहीं हैं। आज, मशीन लर्निंग के क्षेत्र में मुख्य अभ्यास को एक विशेष डेटा सेट पर प्रशिक्षण कहा जा सकता है, इसके बाद दूसरे सेट पर सत्यापन किया जा सकता है। इस तरह, आप मॉडल की औसत दक्षता की गणना कर सकते हैं, लेकिन विश्वसनीयता की गारंटी देना भी महत्वपूर्ण है, अर्थात्, सबसे खराब स्थिति में स्वीकार्य दक्षता। इस लेख में, हम प्रशिक्षित भविष्य कहनेवाला मॉडल में त्रुटियों की सही पहचान करने और समाप्त करने के लिए तीन दृष्टिकोणों का वर्णन करते हैं: प्रतिकूल परीक्षण, मजबूत सीखने और औपचारिक सत्यापन ।

MO के साथ सिस्टम परिभाषा के अनुसार हैं, स्थिर नहीं हैं। यहां तक ​​कि एक निश्चित क्षेत्र में किसी व्यक्ति के खिलाफ जीतने वाली प्रणालियां सूक्ष्म अंतर बनाते समय सरल समस्याओं के समाधान का सामना करने में सक्षम नहीं हो सकती हैं। उदाहरण के लिए, छवियों को गड़बड़ी करने की समस्या पर विचार करें: एक तंत्रिका नेटवर्क जो छवियों को लोगों की तुलना में बेहतर वर्गीकृत कर सकता है, यह आसानी से माना जा सकता है कि सुस्ती एक रेस कार है, छवि में सावधानीपूर्वक गणना किए गए शोर के एक छोटे से अंश को जोड़ते हैं।


एक नियमित छवि पर ओवरलेड होने पर इनपुट प्रतिस्पर्धा करना AI को भ्रमित कर सकता है। प्रत्येक पिक्सेल के लिए दो चरम छवियां 0.0078 से अधिक नहीं होती हैं। 99% संभावना के साथ पहले को एक सुस्ती के रूप में वर्गीकृत किया गया है। दूसरा 99% संभावना के साथ एक रेस कार की तरह है।

यह समस्या कोई नई नहीं है। कार्यक्रमों में हमेशा त्रुटियां होती हैं। दशकों से, प्रोग्रामर यूनिट परीक्षण से लेकर औपचारिक सत्यापन तक, तकनीकों का एक प्रभावशाली सरणी प्राप्त कर रहे हैं। पारंपरिक कार्यक्रमों पर, ये विधियां अच्छी तरह से काम करती हैं, लेकिन एमओ मॉडलों के कठोर परीक्षण के लिए इन तरीकों को अपनाना बेहद कठिन है क्योंकि उन मॉडलों में पैमाने और संरचना की कमी होती है जिनमें सैकड़ों लाखों पैरामीटर हो सकते हैं। यह एमओ सिस्टम की विश्वसनीयता सुनिश्चित करने के लिए नए दृष्टिकोण विकसित करने की आवश्यकता का सुझाव देता है।

प्रोग्रामर के दृष्टिकोण से, एक बग कोई भी व्यवहार है जो विनिर्देश को पूरा नहीं करता है, अर्थात, सिस्टम की नियोजित कार्यक्षमता। हमारे एआई अनुसंधान के हिस्से के रूप में, हम यह आकलन करने के लिए तकनीकों का अध्ययन कर रहे हैं कि क्या एमओ सिस्टम न केवल प्रशिक्षण और परीक्षण सेट पर आवश्यकताओं को पूरा करते हैं, बल्कि उन विशिष्टताओं की सूची पर भी हैं जो सिस्टम के वांछित गुणों का वर्णन करते हैं। इन गुणों के बीच इनपुट डेटा में पर्याप्त रूप से छोटे बदलावों का विरोध हो सकता है, सुरक्षा प्रतिबंध जो भयावह विफलताओं को रोकते हैं, या भौतिकी के नियमों के साथ भविष्यवाणियों का अनुपालन करते हैं।

इस लेख में, हम तीन महत्वपूर्ण तकनीकी मुद्दों पर चर्चा करेंगे जो एमओ सिस्टम को एमओ सिस्टम को मजबूत बनाने और मज़बूती से वांछित विनिर्देशों के लिए काम करने में सामना करते हैं:

1. विनिर्देशों के अनुपालन का प्रभावी सत्यापन। हम यह सत्यापित करने के लिए प्रभावी तरीकों का अध्ययन कर रहे हैं कि एमओ सिस्टम उनके गुणों (उदाहरण के लिए, स्थिरता और अदर्शन) के अनुरूप हैं जो डेवलपर और उपयोगकर्ताओं द्वारा उनसे आवश्यक हैं। उन मामलों को खोजने के लिए एक दृष्टिकोण जिसमें एक मॉडल इन गुणों से दूर जा सकता है, सबसे खराब कार्य परिणामों के लिए व्यवस्थित रूप से खोज करना है।
2. विनिर्देशों के लिए प्रशिक्षण एमओ मॉडल। यहां तक ​​कि अगर पर्याप्त मात्रा में प्रशिक्षण डेटा है, तो मानक एमओ एल्गोरिदम अनुमानित मॉडल का उत्पादन कर सकते हैं, जिसका संचालन वांछित विनिर्देशों को पूरा नहीं करता है। हमें प्रशिक्षण एल्गोरिदम को संशोधित करने की आवश्यकता है ताकि वे न केवल प्रशिक्षण डेटा पर अच्छी तरह से काम करें, बल्कि वांछित विनिर्देशों को पूरा करें।
3. वांछित विनिर्देशों के लिए एमओ मॉडल की अनुरूपता का औपचारिक प्रमाण। यह सुनिश्चित करने के लिए एल्गोरिदम विकसित किया जाना चाहिए कि मॉडल सभी संभावित इनपुट डेटा के लिए वांछित विनिर्देशों को पूरा करता है। यद्यपि औपचारिक सत्यापन के क्षेत्र ने कई दशकों तक ऐसे एल्गोरिदम का अध्ययन किया है, इसकी प्रभावशाली प्रगति के बावजूद, ये दृष्टिकोण आधुनिक एमओ सिस्टम के पैमाने के लिए आसान नहीं हैं।

वांछित विनिर्देशों के साथ मॉडल अनुपालन की पुष्टि करें

प्रतिस्पर्धी उदाहरणों का प्रतिरोध नागरिक सुरक्षा की एक काफी अच्छी तरह से अध्ययन की गई समस्या है। किए गए मुख्य निष्कर्षों में से एक मजबूत हमलों के परिणामस्वरूप नेटवर्क की क्रियाओं के मूल्यांकन का महत्व है, और पारदर्शी मॉडल का विकास जो काफी प्रभावी ढंग से विश्लेषण किया जा सकता है। हमने, अन्य शोधकर्ताओं के साथ, पाया है कि कई मॉडल कमजोर, प्रतिस्पर्धी उदाहरणों के खिलाफ प्रतिरोधी साबित होते हैं। हालांकि, वे मजबूत प्रतिस्पर्धी उदाहरणों के लिए लगभग 0% सटीकता प्रदान करते हैं ( एटहाली एट अल।, 2018 , उसाटो एट अल।, 2018 , कार्लिनी और वैगनर, 2017 )।

यद्यपि अधिकांश कार्य एक शिक्षक के साथ शिक्षण के संदर्भ में दुर्लभ विफलताओं पर केंद्रित है (और यह मुख्य रूप से छवियों का वर्गीकरण है), इन विचारों के आवेदन को अन्य क्षेत्रों में विस्तारित करने की आवश्यकता है। विनाशकारी असफलताओं को खोजने के लिए एक प्रतिस्पर्धी दृष्टिकोण के साथ हाल के काम में, हम इन विचारों को सुदृढीकरण के साथ प्रशिक्षित नेटवर्क पर परीक्षण करने और उच्च सुरक्षा आवश्यकताओं के साथ स्थानों में उपयोग के लिए डिज़ाइन किए गए हैं। स्वायत्त प्रणालियों को विकसित करने की चुनौतियों में से एक यह है कि चूंकि एक त्रुटि के गंभीर परिणाम हो सकते हैं, यहां तक ​​कि विफलता की एक छोटी संभावना को भी स्वीकार्य नहीं माना जाता है।

हमारा लक्ष्य एक "प्रतिद्वंद्वी" डिजाइन करना है जो इस तरह की त्रुटियों को पहले से पहचानने में मदद करेगा (एक नियंत्रित वातावरण में)। यदि एक विरोधी किसी दिए गए मॉडल के लिए सबसे खराब इनपुट डेटा को प्रभावी ढंग से निर्धारित कर सकता है, तो यह हमें तैनात करने से पहले विफलताओं के दुर्लभ मामलों को पकड़ने की अनुमति देगा। इमेज क्लासिफायर के साथ, कमजोर प्रतिद्वंद्वी के साथ काम करने का मूल्यांकन करने से आपको तैनाती के दौरान सुरक्षा का झूठा एहसास होता है। यह दृष्टिकोण "रेड टीम" [रेड-टीमिंग] की मदद से सॉफ़्टवेयर डेवलपमेंट के समान है - इसमें एक तृतीय-पक्ष डेवलपमेंट टीम शामिल होती है जो कमजोरियों / लगभग का पता लगाने के लिए हमलावरों की भूमिका निभाती है। अनुवाद।], हालांकि, यह घुसपैठियों की वजह से विफलताओं की खोज से परे है, और इसमें स्वाभाविक रूप से होने वाली त्रुटियां भी शामिल हैं, उदाहरण के लिए, अपर्याप्त सामान्यीकरण के कारण।

हमने प्रबलित शिक्षण नेटवर्क के प्रतिस्पर्धी परीक्षण के लिए दो पूरक दृष्टिकोण विकसित किए हैं। पहले में, हम अपेक्षित इनाम को सीधे कम करने के लिए व्युत्पन्न-मुक्त अनुकूलन का उपयोग करते हैं। दूसरे में, हम प्रतिकूल मूल्य के एक कार्य को सीखते हैं, जो कि उन स्थितियों में भविष्यवाणी करता है जिसमें नेटवर्क विफल हो सकता है। तब हम अनुकूलन के लिए इस सीखा फ़ंक्शन का उपयोग करते हैं, सबसे अधिक समस्याग्रस्त इनपुट डेटा का मूल्यांकन करने पर ध्यान केंद्रित करते हैं। ये दृष्टिकोण संभावित एल्गोरिदम के समृद्ध और बढ़ते स्थान का केवल एक छोटा हिस्सा हैं, और हम इस क्षेत्र के भविष्य के विकास में बहुत रुचि रखते हैं।

दोनों दृष्टिकोण पहले से ही यादृच्छिक परीक्षण पर महत्वपूर्ण सुधार दिखा रहे हैं। हमारी पद्धति का उपयोग करते हुए, कुछ ही मिनटों में उन खामियों का पता लगाना संभव है जो पहले पूरे दिन खोजा जाना था, या शायद बिल्कुल भी नहीं पाया जा सकता ( उसाटो एट अल।, 2018 बी )। हमने यह भी पाया कि प्रतिस्पर्धी परीक्षण नेटवर्क के गुणात्मक रूप से भिन्न व्यवहार को प्रकट कर सकता है, जिसकी तुलना यादृच्छिक परीक्षण सेट पर मूल्यांकन से की जा सकती है। विशेष रूप से, हमारी पद्धति का उपयोग करते हुए, हमने पाया कि नेटवर्क जो तीन-आयामी मानचित्र पर अभिविन्यास कार्य करते हैं, और आमतौर पर मानव स्तर पर इसका सामना करते हैं, अप्रत्याशित रूप से सरल लेबिरिंथ ( रुडरमैन एट अल।, 2018 ) में लक्ष्य नहीं पा सकते हैं। हमारा काम उन प्रणालियों को डिजाइन करने की आवश्यकता पर भी जोर देता है जो प्राकृतिक विफलताओं के खिलाफ सुरक्षित हैं, और न केवल प्रतिद्वंद्वियों के।


यादृच्छिक नमूनों पर परीक्षणों का आयोजन, हम लगभग कभी भी विफलता की उच्च संभावना वाले कार्ड नहीं देखते हैं, लेकिन प्रतिस्पर्धी परीक्षण ऐसे कार्डों के अस्तित्व को दर्शाता है। कई दीवारों को हटाने के बाद भी विफलता की संभावना अधिक बनी हुई है, अर्थात, मूल लोगों की तुलना में नक्शे का सरलीकरण।

विशिष्ट मॉडल प्रशिक्षण

प्रतिस्पर्धी परीक्षण उन प्रतिरूपों को खोजने का प्रयास करता है जो विशिष्टताओं का उल्लंघन करते हैं। अक्सर, यह इन विशिष्टताओं के साथ मॉडल की संगतता को कम कर देता है। गणितीय दृष्टिकोण से, विनिर्देश एक प्रकार का संबंध है जिसे नेटवर्क के इनपुट और आउटपुट डेटा के बीच बनाए रखा जाना चाहिए। यह एक ऊपरी और निचली सीमा या कुछ प्रमुख इनपुट और आउटपुट मापदंडों का रूप ले सकता है।

इस अवलोकन से प्रेरित होकर, कई शोधकर्ताओं ( रघुनाथन एट अल।, 2018 ; वोंग एट अल।, 201-16, ओमान एंड एट अल।, 2018 ; वांग एट अल।, 2018 ), हमारी टीम जिसमें दीपमिन्द ( दिविओतोथम एट अल, 2018) शामिल हैं । गोवाल एट अल।, 2018 ), प्रतिस्पर्धी परीक्षण के लिए एल्गोरिदम पर काम किया। इसे ज्यामितीय रूप से वर्णित किया जा सकता है - हम इनपुट के सेट के आधार पर आउटपुट डेटा स्पेस को सीमित करते हुए सबसे खराब विनिर्देश उल्लंघन को सीमित कर सकते हैं ( एहलर्स 2017 , काटज़ एट अल। 2017 , मिरमन एट अल।, 2018 )। यदि यह सीमा नेटवर्क मापदंडों द्वारा भिन्न है और जल्दी से गणना की जा सकती है, तो इसका उपयोग प्रशिक्षण के दौरान किया जा सकता है। फिर, मूल सीमा नेटवर्क की प्रत्येक परत के माध्यम से प्रचार कर सकती है।



हम दिखाते हैं कि अंतराल की सीमा का प्रसार तेज, कुशल है, और - जो पहले सोचा गया था उसके विपरीत - अच्छे परिणाम देता है ( गोवल एट अल।, 2018 )। विशेष रूप से, हम दिखाते हैं कि यह MNIST और CIFAR-10 डेटाबेस से सेट पर सबसे उन्नत छवि क्लासिफायर की तुलना में त्रुटियों की संख्या को कम कर सकता है (यानी, किसी भी प्रतिद्वंद्वी की अधिकतम त्रुटियां जो पैदा कर सकता है)।

अगला लक्ष्य आउटपुट अंतरिक्ष के अत्यधिक सन्निकटन की गणना करने के लिए सही ज्यामितीय सार का अध्ययन करना होगा। हम नेटवर्क को भी प्रशिक्षित करना चाहते हैं ताकि वे अधिक जटिल विशिष्टताओं के साथ मज़बूती से काम करें, जो वांछित व्यवहार का वर्णन करते हैं, जैसे कि पहले उल्लेखित आक्रमण और भौतिक कानूनों का अनुपालन।

औपचारिक सत्यापन

विश्वसनीय एमओ सिस्टम बनाने में पूरी तरह से परीक्षण और प्रशिक्षण से बहुत मदद मिल सकती है। हालाँकि, औपचारिक रूप से स्वैच्छिक रूप से परीक्षण इस बात की गारंटी नहीं दे सकता है कि सिस्टम का व्यवहार हमारी इच्छाओं से मेल खाता है। बड़े पैमाने पर मॉडल में, इनपुट के एक सेट के लिए सभी संभावित आउटपुट विकल्पों की गणना करना (उदाहरण के लिए, मामूली छवि परिवर्तन) संभव छवि परिवर्तनों की खगोलीय संख्या के कारण लागू करना मुश्किल लगता है। हालांकि, प्रशिक्षण के मामले में, कोई भी आउटपुट डेटा के सेट पर ज्यामितीय बाधाओं को स्थापित करने के लिए अधिक प्रभावी दृष्टिकोण पा सकता है। औपचारिक सत्यापन डीपमाइंड में चल रहे शोध का विषय है।

MO समुदाय ने नेटवर्क आउटपुट स्पेस की सटीक ज्यामितीय सीमाओं की गणना के लिए कुछ दिलचस्प विचार विकसित किए हैं (काट्ज़ एट अल। 2017, वेंग एट अल।, 2018 ; सिंह एट अल।, 2018 )। अनुकूलन और द्वंद्व पर आधारित हमारा दृष्टिकोण ( द्विजोत्तम एट अल।, 2018 ), अनुकूलन के संदर्भ में सत्यापन समस्या को तैयार करता है, जो कि परीक्षण की जा रही संपत्ति का सबसे बड़ा उल्लंघन खोजने की कोशिश कर रहा है। यदि अनुकूलन में द्वंद्व से विचारों का उपयोग किया जाता है तो कार्य कम्प्यूटेशनल हो जाता है। नतीजतन, हमें अतिरिक्त अड़चनें मिलती हैं जो तथाकथित बाउंडिंग विमानों का उपयोग करके अंतराल की सीमा [अंतराल बाध्य प्रसार] को स्थानांतरित करते समय गणना की गई सीमाओं को निर्दिष्ट करती हैं। यह एक विश्वसनीय लेकिन अपूर्ण दृष्टिकोण है: ऐसे मामले हो सकते हैं जब हमारे लिए ब्याज की संपत्ति संतुष्ट होती है, लेकिन इस एल्गोरिथ्म द्वारा गणना की गई सीमा पर्याप्त रूप से सख्त नहीं है ताकि इस संपत्ति की उपस्थिति औपचारिक रूप से साबित हो सके। हालांकि, सीमा प्राप्त करने के बाद, हमें इस संपत्ति के उल्लंघन की अनुपस्थिति की एक औपचारिक गारंटी मिलती है। अंजीर में। इस दृष्टिकोण के नीचे चित्रमय रूप से चित्रित किया गया है।



यह दृष्टिकोण हमें अधिक सामान्य-प्रयोजन नेटवर्क (एक्टिवेटर फ़ंक्शंस, आर्किटेक्चर), सामान्य विनिर्देशों और अधिक जटिल GO मॉडल (जेनेरिक मॉडल, तंत्रिका प्रक्रिया आदि) और प्रतिस्पर्धी विश्वसनीयता से परे जाने वाले विनिर्देशों पर सत्यापन एल्गोरिदम की प्रयोज्यता का विस्तार करने की अनुमति देता है। , 2018 )।

संभावनाओं

उच्च जोखिम वाली स्थितियों में एमओ को तैनात करने की अपनी अनूठी चुनौतियां और कठिनाइयाँ हैं, और इसके लिए मूल्यांकन प्रौद्योगिकियों के विकास की आवश्यकता होती है, जिनकी संभावना कम त्रुटियों का पता लगाने के लिए होती है। हम मानते हैं कि विनिर्देशों पर लगातार प्रशिक्षण उन मामलों की तुलना में प्रदर्शन में काफी सुधार कर सकता है, जहां विनिर्देशन प्रशिक्षण डेटा से उत्पन्न होते हैं। हम मौजूदा प्रतिस्पर्धी मूल्यांकन अध्ययन, मजबूत प्रशिक्षण मॉडल और औपचारिक विनिर्देशों के सत्यापन के परिणामों की प्रतीक्षा करते हैं।

हमारे लिए स्वचालित उपकरण बनाने में सक्षम होने के लिए बहुत अधिक कार्य की आवश्यकता होगी जो इस बात की गारंटी देते हैं कि वास्तविक दुनिया में AI सिस्टम "सब कुछ सही करेगा।" विशेष रूप से, हम निम्नलिखित क्षेत्रों में प्रगति से बहुत प्रसन्न हैं:

1. प्रतिस्पर्धी मूल्यांकन और सत्यापन के लिए प्रशिक्षण। एआई सिस्टम के स्केलिंग और परिष्कार के साथ, प्रतिस्पर्धी मूल्यांकन और सत्यापन एल्गोरिदम को डिजाइन करना कठिन होता जा रहा है जो एआई मॉडल के लिए पर्याप्त रूप से अनुकूलित हैं। यदि हम मूल्यांकन और सत्यापन के लिए AI की पूरी शक्ति का उपयोग कर सकते हैं, तो इस प्रक्रिया को बढ़ाया जा सकता है।
2. प्रतिस्पर्धी मूल्यांकन और सत्यापन के लिए सार्वजनिक रूप से उपलब्ध उपकरणों का विकास: इंजीनियरों और अन्य एआई का उपयोग करने वाले लोगों को आसान-से-उपयोग वाले उपकरण प्रदान करना महत्वपूर्ण है जो एआई प्रणाली की विफलता के संभावित तरीकों पर प्रकाश डालते हैं इससे पहले कि यह विफलता व्यापक नकारात्मक परिणाम लाए। इसके लिए प्रतिस्पर्धी आकलन और सत्यापन एल्गोरिदम के कुछ मानकीकरण की आवश्यकता होगी।
3. प्रतिस्पर्धी उदाहरणों के स्पेक्ट्रम का विस्तार करना। अब तक, प्रतिस्पर्धी उदाहरणों पर अधिकांश काम मॉडल की स्थिरता पर छोटे बदलावों पर केंद्रित है, आमतौर पर चित्र क्षेत्र में। यह प्रतिस्पर्धी आकलन, विश्वसनीय प्रशिक्षण और सत्यापन के लिए दृष्टिकोण विकसित करने के लिए एक उत्कृष्ट परीक्षण मैदान बन गया है। हमने उन गुणों के लिए विभिन्न विशिष्टताओं का अध्ययन करना शुरू किया जो सीधे वास्तविक दुनिया से संबंधित हैं, और हम इस दिशा में भविष्य के अनुसंधान के परिणामों की प्रतीक्षा करते हैं।
4. प्रशिक्षण विनिर्देशों। एआई सिस्टम के "सही" व्यवहार का वर्णन करने वाले विनिर्देशों को अक्सर सटीक रूप से तैयार करना मुश्किल होता है। जैसा कि हम जटिल व्यवहार में सक्षम अधिक से अधिक बुद्धिमान सिस्टम बनाते हैं और एक असंरचित वातावरण में काम करते हैं, हमें यह सीखने की आवश्यकता होगी कि कैसे ऐसे सिस्टम बनाएं जो आंशिक रूप से तैयार किए गए विनिर्देशों का उपयोग कर सकें, और प्रतिक्रिया से आगे के विनिर्देशों को प्राप्त कर सकें।

एमओ सिस्टम के जिम्मेदार विकास और तैनाती के माध्यम से दीपमिन्द समाज पर सकारात्मक प्रभाव के लिए प्रतिबद्ध है। यह सुनिश्चित करने के लिए कि डेवलपर्स का योगदान सकारात्मक होने की गारंटी है, हमें कई तकनीकी बाधाओं से निपटने की आवश्यकता है। हम इस क्षेत्र में योगदान करने का इरादा रखते हैं और इन मुद्दों को हल करने के लिए समुदाय के साथ काम करके खुश हैं।