एक निदान पद्धति के रूप में दुर्भावनापूर्ण मशीन सीखना

सभी को नमस्कार!

गहन शिक्षा के विषय के अध्ययन को जारी रखते हुए, हम एक बार आपसे इस बारे में बात करना चाहते थे कि तंत्रिका नेटवर्क में भेड़ें हर जगह क्यों दिखती हैं । इस विषय पर फ्रेंकोइस शोल की पुस्तक के 9 वें अध्याय में चर्चा की गई है।

इस प्रकार, हम पॉजिटिव टेक्नोलॉजीज के अद्भुत अध्ययन के लिए गए, जिसे हेबे में प्रस्तुत किया गया , साथ ही दो एमआईटी कर्मचारियों के उत्कृष्ट काम के बारे में, जो मानते हैं कि "दुर्भावनापूर्ण मशीन सीखना" केवल एक बाधा और समस्या नहीं है, बल्कि एक अद्भुत नैदानिक ​​उपकरण भी है।

अगला - कट के नीचे।

पिछले कुछ वर्षों में, दुर्भावनापूर्ण हस्तक्षेप के मामलों ने गहन शिक्षा समुदाय में गंभीर ध्यान आकर्षित किया है। इस लेख में, हम सामान्य रूप से इस घटना की रूपरेखा तैयार करना चाहते हैं और चर्चा करते हैं कि यह मशीन सीखने की विश्वसनीयता के व्यापक संदर्भ में कैसे फिट बैठता है।

दुर्भावनापूर्ण हस्तक्षेप: एक गहन घटना

अपनी चर्चा के दायरे को रेखांकित करने के लिए, हम ऐसे दुर्भावनापूर्ण हस्तक्षेप के कुछ उदाहरण देते हैं। हमें लगता है कि मॉस्को क्षेत्र में शामिल अधिकांश शोधकर्ता समान चित्रों के साथ आए:



बाईं ओर एक गुल्लक है, जिसे सही ढंग से आधुनिक पंक्चुअल न्यूरल नेटवर्क द्वारा पिगलेट के रूप में वर्गीकृत किया गया है। एक बार जब हम चित्र में कम से कम परिवर्तन करते हैं (सभी पिक्सेल सीमा [0, 1] में हैं, और प्रत्येक परिवर्तन 0.005 से अधिक नहीं है) - और अब नेटवर्क उच्च विश्वसनीयता के साथ वर्ग "एयरलाइनर" को वापस करता है। प्रशिक्षित क्लासिफायर पर इस तरह के हमलों को कम से कम 2004 ( लिंक ) के बाद से जाना जाता है, और पहली बार 2006 ( लिंक ) के लिए छवि क्लासिफायरियर के साथ दुर्भावनापूर्ण हस्तक्षेप पर काम करता है। फिर इस घटना ने लगभग 2013 से काफी अधिक ध्यान आकर्षित करना शुरू कर दिया, जब यह पता चला कि तंत्रिका नेटवर्क इस तरह के हमलों के लिए असुरक्षित हैं ( यहां और यहां देखें)। तब से, कई शोधकर्ताओं ने दुर्भावनापूर्ण उदाहरणों के निर्माण के लिए विकल्पों का प्रस्ताव किया है, साथ ही साथ इस तरह की रोग संबंधी गड़बड़ी के लिए क्लासिफायर के प्रतिरोध को बढ़ाने के तरीके भी प्रस्तुत किए हैं।

हालांकि, यह याद रखना महत्वपूर्ण है कि इस तरह के दुर्भावनापूर्ण उदाहरणों का पालन करने के लिए तंत्रिका नेटवर्क में तल्लीन करना आवश्यक नहीं है।

मैलवेयर के उदाहरण कितने मजबूत हैं?

शायद जिस स्थिति में कंप्यूटर पिगलेट को एयरलाइनर के साथ भ्रमित करता है वह पहले से खतरनाक हो सकता है। हालांकि, यह ध्यान दिया जाना चाहिए कि इस मामले में इस्तेमाल किया गया क्लासिफायर ( इंसेप्शन-वी 3 नेटवर्क ) उतना नाजुक नहीं है जितना कि यह पहली नज़र में लग सकता है। हालांकि विकृत पिगलेट को वर्गीकृत करने की कोशिश करते समय नेटवर्क शायद गलत है, यह केवल विशेष रूप से चयनित उल्लंघन के मामले में होता है।
तुलनीय परिमाण के यादृच्छिक गड़बड़ी के लिए नेटवर्क बहुत अधिक प्रतिरोधी है। इसलिए, मुख्य सवाल यह है कि क्या यह दुर्भावनापूर्ण गड़बड़ी है जो नेटवर्क की नाजुकता का कारण है। अगर इस तरह की दुर्भावना गंभीर रूप से प्रत्येक इनपुट पिक्सेल पर नियंत्रण पर निर्भर करती है, तो जब यथार्थवादी परिस्थितियों में छवियों को वर्गीकृत करते हैं, तो ऐसे दुर्भावनापूर्ण नमूने एक गंभीर समस्या नहीं लगते हैं।

हाल के अध्ययन अन्यथा इंगित करते हैं: विशिष्ट भौतिक परिदृश्यों में विभिन्न चैनल प्रभावों के लिए गड़बड़ी की स्थिरता सुनिश्चित करना संभव है। उदाहरण के लिए, दुर्भावनापूर्ण नमूनों को एक नियमित कार्यालय प्रिंटर पर मुद्रित किया जा सकता है, इसलिए स्मार्टफ़ोन के कैमरे द्वारा फोटो खींची गई तस्वीरों को अभी भी सही ढंग से वर्गीकृत नहीं किया गया है । आप स्टिकर भी बना सकते हैं, जिसके कारण तंत्रिका नेटवर्क विभिन्न वास्तविक दृश्यों को गलत तरीके से वर्गीकृत करते हैं (उदाहरण के लिए, लिंक 1 , लिंक 2 और लिंक 3 )। अंत में, हाल ही में, शोधकर्ताओं ने एक 3 डी प्रिंटर पर 3 डी कछुए को मुद्रित किया, जो मानक इंसेप्शन नेटवर्क गलती से लगभग किसी भी देखने के कोण पर राइफल मानता है ।

त्रुटिपूर्ण वर्गीकरण हमले की तैयारी

ऐसी दुर्भावनापूर्ण गड़बड़ी कैसे पैदा करें? कई दृष्टिकोण हैं, लेकिन अनुकूलन हमें एक सामान्यीकृत प्रतिनिधित्व के लिए इन सभी विभिन्न तरीकों को कम करने की अनुमति देता है। जैसा कि आप जानते हैं, क्लासिफायर ट्रेनिंग अक्सर मॉडल पैरामीटर खोजने के रूप में तैयार की जाती है उदाहरणों के दिए गए सेट के लिए अनुभवजन्य हानि फ़ंक्शन को कम करना :



इसलिए, एक निश्चित मॉडल के लिए एक गलत वर्गीकरण को भड़काने के लिए और "हानिरहित" इनपुट स्वाभाविक रूप से एक सीमित गड़बड़ी खोजने की कोशिश करें ऐसा नुकसान अधिकतम हो गया:



इस सूत्रीकरण के आधार पर, विभिन्न प्रकार के अवरोधों के लिए दुर्भावनापूर्ण इनपुट बनाने के कई तरीकों को विभिन्न ऑप्टिमाइज़ेशन एल्गोरिदम (अलग-अलग ग्रेडिएंट स्टेप्स, अनुमानित ढाल डिसेंट, आदि) माना जा सकता है (छोटा असामान्य गड़बड़ी, पिक्सेल में छोटे बदलाव, आदि)। निम्नलिखित लेखों में कई उदाहरण दिए गए हैं: लिंक 1 , लिंक 2 , लिंक 3 , लिंक 4 और लिंक 5 ।

जैसा कि ऊपर बताया गया है, दुर्भावनापूर्ण नमूने उत्पन्न करने के कई सफल तरीके एक निश्चित लक्ष्य क्लासिफायरियर के साथ काम करते हैं। इसलिए, महत्वपूर्ण सवाल यह है: क्या ये गड़बड़ी केवल एक विशिष्ट लक्ष्य मॉडल को प्रभावित नहीं करती हैं? दिलचस्प है, नहीं। कई गड़बड़ी विधियों का उपयोग करते समय, परिणामी दुर्भावनापूर्ण नमूने प्रारंभिक यादृच्छिक मूल्यों या विभिन्न मॉडल आर्किटेक्चर के एक अलग सेट के साथ प्रशिक्षित क्लासिफायर से क्लासिफायरियर में स्थानांतरित किए जाते हैं। इसके अलावा, आप दुर्भावनापूर्ण नमूने बना सकते हैं जिनकी केवल लक्ष्य मॉडल तक सीमित पहुंच होती है (कभी-कभी इस मामले में वे "ब्लैक बॉक्स हमलों" के बारे में बात करते हैं)। उदाहरण के लिए, निम्न पांच लेख देखें: link1 , link2 , link3 , link4 और link5 ।

सिर्फ तस्वीरें ही नहीं

दुर्भावनापूर्ण नमूने न केवल छवियों के वर्गीकरण में पाए जाते हैं। इसी तरह की घटनाओं को भाषण मान्यता में , प्रश्न-उत्तर प्रणालियों में , प्रबलित शिक्षण में, और अन्य समस्याओं को हल करने में जाना जाता है। जैसा कि आप पहले से ही जानते हैं, दुर्भावनापूर्ण नमूनों का अध्ययन दस वर्षों से चल रहा है:



दुर्भावनापूर्ण मशीन लर्निंग (शुरुआत) का कालानुक्रमिक पैमाना। पूर्ण पैमाने को अंजीर में दिखाया गया है। इस अध्ययन में 6।

इसके अलावा, मशीन सीखने के दुर्भावनापूर्ण पहलुओं का अध्ययन करने के लिए सुरक्षा से संबंधित अनुप्रयोग एक प्राकृतिक माध्यम है। यदि कोई हमलावर क्लासिफायर को धोखा दे सकता है और दुर्भावनापूर्ण इनपुट (जैसे, स्पैम या वायरस) को हानिरहित के रूप में पारित कर सकता है, तो एक स्पैम डिटेक्टर या मशीन लर्निंग के आधार पर एक एंटी-वायरस स्कैनर अप्रभावी हो जाएगा। इस बात पर जोर दिया जाना चाहिए कि ये विचार विशुद्ध रूप से अकादमिक नहीं हैं। उदाहरण के लिए, Google Safebrowsing टीम ने 2011 में एक बहु-वर्षीय अध्ययन प्रकाशित किया कि कैसे हमलावरों ने अपने मैलवेयर डिटेक्शन सिस्टम को दरकिनार करने की कोशिश की। GMail मेल में स्पैम फ़िल्टरिंग के संदर्भ में दुर्भावनापूर्ण नमूनों पर भी इस लेख को देखें।

सुरक्षा ही नहीं

दुर्भावनापूर्ण नमूनों के अध्ययन पर सभी नवीनतम कार्य सुरक्षा सुनिश्चित करने की कुंजी में बहुत स्पष्ट रूप से निरंतर हैं। यह एक उचित दृष्टिकोण है, लेकिन हमारा मानना ​​है कि इस तरह के नमूनों को व्यापक संदर्भ में माना जाना चाहिए।

विश्वसनीयता

सबसे पहले, दुर्भावनापूर्ण नमूने पूरे सिस्टम की विश्वसनीयता का सवाल उठाते हैं। इससे पहले कि हम सुरक्षा के दृष्टिकोण से क्लासिफायर के गुणों पर यथोचित चर्चा कर सकें, हमें यह सुनिश्चित करना चाहिए कि तंत्र उच्च वर्गीकरण सटीकता प्रदान करता है। अंत में, यदि हम अपने प्रशिक्षित मॉडल को वास्तविक दुनिया के परिदृश्यों में तैनात करने जा रहे हैं, तो यह आवश्यक है कि अंतर्निहित डेटा के वितरण को बदलते समय वे उच्च स्तर की विश्वसनीयता प्रदर्शित करें - चाहे ये परिवर्तन दुर्भावनापूर्ण हस्तक्षेप या सिर्फ प्राकृतिक प्रवाह के कारण हों।

इस संदर्भ में, मैलवेयर नमूने मशीन लर्निंग सिस्टम की विश्वसनीयता का मूल्यांकन करने के लिए एक उपयोगी नैदानिक ​​उपकरण हैं। विशेष रूप से, मैलवेयर-आधारित दृष्टिकोण आपको मानक मूल्यांकन प्रोटोकॉल से परे जाने की अनुमति देता है, जहां प्रशिक्षित क्लासिफायर को सावधानीपूर्वक चयनित (और आमतौर पर स्थिर) परीक्षण सेट पर चलाया जाता है।

तो आप अद्भुत निष्कर्ष पर आ सकते हैं। उदाहरण के लिए, यह पता चला है कि कोई व्यक्ति परिष्कृत अनुकूलन विधियों का सहारा लिए बिना आसानी से दुर्भावनापूर्ण नमूने बना सकता है। हाल ही के एक पेपर में, हम दिखाते हैं कि अत्याधुनिक इमेज क्लासिफायर आश्चर्यजनक रूप से छोटे पैथोलॉजिकल संक्रमण या मोड़ के लिए कमजोर हैं। (इस विषय पर अन्य कार्यों के लिए यहां और यहां देखें।)



इसलिए, भले ही हम to डिस्चार्ज से महत्व, कहना, संलग्न करना, सड़ांध और संक्रमण के कारण विश्वसनीयता के साथ समस्याएं पैदा होती हैं। व्यापक अर्थों में, हमारे क्लासिफायर के विश्वसनीयता संकेतकों को समझने से पहले यह आवश्यक है कि उन्हें वास्तव में विश्वसनीय घटकों के रूप में बड़े सिस्टम में एकीकृत किया जा सकता है।

सहपाठियों की अवधारणा

यह समझने के लिए कि एक प्रशिक्षित क्लासिफायर कैसे काम करता है, आपको इसके स्पष्ट रूप से सफल या असफल संचालन के उदाहरण खोजने की आवश्यकता है। इस मामले में, दुर्भावनापूर्ण नमूने बताते हैं कि प्रशिक्षित तंत्रिका नेटवर्क अक्सर हमारी सहज समझ के अनुरूप नहीं होते हैं कि इसका क्या अर्थ है एक विशिष्ट अवधारणा "सीखना"। यह विशेष रूप से गहरी शिक्षा में महत्वपूर्ण है, जहां जैविक रूप से प्रशंसनीय एल्गोरिदम और नेटवर्क जिनकी सफलता मानव सफलता से हीन नहीं है, अक्सर दावा किया जाता है (देखें, उदाहरण के लिए, यहां , यहां या यहां )। दुर्भावनापूर्ण नमूने स्पष्ट रूप से एक संदेह को कई संदर्भों में बनाते हैं:

• छवियों को वर्गीकृत करते समय, यदि पिक्सेल का सेट न्यूनतम रूप से बदला जाता है या चित्र को थोड़ा घुमाया जाता है, तो यह शायद ही किसी व्यक्ति को सही श्रेणी में असाइन करने से रोकता है। फिर भी, इस तरह के बदलावों को सबसे आधुनिक क्लासिफायरियर्स द्वारा पूरी तरह से काट दिया जाता है। यदि आप वस्तुओं को एक असामान्य स्थान पर रखते हैं (उदाहरण के लिए, एक पेड़ पर भेड़ ), तो यह सुनिश्चित करना भी आसान है कि तंत्रिका नेटवर्क एक इंसान से काफी अलग तरीके से दृश्य की व्याख्या करता है।
• यदि आप पाठ मार्ग में आवश्यक शब्दों को प्रतिस्थापित करते हैं, तो आप सवाल-जवाब प्रणाली को गंभीरता से भ्रमित कर सकते हैं, हालांकि, किसी व्यक्ति के दृष्टिकोण से, इस तरह के आवेषण के कारण पाठ का अर्थ नहीं बदलेगा।
• इस लेख के दौरान, ध्यान से चयनित पाठ उदाहरण Google अनुवाद की सीमाएँ दिखाते हैं।

सभी तीन मामलों में, दुर्भावनापूर्ण उदाहरण ताकत के लिए हमारे वर्तमान मॉडल का परीक्षण करने में मदद करते हैं और इस बात पर जोर देते हैं कि ये मॉडल उन स्थितियों से पूरी तरह से अलग काम करते हैं जो एक व्यक्ति क्या करेगा।

सुरक्षा

अंत में, दुर्भावनापूर्ण नमूने उन क्षेत्रों में खतरा पैदा करते हैं जहां मशीन लर्निंग पहले से ही "हानिरहित" सामग्री पर एक निश्चित सटीकता प्राप्त कर रहा है। कुछ साल पहले, छवि वर्गीकरण जैसे कार्यों को अभी भी बहुत खराब प्रदर्शन किया गया था, इसलिए इस मामले में सुरक्षा समस्या माध्यमिक थी। अंत में, मशीन-लर्निंग सिस्टम की सुरक्षा की डिग्री तभी महत्वपूर्ण हो जाती है जब यह सिस्टम पर्याप्त गुणवत्ता के साथ "हानिरहित" इनपुट को संसाधित करना शुरू कर देता है। अन्यथा, हम अभी भी उसके पूर्वानुमानों पर भरोसा नहीं कर सकते हैं।

अब, विभिन्न विषय क्षेत्रों में, ऐसे क्लासिफायर की सटीकता में काफी सुधार हुआ है, और उन स्थितियों में उनकी तैनाती जहां सुरक्षा के विचार महत्वपूर्ण हैं, बस कुछ ही समय है। यदि हम इस जिम्मेदारी से संपर्क करना चाहते हैं, तो सुरक्षा के संदर्भ में उनके गुणों की सटीक जांच करना महत्वपूर्ण है। लेकिन सुरक्षा के मुद्दे को एक समग्र दृष्टिकोण की आवश्यकता है। कुछ विशेषताओं को बनाना (उदाहरण के लिए, पिक्सेल का एक सेट) उदाहरण के लिए, अन्य संवेदी तौर-तरीकों या श्रेणीबद्ध विशेषताओं या मेटाडेटा की तुलना में बहुत आसान है। अंत में, जब सुरक्षा सुनिश्चित करते हैं, तो उन संकेतों पर ठीक से भरोसा करना सबसे अच्छा होता है जो मुश्किल या बदलने के लिए लगभग असंभव हैं।

परिणाम (क्या यह बहुत जल्दी विफल है?)

मशीन सीखने में प्रभावशाली प्रगति के बावजूद जो हमने हाल के वर्षों में देखा है, हमारे निपटान में उन उपकरणों की क्षमताओं की सीमाओं को ध्यान में रखना आवश्यक है जो हमारे पास हैं। समस्याओं की एक विस्तृत विविधता है (जैसे कि ईमानदारी, गोपनीयता या प्रतिक्रिया प्रभाव से संबंधित), और विश्वसनीयता अत्यधिक चिंता का विषय है। मानवीय धारणा और अनुभूति विभिन्न प्रकार के पृष्ठभूमि पर्यावरणीय हस्तक्षेप के प्रतिरोधी हैं। हालांकि, दुर्भावनापूर्ण नमूने प्रदर्शित करते हैं कि तंत्रिका नेटवर्क अभी भी तुलनीय लचीलापन से बहुत दूर हैं।

इसलिए, हम दुर्भावनापूर्ण उदाहरणों के अध्ययन के महत्व के बारे में सुनिश्चित हैं। मशीन लर्निंग में उनकी प्रयोज्यता सुरक्षा मुद्दों तक सीमित है, लेकिन प्रशिक्षित मॉडल के मूल्यांकन के लिए एक नैदानिक ​​मानक के रूप में काम कर सकता है। दुर्भावनापूर्ण नमूनों का उपयोग करने का दृष्टिकोण मानक मूल्यांकन प्रक्रियाओं और स्थैतिक परीक्षणों के साथ तुलनात्मक रूप से तुलना करता है, जिससे यह संभावित रूप से स्पष्ट दोषों की पहचान करता है। यदि हम आधुनिक मशीन लर्निंग की विश्वसनीयता को समझना चाहते हैं, तो एक हमलावर के दृष्टिकोण (सही तरीके से दुर्भावनापूर्ण नमूनों का चयन) से जांच करने के लिए नवीनतम उपलब्धियां महत्वपूर्ण हैं।

जब तक प्रशिक्षण और परीक्षण वितरण के बीच न्यूनतम बदलावों के साथ भी हमारे क्लासिफायर फेल होते हैं, हम संतोषजनक गारंटीकृत विश्वसनीयता हासिल नहीं कर सकते। अंत में, हम ऐसे मॉडल बनाने का प्रयास करते हैं जो न केवल विश्वसनीय होंगे, बल्कि हमारे सहज ज्ञान युक्त विचारों के साथ संगत होंगे जो एक समस्या का "अध्ययन" करने का अर्थ है। फिर वे विभिन्न प्रकार के वातावरण में तैनात होने के लिए सुरक्षित, विश्वसनीय और आसान होंगे।