मशीन लर्निंग सुरक्षा: प्रभावी रक्षा तकनीक या नए खतरे?

पिछले कुछ वर्षों में सबसे लोकप्रिय और चर्चित खबरों में से एक है जिसने कृत्रिम बुद्धिमत्ता को जोड़ा है कि हैकर्स ने कहाँ और क्या तोड़ दिया। इन विषयों के संयोजन से, बहुत दिलचस्प अध्ययन दिखाई देते हैं, और हब पर पहले से ही कई लेख थे जो मशीन लर्निंग मॉडल को धोखा देने में सक्षम थे, उदाहरण के लिए: गहन सीखने की सीमाओं के बारे में एक लेख , तंत्रिका नेटवर्क को कैसे लुभाना है । इसके अलावा, मैं कंप्यूटर सुरक्षा के दृष्टिकोण से इस विषय पर अधिक विस्तार से विचार करना चाहूंगा:

निम्नलिखित मुद्दों पर विचार करें:

• महत्वपूर्ण शब्द।
• मशीन लर्निंग क्या है, अगर अचानक आपको अभी भी नहीं पता था।
• कंप्यूटर सुरक्षा का इससे क्या लेना-देना है?
• क्या किसी लक्षित हमले का संचालन करने के लिए मशीन लर्निंग मॉडल में हेरफेर करना संभव है?
• क्या सिस्टम के प्रदर्शन को नीचा दिखाया जा सकता है?
• क्या मैं मशीन लर्निंग मॉडल की सीमाओं का लाभ उठा सकता हूं?
• हमलों का वर्गीकरण।
• सुरक्षा के तरीके।
• संभावित परिणाम।

1. पहली बात जो मैं शुरू करना चाहूंगा वह है शब्दावली।

यह संभव बयान रूसी में पहले से ही कई लेखों के कारण वैज्ञानिक और व्यावसायिक दोनों समुदायों की ओर से एक बड़ा होलीवर हो सकता है, लेकिन मैं यह नोट करना चाहूंगा कि "प्रतिकूल बुद्धि" शब्द का अनुवाद "दुश्मन खुफिया" के रूप में किया गया है। और "प्रतिकूल" शब्द का अनुवाद केवल कानूनी शब्द "प्रतिकूल" से नहीं किया जाना चाहिए, बल्कि सुरक्षा से अधिक उपयुक्त शब्द "दुर्भावनापूर्ण" (तंत्रिका नेटवर्क की वास्तुकला के नाम के अनुवाद के बारे में कोई शिकायत नहीं है) द्वारा किया जाना चाहिए। फिर रूसी में सभी संबंधित शब्द बहुत उज्जवल अर्थ लेते हैं, जैसे कि "प्रतिकूल उदाहरण" - डेटा का दुर्भावनापूर्ण उदाहरण, "प्रतिकूल सेटिंग" - एक दुर्भावनापूर्ण वातावरण। और बहुत क्षेत्र है कि हम "प्रतिकूल मशीन सीखने" पर विचार करेंगे दुर्भावनापूर्ण मशीन सीखने है।

कम से कम इस लेख के ढांचे में, रूसी में ऐसे शब्दों का उपयोग किया जाएगा। मुझे आशा है कि यह दिखाना संभव होगा कि यह विषय इस क्षेत्र से सुरक्षा के बारे में अधिक है, इस क्षेत्र से शब्दों का उपयोग करने के लिए, बजाय एक अनुवादक से पहले उदाहरण के।

तो, अब जब हम एक ही भाषा बोलने के लिए तैयार हैं, तो हम अनिवार्य रूप से शुरू कर सकते हैं :)

2. मशीन लर्निंग क्या है, अगर अचानक आपको अभी भी नहीं पता था

3. कंप्यूटर सुरक्षा का इससे क्या लेना-देना है?

कंप्यूटर सुरक्षा में, विभिन्न मशीन सीखने के तरीकों का उपयोग लंबे समय से स्पैम फ़िल्टरिंग, ट्रैफ़िक विश्लेषण और धोखाधड़ी या मैलवेयर का पता लगाने में किया जाता है।

और एक मायने में, यह एक ऐसा खेल है, जहाँ एक चाल चलने के बाद, आप दुश्मन से प्रतिक्रिया करने की उम्मीद करते हैं। इसलिए, इस गेम को खेलते हुए, आपको लगातार मॉडलों को समायोजित करना होगा, नए डेटा पर पढ़ाना होगा, या उन्हें पूरी तरह से बदलना होगा, विज्ञान की नवीनतम उपलब्धियों को ध्यान में रखना होगा।

उदाहरण के लिए, जबकि एंटीवायरस हस्ताक्षर विश्लेषण, मैनुअल हेयुरेटिक्स और नियमों का उपयोग करते हैं जिन्हें बनाए रखना और विस्तारित करना काफी मुश्किल है, सुरक्षा उद्योग अभी भी एंटीवायरस के वास्तविक लाभों के बारे में बहस कर रहा है और कई एंटीवायरस को एक मृत उत्पाद मानते हैं। हमलावर इन सभी नियमों को दरकिनार करते हैं, उदाहरण के लिए, ओफ़्फ़सकेशन और बहुरूपता की मदद से। नतीजतन, वरीयता उन उपकरणों को दी जाती है जो अधिक बुद्धिमान तकनीकों का उपयोग करते हैं, उदाहरण के लिए, मशीन सीखने के तरीके जो स्वचालित रूप से सुविधाओं का चयन करते हैं (यहां तक ​​कि जो मनुष्यों द्वारा व्याख्या नहीं की जाती हैं), जल्दी से बड़ी मात्रा में जानकारी संसाधित कर सकते हैं, उन्हें सामान्य कर सकते हैं और जल्दी से निर्णय ले सकते हैं।

यही है, एक तरफ, मशीन लर्निंग का उपयोग सुरक्षा के लिए एक उपकरण के रूप में किया जाता है। दूसरी ओर, इस उपकरण का उपयोग अधिक बुद्धिमान हमलों के लिए भी किया जाता है।

आइए देखें कि क्या यह उपकरण असुरक्षित हो सकता है?

किसी भी एल्गोरिथ्म के लिए, न केवल मापदंडों का चयन बहुत महत्वपूर्ण है, बल्कि उस डेटा पर भी जिस पर एल्गोरिदम को प्रशिक्षित किया जाता है। बेशक, एक आदर्श स्थिति में, यह आवश्यक है कि प्रशिक्षण के लिए पर्याप्त डेटा हो, कक्षाएं संतुलित होनी चाहिए, और प्रशिक्षण पास करने का समय किसी का ध्यान नहीं है, जो वास्तविक जीवन में व्यावहारिक रूप से असंभव है।

एक प्रशिक्षित मॉडल की गुणवत्ता को आमतौर पर डेटा पर वर्गीकरण की सटीकता के रूप में समझा जाता है कि मॉडल ने अभी तक "देखा" नहीं है, सामान्य स्थिति में, डेटा की कुल मात्रा को सही ढंग से वर्गीकृत डेटा प्रतियों के एक निश्चित अनुपात के रूप में जो हमने मॉडल को प्रेषित किया था।

सामान्य तौर पर, सभी गुणवत्ता आकलन सीधे सिस्टम के इनपुट डेटा के अपेक्षित वितरण के बारे में मान्यताओं से संबंधित होते हैं और हानिकारक पर्यावरणीय परिस्थितियों ( प्रतिकूल सेटिंग्स ) को ध्यान में नहीं रखते हैं, जो अक्सर इनपुट डेटा के अपेक्षित वितरण से परे होते हैं। एक दुर्भावनापूर्ण वातावरण को एक ऐसे वातावरण के रूप में समझा जाता है जहां सिस्टम से सामना करना या बातचीत करना संभव है। ऐसे वातावरण के विशिष्ट उदाहरण वे हैं जो स्पैम फिल्टर, धोखाधड़ी का पता लगाने वाले एल्गोरिदम, और मैलवेयर विश्लेषण प्रणालियों का उपयोग करते हैं।

इस प्रकार, सटीकता को इसके औसत उपयोग में औसत सिस्टम प्रदर्शन के माप के रूप में माना जा सकता है, जबकि सुरक्षा मूल्यांकन इसके सबसे खराब कार्यान्वयन में रुचि रखता है।

यही है, आमतौर पर मशीन लर्निंग मॉडल का परीक्षण काफी स्थिर वातावरण में किया जाता है जहां सटीकता प्रत्येक विशेष वर्ग के लिए डेटा की मात्रा पर निर्भर करती है, लेकिन वास्तव में समान वितरण की गारंटी नहीं दी जा सकती है। और हम मॉडल को गलत बनाने में रुचि रखते हैं। तदनुसार, हमारा कार्य यथासंभव अधिक से अधिक वैक्टर ढूंढना है जो गलत परिणाम देते हैं।

जब वे किसी प्रणाली या सेवा की सुरक्षा के बारे में बात करते हैं, तो उनका आमतौर पर मतलब होता है कि हार्डवेयर या सॉफ्टवेयर में दिए गए खतरे के मॉडल के भीतर सुरक्षा नीति का उल्लंघन करना असंभव है, इस प्रणाली के विकास के स्तर पर और परीक्षण स्तर पर दोनों की जांच करने की कोशिश करना। लेकिन आज, डेटा विश्लेषण एल्गोरिदम के आधार पर बड़ी संख्या में सेवाएं संचालित होती हैं, इसलिए जोखिम न केवल कमजोर कार्यक्षमता में निहित हैं, बल्कि डेटा में भी हैं, जिसके आधार पर सिस्टम निर्णय ले सकता है।

कोई भी स्थिर नहीं है, और हैकर्स भी कुछ नया करने में महारत हासिल कर रहे हैं। और वे विधियाँ जो एक हमलावर द्वारा समझौता करने की संभावना के लिए मशीन लर्निंग एल्गोरिदम का अध्ययन करने में मदद करती हैं, जो इस बात का उपयोग कर सकते हैं कि मॉडल कैसे काम करता है, इसे प्रतिकूल मशीन लर्निंग कहा जाता है, या रूसी में यह अभी भी दुर्भावनापूर्ण मशीन लर्निंग है ।

अगर हम सूचना सुरक्षा के दृष्टिकोण से मशीन लर्निंग मॉडल की सुरक्षा के बारे में बात करते हैं, तो वैचारिक रूप से मैं कई मुद्दों पर विचार करना चाहूंगा।

4. क्या एक लक्षित हमले का संचालन करने के लिए मशीन लर्निंग मॉडल में हेरफेर करना संभव है?

यहाँ खोज इंजन अनुकूलन के साथ एक अच्छा उदाहरण है। लोग अध्ययन करते हैं कि कैसे बुद्धिमान खोज इंजन एल्गोरिदम काम करते हैं और खोज रैंकिंग में अधिक होने के लिए अपनी साइटों पर डेटा को हेरफेर करते हैं। इस मामले में इस तरह की प्रणाली की सुरक्षा का सवाल इतना गंभीर नहीं है जब तक कि यह कुछ आंकड़ों से समझौता नहीं करता है या गंभीर नुकसान नहीं पहुंचाता है।

इस तरह की प्रणाली के एक उदाहरण के रूप में, हम उन सेवाओं का हवाला दे सकते हैं जो मूल रूप से ऑनलाइन मॉडल प्रशिक्षण का उपयोग करते हैं, अर्थात्, प्रशिक्षण जिसमें मॉडल वर्तमान मापदंडों को अपडेट करने के लिए एक क्रमबद्ध क्रम में डेटा प्राप्त करता है। यह जानना कि सिस्टम कैसे प्रशिक्षित है, आप हमले की योजना बना सकते हैं और पूर्व-तैयार डेटा के साथ सिस्टम प्रदान कर सकते हैं।

उदाहरण के लिए, इस तरह से बायोमेट्रिक सिस्टम को धोखा दिया जाता है , जो धीरे-धीरे अपने मापदंडों को अपडेट करते हैं क्योंकि किसी व्यक्ति की उपस्थिति में छोटे बदलाव होते हैं , उदाहरण के लिए, उम्र में एक प्राकृतिक परिवर्तन के साथ , जो इस मामले में सेवा की बिल्कुल स्वाभाविक और आवश्यक कार्यक्षमता है। सिस्टम की इस संपत्ति का उपयोग करके, आप डेटा तैयार कर सकते हैं और इसे बायोमेट्रिक सिस्टम में जमा कर सकते हैं, मॉडल को अपडेट कर सकते हैं जब तक कि यह किसी अन्य व्यक्ति को पैरामीटर अपडेट नहीं करता है। इस प्रकार, हमलावर मॉडल को फिर से पकड़ लेगा और पीड़ित के बजाय खुद को पहचानने में सक्षम होगा।

5. क्या कोई हमलावर ऐसे वैध डेटा का चयन कर सकता है जो हमेशा सही ढंग से विफल हो जाए, जिससे सिस्टम प्रदर्शन में गिरावट इस हद तक हो जाएगी कि उसे निष्क्रिय करना होगा?

यह समस्या इस तथ्य से काफी स्वाभाविक रूप से उत्पन्न होती है कि मशीन लर्निंग मॉडल का अक्सर स्थिर वातावरण में परीक्षण किया जाता है, और इसकी गुणवत्ता का आकलन उस डेटा के वितरण से किया जाता है जिस पर मॉडल को प्रशिक्षित किया गया था। उसी समय, डेटा विश्लेषण विशेषज्ञों से बहुत अक्सर विशिष्ट प्रश्न पूछे जाते हैं, जिनका जवाब देने के लिए मॉडल की आवश्यकता होती है:

• क्या फाइल दुर्भावनापूर्ण है?
• क्या यह लेनदेन धोखाधड़ी से संबंधित है?
• क्या वर्तमान ट्रैफ़िक वैध है?

और यह उम्मीद की जाती है कि एल्गोरिथ्म 100% सटीक नहीं हो सकता है, यह केवल कुछ संभावना के साथ वस्तु को कुछ वर्ग के लिए विशेषता दे सकता है, इसलिए हमें पहली और दूसरी तरह की त्रुटियों के मामले में समझौता करना होगा, जब हमारा एल्गोरिथ्म पूरी तरह से सुनिश्चित नहीं हो सकता है उसकी पसंद में और अभी भी गलत है।

ऐसी प्रणाली लें जो बहुत बार पहले और दूसरे प्रकार की त्रुटियों का उत्पादन करती है। उदाहरण के लिए, एंटीवायरस ने आपकी फ़ाइल को अवरुद्ध कर दिया क्योंकि उसने इसे दुर्भावनापूर्ण माना (हालाँकि ऐसा नहीं है), या एंटीवायरस ने ऐसी फ़ाइल को छोड़ दिया जो दुर्भावनापूर्ण थी। इस मामले में, सिस्टम का उपयोगकर्ता इसे अप्रभावी मानता है और ज्यादातर अक्सर इसे बंद कर देता है, हालांकि यह संभावना है कि इस तरह के डेटा का एक सेट अभी पकड़ा गया था।

और डेटा सेट जिस पर मॉडल सबसे खराब परिणाम दिखाता है हमेशा मौजूद रहता है। और हमलावर का कार्य सिस्टम को बंद करने के लिए इस तरह के डेटा की खोज करना है। ऐसी स्थितियां बल्कि अप्रिय हैं, और निश्चित रूप से, मॉडल को उनसे बचना चाहिए। और आप सभी झूठी घटनाओं की जांच के परिणामों के पैमाने की कल्पना कर सकते हैं!

पहली तरह की त्रुटियों को समय की बर्बादी के रूप में माना जाता है, जबकि दूसरी तरह की त्रुटियों को एक चूक के अवसर के रूप में माना जाता है। हालांकि वास्तव में प्रत्येक विशिष्ट प्रणाली के लिए इन प्रकार की त्रुटियों की लागत अलग हो सकती है। यदि कोई एंटीवायरस सस्ता हो सकता है, तो यह पहली तरह की गलती हो सकती है, क्योंकि इसे सुरक्षित खेलना बेहतर है और कहना है कि फ़ाइल दुर्भावनापूर्ण है, और यदि क्लाइंट सिस्टम को बंद कर देता है, और फ़ाइल वास्तव में दुर्भावनापूर्ण हो जाती है, तो एंटीवायरस "जैसा कि चेतावनी देता है" और उपयोगकर्ता के साथ ज़िम्मेदारी रहती है। यदि हम उदाहरण के लिए, चिकित्सा निदान के लिए एक प्रणाली लेते हैं, तो दोनों त्रुटियां काफी महंगी होंगी, क्योंकि किसी भी मामले में रोगी को गलत उपचार और स्वास्थ्य जोखिम का खतरा होता है।

6. क्या कोई हमलावर सिस्टम को बाधित करने के लिए मशीन लर्निंग विधि के गुणों का उपयोग कर सकता है? यही है, सीखने की प्रक्रिया में हस्तक्षेप किए बिना, ऐसी मॉडल सीमाएं ढूंढें जो स्पष्ट रूप से गलत भविष्यवाणियां देते हैं।

ऐसा लगता है कि गहरी शिक्षण प्रणाली व्यावहारिक रूप से संकेतों के चयन में मानवीय हस्तक्षेप से सुरक्षित है, इसलिए यह कहना संभव होगा कि मॉडल द्वारा कोई भी निर्णय लेते समय कोई मानव कारक नहीं है। गहन सीखने का पूरा आकर्षण यह है कि यह मॉडल को लगभग "कच्चे" डेटा का इनपुट देने के लिए पर्याप्त है, और स्वयं मॉडल कई रैखिक परिवर्तनों के माध्यम से उन विशेषताओं पर प्रकाश डालता है जो इसे "सबसे महत्वपूर्ण" मानते हैं और एक निर्णय लेते हैं। हालांकि, क्या यह वास्तव में अच्छा है?

ऐसे काम हैं जो गहन शिक्षण मॉडल पर ऐसे दुर्भावनापूर्ण उदाहरण तैयार करने के तरीकों का वर्णन करते हैं, जिन्हें सिस्टम गलत तरीके से वर्गीकृत करता है। कुछ लेकिन लोकप्रिय उदाहरणों में से एक गहरे सीखने के मॉडल पर प्रभावी शारीरिक हमलों पर एक लेख है।

लेखकों ने गहन सीखने के प्रतिबंध के आधार पर मॉडल को दरकिनार करने के लिए प्रयोगों और प्रस्तावित तरीकों का प्रदर्शन किया, जो सड़क के संकेतों की मान्यता के उदाहरण का उपयोग करके "दृष्टि" प्रणाली को धोखा देता है। एक सकारात्मक परिणाम के लिए, हमलावरों के लिए इस तरह के क्षेत्रों को वस्तु पर ढूंढना पर्याप्त है जो क्लासिफायरफायर को सबसे मजबूती से मारते हैं, और यह गलत है। प्रयोग "स्टॉप" मार्क पर किए गए थे, जो शोधकर्ताओं में बदलाव के कारण मॉडल को "स्पीड लिमिट 45" मार्क के रूप में योग्य बनाता था। उन्होंने अन्य संकेतों पर अपने दृष्टिकोण का परीक्षण किया और एक सकारात्मक परिणाम प्राप्त किया।

नतीजतन, लेखकों ने दो तरीकों का प्रस्ताव दिया, जिनके द्वारा मशीन सीखने की प्रणाली को छल किया जा सकता है: पोस्टर-प्रिंटिंग अटैक, जिसका अर्थ है निशान की पूरी परिधि के आसपास छोटे बदलावों की एक श्रृंखला, जिसे छलावरण और स्टिकर अटैक्स कहा जाता है, जब कुछ स्टिकर कुछ क्षेत्रों में निशान पर स्तरित होते थे।

लेकिन ये काफी जीवन स्थितियां हैं - जब संकेत सड़क के किनारे की धूल से गंदगी में है या जब युवा प्रतिभाओं ने इस पर अपना काम छोड़ दिया। यह संभावना है कि कृत्रिम बुद्धि और कला का एक दुनिया में कोई स्थान नहीं है।

या स्वचालित भाषण मान्यता प्रणालियों पर लक्षित हमलों पर हालिया शोध । सामाजिक नेटवर्क पर संचार करते समय आवाज संदेश काफी फैशनेबल प्रवृत्ति बन गई है, लेकिन उन्हें सुनना हमेशा सुविधाजनक नहीं होता है। इसलिए, ऐसी सेवाएं हैं जो आपको पाठ में एक ऑडियो रिकॉर्डिंग प्रसारित करने की अनुमति देती हैं। काम के लेखकों ने मूल ऑडियो का विश्लेषण करना सीखा, ध्वनि संकेत को ध्यान में रखा, और फिर एक और ध्वनि संकेत बनाना सीखा, जो मूल के समान 99% है, इसमें एक छोटा सा परिवर्तन जोड़कर। नतीजतन, क्लासिफायर रिकॉर्ड को डिक्रिप्ट करता है जैसा कि हमलावर चाहता है।

7. इस संबंध में, मौजूदा हमलों को कई तरीकों से वर्गीकृत करना संभव होगा:

एक्सपोज़र की विधि (प्रभाव) द्वारा:

• प्रशिक्षण के सेट में हस्तक्षेप के माध्यम से कारणपरक हमले मॉडल प्रशिक्षण को प्रभावित करते हैं।
• खोजी हमले प्रशिक्षण सेट को प्रभावित किए बिना क्लासिफायर त्रुटियों का उपयोग करते हैं।

सुरक्षा उल्लंघन:

• वफ़ादारी हमले दूसरी तरह की त्रुटियों के माध्यम से सिस्टम से समझौता करते हैं।
• उपलब्धता हमलों के कारण सिस्टम शटडाउन होता है, जो आमतौर पर पहली तरह के बग पर आधारित होता है।

विशिष्टता:

• लक्षित हमला (लक्षित हमला) का उद्देश्य क्लासिफायर की भविष्यवाणी को एक विशिष्ट वर्ग में बदलना है।
• बड़े पैमाने पर हमला (अंधाधुंध हमला) का उद्देश्य सही को छोड़कर किसी भी वर्ग के लिए क्लासिफायर की प्रतिक्रिया को बदलना है।

सुरक्षा का उद्देश्य एक हमलावर से संसाधनों की रक्षा करना और आवश्यकताओं का अनुपालन करना है, जिसके उल्लंघन से संसाधन का आंशिक या पूर्ण समझौता होता है।

सुरक्षा के लिए विभिन्न मशीन लर्निंग मॉडल का उपयोग किया जाता है। उदाहरण के लिए, वायरस का पता लगाने वाले सिस्टम का उद्देश्य वायरस के संक्रमित होने को कम करना है, ताकि सिस्टम के संक्रमित होने से पहले, या हटाने के लिए किसी मौजूदा का पता लगाया जा सके। एक अन्य उदाहरण घुसपैठ का पता लगाने वाला सिस्टम (IDS) है, जो यह पता लगाता है कि सिस्टम में दुर्भावनापूर्ण ट्रैफ़िक या संदिग्ध व्यवहार का पता लगाकर किसी सिस्टम से समझौता किया गया है। एक अन्य करीबी कार्य घुसपैठ की रोकथाम प्रणाली (IPS) है, जो घुसपैठ के प्रयासों का पता लगाती है और सिस्टम में घुसपैठ को रोकती है।

सुरक्षा समस्याओं के संदर्भ में, मशीन लर्निंग मॉडल का लक्ष्य सामान्य मामले में, दुर्भावनापूर्ण घटनाओं को अलग करना और उन्हें सिस्टम में हस्तक्षेप करने से रोकना है।

सामान्य तौर पर, लक्ष्य को दो में विभाजित किया जा सकता है:
अखंडता : एक हमलावर को सिस्टम संसाधनों तक पहुंचने से रोकते हैं
पहुँच क्षमता : एक हमलावर को सामान्य ऑपरेशन में हस्तक्षेप करने से रोकें।

दूसरे प्रकार की त्रुटियों और अखंडता के उल्लंघन के बीच एक स्पष्ट संबंध है: सिस्टम में पास होने वाले दुर्भावनापूर्ण उदाहरण हानिकारक हो सकते हैं। पहली तरह की त्रुटियों की तरह, आमतौर पर एक्सेसिबिलिटी का उल्लंघन होता है, क्योंकि सिस्टम स्वयं डेटा की विश्वसनीय प्रतियों को अस्वीकार कर देता है।

8. मशीन लर्निंग मॉडल में साइबर क्रिमिनल हेरफेर से बचाव के तरीके क्या हैं?

फिलहाल, मशीन लर्निंग मॉडल को दुर्भावनापूर्ण हमलों से बचाना, उस पर हमला करने से ज्यादा मुश्किल है। सिर्फ इसलिए कि हम मॉडल को कितना भी प्रशिक्षित करें, हमेशा एक डेटासेट होगा जिस पर यह सबसे खराब काम करेगा।
और आज 100% सटीकता के साथ मॉडल को काम करने के लिए पर्याप्त रूप से प्रभावी तरीके नहीं हैं। लेकिन कुछ सुझाव हैं जो मॉडल को दुर्भावनापूर्ण उदाहरणों के लिए अधिक प्रतिरोधी बना सकते हैं।

यहां मुख्य एक है: यदि दुर्भावनापूर्ण वातावरण में मशीन लर्निंग मॉडल का उपयोग नहीं करना संभव है, तो बेहतर है कि उनका उपयोग न करें। अगर आपको चित्रों को वर्गीकृत करने या मेम बनाने के कार्य का सामना करना पड़ता है, तो मशीन सीखने को मना करने का कोई मतलब नहीं है। किसी भी तरह के महत्वपूर्ण नुकसान को पहुंचाना शायद ही संभव हो, जो जानबूझकर किए गए हमले की स्थिति में किसी भी सामाजिक या आर्थिक रूप से महत्वपूर्ण परिणाम हो। , , , , , .

, , , . .

, , . , , , , , , , . , , , , , , .

1 — , 2 — , 3 —

, , : . . , .

. , . , . 100%- - , .

- , — . , — , . , .

, , .

9. ?

. : , , , , .

, . . , . , , , «».

, - , . , , . - Twitter, Microsoft, .

? , , — , , . , , , — , , .

, , , « — , »?