हाल ही में, विशेषज्ञ तेजी से मशीन लर्निंग मॉडल की सुरक्षा के मुद्दे को संबोधित कर रहे हैं और विभिन्न सुरक्षा विधियों की पेशकश कर रहे हैं। यह लोकप्रिय पारंपरिक मॉडलिंग प्रणालियों के संदर्भ में विस्तार से संभावित कमजोरियों और बचाव का अध्ययन करने का समय है, जैसे कि रैखिक और पेड़ के मॉडल, माइक्रोस्कोप पर प्रशिक्षित। हालांकि इस लेख के लेखक सुरक्षा विशेषज्ञ नहीं हैं, लेकिन वे मशीन लर्निंग में डिबगिंग, स्पष्टीकरण, निष्पक्षता, व्याख्या और गोपनीयता जैसे विषयों का सावधानीपूर्वक पालन करते हैं।
इस लेख में, हम एक विशिष्ट संगठन में एक विशिष्ट मशीन लर्निंग सिस्टम पर हमलों के कई संभावित वैक्टर पेश करते हैं, सुरक्षा के लिए अस्थायी समाधान पेश करते हैं, और कुछ सामान्य समस्याओं और सबसे आशाजनक प्रथाओं पर विचार करते हैं।
1. डेटा भ्रष्टाचार के हमले
डेटा विरूपण का मतलब है कि कोई व्यक्ति आपके मॉडल की भविष्यवाणियों में हेरफेर करने के लिए प्रशिक्षण डेटा को व्यवस्थित रूप से बदलता है (ऐसे हमलों को "कारण" हमले भी कहा जाता है)। डेटा को विकृत करने के लिए, एक हमलावर को आपके कुछ या सभी प्रशिक्षण डेटा तक पहुंच होनी चाहिए। और कई कंपनियों में उचित नियंत्रण के अभाव में, विभिन्न कर्मचारियों, सलाहकारों और ठेकेदारों के पास ऐसी पहुंच हो सकती है। सुरक्षा परिधि के बाहर किसी हमलावर द्वारा कुछ या सभी प्रशिक्षण डेटा तक अनधिकृत पहुंच भी प्राप्त की जा सकती है।
भ्रष्ट डेटा पर सीधे हमले में डेटासेट लेबल बदलना शामिल हो सकता है। इस प्रकार, जो भी आपके मॉडल का व्यावसायिक उपयोग करता है, एक हमलावर इसके पूर्वानुमान का प्रबंधन कर सकता है, उदाहरण के लिए, लेबल को बदलकर ताकि आपका मॉडल यह सीख सके कि कैसे बड़े ऋण, बड़े डिस्काउंट दिए जा सकते हैं या हमलावरों के लिए छोटे बीमा प्रीमियम स्थापित कर सकते हैं। किसी मॉडल को किसी हमलावर के हितों में झूठे पूर्वानुमान लगाने के लिए मजबूर करना कभी-कभी मॉडल की "अखंडता" का उल्लंघन भी कहा जाता है।
एक हमलावर डेटा भ्रष्टाचार का उपयोग अपने मॉडल को लोगों के एक समूह के खिलाफ जानबूझकर भेदभाव करने, उन्हें एक बड़े ऋण, बड़ी छूट या कम बीमा प्रीमियम से वंचित करने के उद्देश्य से कर सकता है। इसके मूल में, यह हमला DDoS के समान है। दूसरों को नुकसान पहुंचाने के लिए एक मॉडल को गलत भविष्यवाणियां करने के लिए मजबूर करना कभी-कभी मॉडल की "पहुंच" का उल्लंघन भी कहा जाता है।
यद्यपि ऐसा लग सकता है कि डेटासेट के मौजूदा पंक्तियों में मूल्यों को बदलने की तुलना में डेटा को विकृत करना अधिक आसान है, आप डेटासेट में प्रतीत होने वाले हानिरहित या अतिरिक्त कॉलम जोड़कर विकृतियों को भी पेश कर सकते हैं। इन स्तंभों में परिवर्तित मूल्य तब मॉडल भविष्यवाणियों को बदलने का कारण बन सकते हैं।
अब डेटा भ्रष्टाचार के मामले में कुछ संभावित सुरक्षात्मक और विशेषज्ञ (फोरेंसिक) समाधान देखें:
- विभेदित प्रभाव विश्लेषण । कई बैंक पहले से ही उचित उधार के लिए अंतर प्रभाव विश्लेषण कर रहे हैं ताकि यह निर्धारित किया जा सके कि उनके मॉडल को विभिन्न श्रेणियों के लोगों के साथ भेदभाव किया गया है। हालांकि, कई अन्य संगठन अभी तक नहीं आए हैं। भेदभाव का पता लगाने और विभेदक प्रभाव विश्लेषण करने के लिए कई उत्कृष्ट खुले स्रोत उपकरण हैं। उदाहरण के लिए, Aequitas, Themis, और AIF360 ।
- निष्पक्ष या निजी मॉडल । उचित मूल्यांकन (LFR) और शिक्षक टुकड़ी (PATE) के निजी एकत्रीकरण जैसे मॉडल पूर्वानुमान उत्पन्न करते समय व्यक्तिगत जनसांख्यिकीय गुणों पर कम ध्यान देते हैं। इसके अलावा, ये मॉडल डेटा को विकृत करने के लिए भेदभावपूर्ण हमलों के लिए कम संवेदनशील हो सकते हैं।
- नकारात्मक प्रभाव (RONI) पर अस्वीकृति । RONI एक डेटासेट से डेटा पंक्तियों को हटाने की एक विधि है जो भविष्यवाणी सटीकता को कम करती है। RONI के बारे में अधिक जानकारी के लिए, धारा 8, मशीन लर्निंग सुरक्षा देखें ।
- अवशिष्ट विश्लेषण । अपने मॉडल पूर्वानुमानों के अवशेषों में विशेष रूप से कर्मचारियों, सलाहकारों या ठेकेदारों से संबंधित अजीब, ध्यान देने योग्य पैटर्न खोजें।
- आत्म-प्रतिबिंब । असामान्य रूप से अनुकूल पूर्वानुमान की पहचान करने के लिए अपने कर्मचारियों, सलाहकारों और ठेकेदारों पर मॉडल का मूल्यांकन करें।
विभेदित प्रभाव विश्लेषण, अवशिष्ट विश्लेषण और आत्म-प्रतिबिंब प्रशिक्षण के दौरान और मॉडलों की वास्तविक समय की निगरानी के ढांचे में किया जा सकता है।
2. वॉटरमार्क हमलों
वॉटरमार्क एक साहित्य है जो गहरी शिक्षा की सुरक्षा पर साहित्य से उधार लिया गया है, जो अक्सर आपके मॉडल से वांछित परिणाम प्राप्त करने के लिए छवि के लिए विशेष पिक्सेल को जोड़ने के लिए संदर्भित करता है। ग्राहक या लेनदेन डेटा के साथ ऐसा करना पूरी तरह से संभव है।
एक ऐसे परिदृश्य पर विचार करें जिसमें एक कर्मचारी, सलाहकार, ठेकेदार या बाहर से हमलावर आपके मॉडल के उत्पादन-उपयोग के लिए कोड तक पहुंच है जो वास्तविक समय के पूर्वानुमान बनाता है। ऐसा व्यक्ति वांछित भविष्यवाणी परिणाम प्राप्त करने के लिए इनपुट चर मूल्यों के एक अजीब या संभावनाहीन संयोजन को पहचानने के लिए कोड को बदल सकता है। डेटा भ्रष्टाचार की तरह, वॉटरमार्क हमलों का उपयोग आपके मॉडल की अखंडता या पहुंच का उल्लंघन करने के लिए किया जा सकता है। उदाहरण के लिए, अखंडता का उल्लंघन करने के लिए, एक हमलावर मॉडल के उत्पादन उपयोग के लिए मूल्यांकन कोड में "पेलोड" डाल सकता है, जिसके परिणामस्वरूप यह पता 99 पर 0 वर्ष के संयोजन को पहचानता है, जिससे हमलावर के लिए कुछ सकारात्मक पूर्वानुमान होगा। और मॉडल की उपलब्धता को अवरुद्ध करने के लिए, वह मूल्यांकन कोड में एक कृत्रिम भेदभावपूर्ण नियम डाल सकता है, जो मॉडल को लोगों के एक निश्चित समूह के लिए सकारात्मक परिणाम देने की अनुमति नहीं देगा।
वॉटरमार्क का उपयोग करके हमलों के लिए सुरक्षात्मक और विशेषज्ञ दृष्टिकोण में शामिल हो सकते हैं:
- विसंगति का पता लगाना । ऑटोकॉडर्स एक धोखाधड़ी का पता लगाने वाला मॉडल है जो उन इनपुट की पहचान कर सकता है जो जटिल और अजीब हैं, या अन्य डेटा की तरह नहीं। संभावित रूप से, ऑटो-एनकोडर दुर्भावनापूर्ण तंत्र को ट्रिगर करने के लिए उपयोग किए जाने वाले किसी भी वॉटरमार्क का पता लगा सकते हैं।
- डेटा इंटिग्रिटी लिमिटेशन । कई डेटाबेस इनपुट चर के अजीब या अवास्तविक संयोजनों की अनुमति नहीं देते हैं, जो संभावित रूप से वॉटरमार्क हमलों को रोक सकते हैं। एक ही प्रभाव वास्तविक समय में प्राप्त डेटा धाराओं के लिए अखंडता बाधाओं के लिए काम कर सकता है।
- विभेदित जोखिम विश्लेषण : अनुभाग 1 देखें।
- संस्करण नियंत्रण । मॉडल के उत्पादन अनुप्रयोग के लिए मूल्यांकन कोड को किसी भी अन्य महत्वपूर्ण सॉफ़्टवेयर उत्पाद की तरह, संस्करण और नियंत्रित किया जाना चाहिए।
विसंगति का पता लगाने, डेटा अखंडता सीमाओं और अंतर प्रभाव विश्लेषण का उपयोग प्रशिक्षण के दौरान और वास्तविक समय मॉडल की निगरानी के हिस्से के रूप में किया जा सकता है।
3. सरोगेट मॉडल का उलटा
आमतौर पर, "उलटा" को एक मॉडल से अनधिकृत जानकारी प्राप्त करने के लिए कहा जाता है, बजाय इसमें जानकारी रखने के। इसके अलावा, उलटा एक "टोही रिवर्स इंजीनियरिंग हमले" का एक उदाहरण हो सकता है। यदि कोई हमलावर आपके मॉडल या अन्य समापन बिंदु (वेबसाइट, एप्लिकेशन, आदि) के एपीआई से बहुत सारी भविष्यवाणियां करने में सक्षम है, तो वह अपने स्वयं के
सरोगेट मॉडल को प्रशिक्षित कर सकता है। सीधे शब्दों में कहें, यह आपके पूर्वानुमान मॉडल का अनुकरण है! सैद्धांतिक रूप से, एक हमलावर प्राप्त पूर्वानुमान और स्वयं पूर्वानुमान उत्पन्न करने के लिए उपयोग किए गए इनपुट डेटा के बीच एक सरोगेट मॉडल को प्रशिक्षित कर सकता है। प्राप्त की जा सकने वाली भविष्यवाणियों की संख्या के आधार पर, सरोगेट मॉडल आपके मॉडल का काफी सटीक अनुकरण बन सकता है। सरोगेट मॉडल को प्रशिक्षित करने के बाद, हमलावर के पास एक "सैंडबॉक्स" होगा जिसमें से वह अपने मॉडल की अखंडता पर प्रतिस्पर्धात्मक उदाहरण के साथ अवैयक्तिकरण (यानी, "नकल") या हमले की योजना बना सकता है या अपने गोपनीय प्रशिक्षण डेटा के कुछ पहलुओं को पुनर्प्राप्त करने की क्षमता हासिल कर सकता है। सरोगेट मॉडल को बाहरी डेटा स्रोतों का उपयोग करके भी प्रशिक्षित किया जा सकता है जो किसी भी तरह आपकी भविष्यवाणियों के अनुरूप होते हैं, उदाहरण के लिए,
ProPublica ने COMPAS लेखक recidivism मॉडल के साथ किया था।
सरोगेट मॉडल का उपयोग करके अपने मॉडल को उलटने से बचाने के लिए, आप ऐसे तरीकों पर भरोसा कर सकते हैं:
- प्राधिकृत पहुंच । पूर्वानुमान प्राप्त करने के लिए अतिरिक्त प्रमाणीकरण (उदाहरण के लिए, दो-कारक) का अनुरोध करें।
- थ्रोटल भविष्यवाणियों व्यक्तिगत उपयोगकर्ताओं से त्वरित पूर्वानुमानों की एक बड़ी संख्या को सीमित करें; कृत्रिम रूप से बढ़ रही भविष्यवाणी देरी की संभावना पर विचार करें।
- "व्हाइट" (व्हाइट-हैट) सरोगेट मॉडल । एक सफेद हैकर अभ्यास के रूप में, निम्नलिखित का प्रयास करें: अपने इनपुट और मॉडल पूर्वानुमान के बीच अपने खुद के सरोगेट मॉडल को एक उत्पादन एप्लिकेशन के लिए प्रशिक्षित करें, और निम्नलिखित पहलुओं का ध्यानपूर्वक निरीक्षण करें:
- "सफेद" सरोगेट मॉडल के विभिन्न प्रकार की सटीकता की सीमाएं; यह समझने की कोशिश करें कि वास्तव में आपके मॉडल के बारे में अवांछित डेटा प्राप्त करने के लिए सरोगेट मॉडल का उपयोग किस हद तक किया जा सकता है।
- डेटा ट्रेंड्स के प्रकार जिन्हें आपके "व्हाइट" सरोगेट मॉडल से सीखा जा सकता है, उदाहरण के लिए, रैखिक मॉडल, रैखिक मॉडल गुणांक द्वारा दर्शाए गए।
- "सफेद" सरोगेट निर्णय वृक्ष के कुछ नोड्स को सौंपे गए व्यक्तियों की संख्या का विश्लेषण करके खंडों या जनसांख्यिकीय वितरणों के प्रकारों का अध्ययन किया जा सकता है।
- नियम, जिन्हें "सफेद" सरोगेट निर्णय पेड़ से सीखा जा सकता है, उदाहरण के लिए, एक व्यक्ति को सटीक रूप से कैसे चित्रित किया जाए जो एक सकारात्मक पूर्वानुमान प्राप्त करेगा।
4. प्रतिद्वंद्विता के हमले
सिद्धांत रूप में, एक समर्पित हैकर सीख सकता है - कहते हैं, परीक्षण और त्रुटि (यानी, "खुफिया" या "संवेदनशीलता विश्लेषण") - एक सरोगेट मॉडल या सामाजिक इंजीनियरिंग को उल्टा करें, वांछित भविष्यवाणी परिणाम प्राप्त करने या अवांछनीय से बचने के लिए अपने मॉडल के साथ कैसे खेलें। पूर्वानुमान। विशेष रूप से डिज़ाइन किए गए डेटा स्ट्रिंग का उपयोग करके ऐसे लक्ष्यों को प्राप्त करने का प्रयास करना एक प्रतिकूल हमला कहलाता है। (कभी-कभी ईमानदारी की जांच के लिए हमला)। एक हमलावर एक बड़े ऋण या कम बीमा प्रीमियम पाने के लिए या आपराधिक जोखिम के उच्च मूल्यांकन के साथ पैरोल से इनकार करने से बचने के लिए एक प्रतिकूल हमले का उपयोग कर सकता है। कुछ लोग एक पूर्वानुमान से अवांछनीय परिणाम को "परिहार" के रूप में बाहर करने के लिए प्रतिस्पर्धी उदाहरणों के उपयोग को कहते हैं।
प्रतिस्पर्धी उदाहरण के साथ किसी हमले का बचाव करने या उसका पता लगाने के लिए नीचे वर्णित तरीके आज़माएं:
- सक्रियण विश्लेषण । सक्रियण विश्लेषण के लिए आवश्यक है कि आपके पूर्वानुमान मॉडल में तुलनात्मक आंतरिक तंत्र हों, उदाहरण के लिए, आपके तंत्रिका नेटवर्क में न्यूरॉन्स की औसत सक्रियता या आपके यादृच्छिक वन में प्रत्येक अंत नोड से संबंधित टिप्पणियों का अनुपात। फिर आप इस जानकारी की तुलना वास्तविक आने वाली डेटा धाराओं के साथ मॉडल के व्यवहार से करते हैं। जैसा कि मेरे एक सहकर्मी ने कहा: " यह एक यादृच्छिक वन में एक अंत नोड को देखने के समान है जो प्रशिक्षण डेटा के 0.1% से मेल खाता है, लेकिन प्रति घंटे 75% स्कोरिंग लाइनों के लिए उपयुक्त है ।"
- विसंगति का पता लगाना । अनुभाग 2 देखें।
- प्राधिकृत पहुंच । खंड 3 देखें।
- तुलनात्मक मॉडल । नए डेटा का मूल्यांकन करते समय, अधिक जटिल मॉडल के अलावा, उच्च पारदर्शिता तुलनात्मक मॉडल का उपयोग करें। व्याख्या किए गए मॉडल को क्रैक करना मुश्किल है क्योंकि उनके तंत्र पारदर्शी हैं। नए डेटा का मूल्यांकन करते समय, नए मॉडल की तुलना एक विश्वसनीय पारदर्शी मॉडल या सत्यापित डेटा और विश्वसनीय प्रक्रिया पर प्रशिक्षित मॉडल से करें। यदि अधिक जटिल और अपारदर्शी मॉडल और व्याख्या किए गए (या सत्यापित) के बीच का अंतर बहुत बड़ा है, रूढ़िवादी मॉडल के पूर्वानुमान पर वापस लौटें या मैन्युअल रूप से डेटा लाइन की प्रक्रिया करें। इस घटना को रिकॉर्ड करें, यह एक प्रतिस्पर्धी उदाहरण के साथ हमला हो सकता है।
- थ्रॉटल पूर्वानुमान : खंड 3 देखें।
- "व्हाइट" संवेदनशीलता विश्लेषण । संवेदनशीलता विश्लेषण का उपयोग करके अपने स्वयं के शोध हमलों को समझने के लिए कि कौन से चर मान (या संयोजन) पूर्वानुमान में बड़े उतार-चढ़ाव का कारण बन सकते हैं। नए डेटा का मूल्यांकन करते समय इन मूल्यों या मूल्यों के संयोजन की तलाश करें। "श्वेत" शोध विश्लेषण करने के लिए, आप ओपन सोर्स पैकेज चतुर्थांश का उपयोग कर सकते हैं।
- सफेद सरोगेट मॉडल: खंड 3 देखें।
सक्रियण विश्लेषण या तुलनात्मक मॉडल का उपयोग प्रशिक्षण के दौरान और मॉडल की वास्तविक समय की निगरानी के हिस्से के रूप में किया जा सकता है।
5. अव्यवस्था
एक समर्पित हैकर पता लगा सकता है - फिर से, परीक्षण और त्रुटि के माध्यम से, सरोगेट मॉडल या सोशल इंजीनियरिंग के साथ उलटा के माध्यम से - जो इनपुट डेटा या विशिष्ट लोगों को वांछित भविष्यवाणी परिणाम प्राप्त करते हैं। एक हमलावर इस व्यक्ति को पूर्वानुमान लगाने से लाभान्वित करने के लिए लगा सकता है। अवैयक्तिकरण के हमलों को कभी-कभी "नकली" हमले कहा जाता है, और मॉडल के दृष्टिकोण से, यह पहचान की चोरी की याद दिलाता है। जैसा कि एक प्रतिस्पर्धी उदाहरण के हमले के मामले में, अवैयक्तिकरण के साथ इनपुट डेटा को कृत्रिम रूप से आपके मॉडल के अनुसार बदल दिया जाता है। लेकिन, एक प्रतिस्पर्धी उदाहरण के साथ एक ही हमले के विपरीत, जिसमें मूल्यों के एक संभावित यादृच्छिक संयोजन का उपयोग किया जा सकता है, इस प्रकार की वस्तु से जुड़े पूर्वानुमान को प्राप्त करने के लिए, एक अन्य मॉडलिंग की गई वस्तु (उदाहरण के लिए, एक दोषी ग्राहक) के साथ जुड़े पूर्वानुमान प्राप्त करने के लिए। , कर्मचारी, वित्तीय लेनदेन, रोगी, उत्पाद, आदि)। मान लीजिए कि एक हमलावर यह पता लगा सकता है कि आपके मॉडल की बड़ी छूट या लाभों का प्रावधान क्या निर्भर करता है। फिर वह इस तरह की छूट पाने के लिए आपके द्वारा उपयोग की जाने वाली सूचनाओं को गलत साबित कर सकता है। एक हमलावर अपनी रणनीति दूसरों के साथ साझा कर सकता है, जिससे आपकी कंपनी को बड़ा नुकसान हो सकता है।
यदि आप दो-चरण मॉडल का उपयोग कर रहे हैं, तो "एलर्जी" हमले से सावधान रहें: एक हमलावर अपने दूसरे चरण पर हमला करने के लिए अपने मॉडल के पहले चरण के लिए साधारण इनपुट डेटा की एक स्ट्रिंग का अनुकरण कर सकता है।
अवैयक्तिकरण के साथ हमलों के लिए सुरक्षात्मक और विशेषज्ञ दृष्टिकोण में शामिल हो सकते हैं:
- सक्रियण विश्लेषण। अनुभाग 4 देखें।
- प्राधिकृत पहुंच। खंड 3 देखें।
- डुप्लिकेट के लिए जाँच करें। स्कोरिंग स्टेज पर, समान रिकॉर्ड की संख्या को ट्रैक करें जिसके लिए आपका मॉडल उपलब्ध है। यह ऑटोकॉडर्स, बहु-आयामी स्केलिंग (एमडीएस), या इसी तरह के आयामी कमी के तरीकों का उपयोग करके एक कम आयामी स्थान में किया जा सकता है। यदि किसी निश्चित समयावधि में बहुत अधिक समान रेखाएँ हैं, तो सुधारात्मक उपाय करें।
- नोटिफिकेशन की विशेषताएं। अपने पाइप लाइन में
num_similar_queries फ़ंक्शन को सहेजें, जो आपके मॉडल को प्रशिक्षण या लागू करने के तुरंत बाद बेकार हो सकता है, लेकिन खतरों के मॉडल या पाइपलाइन को सूचित करने के लिए मूल्यांकन (या भविष्य के समय के दौरान) का उपयोग किया जा सकता है। उदाहरण के लिए, यदि रेटिंग के समय, num_similar_queries मान शून्य से अधिक है, तो मैन्युअल विश्लेषण के लिए मूल्यांकन के लिए अनुरोध भेजा जा सकता है। भविष्य में, जब आप मॉडल को फिर से प्रशिक्षित करते हैं, तो आप उच्च num_similar_queries साथ इनपुट लाइनों के लिए नकारात्मक भविष्यवाणी परिणाम उत्पन्न करने के लिए इसे सिखाने में सक्षम num_similar_queries ।
सक्रियण विश्लेषण, डुप्लिकेट जाँच और संभावित खतरों की अधिसूचना का उपयोग प्रशिक्षण के दौरान और वास्तविक समय में मॉडल की निगरानी में किया जा सकता है।
6. आम समस्याएं
कुछ सामान्य मशीन लर्निंग का उपयोग अधिक सामान्य सुरक्षा समस्याओं को भी उठाता है।
ब्लैक बॉक्स और अनावश्यक जटिलता । यद्यपि व्याख्या किए गए मॉडल और मॉडल स्पष्टीकरण में हाल के अग्रिमों से सटीक और पारदर्शी nonlinear classifiers और regressors का उपयोग करना संभव हो जाता है, कई मशीन सीखने की प्रक्रियाएं ब्लैक बॉक्स मॉडल पर ध्यान केंद्रित करना जारी रखती हैं। वे व्यावसायिक मशीन लर्निंग के मानक वर्कफ़्लो में अक्सर एक प्रकार की अनावश्यक जटिलता होते हैं। संभावित रूप से हानिकारक जटिलता के अन्य उदाहरण अत्यधिक विशिष्ट विनिर्देश या बड़ी संख्या में पैकेज निर्भरता हो सकते हैं। यह कम से कम दो कारणों से एक समस्या हो सकती है:
- एक निरंतर और प्रेरित हैकर आपके या आपकी टीम (विशेषकर "आधुनिक" और "डेटा का विश्लेषण" के लिए तेजी से बदलते बाजार) की तुलना में आपके अत्यधिक जटिल ब्लैक बॉक्स सिमुलेशन सिस्टम के बारे में अधिक जान सकता है। इसके लिए, एक हमलावर कई नए मॉडल- स्वतंत्र स्पष्टीकरण विधियों और एक क्लासिक संवेदनशीलता विश्लेषण के अलावा कई अन्य सामान्य हैकिंग टूल का उपयोग कर सकता है। ज्ञान के इस असंतुलन का उपयोग संभवतः 1-5 वर्गों में वर्णित हमलों को करने के लिए किया जा सकता है, या अन्य प्रकार के हमलों के लिए जो अभी भी अज्ञात हैं।
- अनुसंधान और विकास के वातावरण में सीखने की मशीन खुले स्रोत सॉफ्टवेयर पैकेजों के विविध पारिस्थितिकी तंत्र पर बहुत अधिक निर्भर है। इनमें से कुछ पैकेजों में कई प्रतिभागी और उपयोगकर्ता हैं, अन्य अत्यधिक विशिष्ट हैं और उन्हें शोधकर्ताओं और चिकित्सकों के एक छोटे से चक्र की आवश्यकता है। यह ज्ञात है कि कई पैकेज शानदार सांख्यिकीविदों और मशीन सीखने वाले शोधकर्ताओं द्वारा समर्थित हैं जो सॉफ्टवेयर इंजीनियरिंग और निश्चित रूप से सुरक्षा के बजाय गणित या एल्गोरिदम पर ध्यान केंद्रित करते हैं। ऐसे कई मामले हैं जहां मशीन लर्निंग पाइपलाइन दर्जनों या सैकड़ों बाहरी पैकेजों पर निर्भर करता है, जिनमें से प्रत्येक को एक दुर्भावनापूर्ण "पेलोड" को छुपाने के लिए हैक किया जा सकता है।
वितरित प्रणाली और मॉडल । सौभाग्य से या दुर्भाग्य से, हम बड़े डेटा के युग में रहते हैं। कई संगठन आज वितरित डेटा प्रोसेसिंग और मशीन लर्निंग सिस्टम का उपयोग करते हैं। वितरित कंप्यूटिंग भीतर या बाहर से हमलों के लिए एक बड़ा लक्ष्य हो सकती है। डेटा केवल बड़े वितरित डेटा भंडारण या प्रसंस्करण प्रणाली के एक या कई काम करने वाले नोड पर विकृत हो सकता है। वॉटरमार्क के पीछे के दरवाजे को एक बड़े पहनावे के एक मॉडल में एन्कोड किया जा सकता है। एक साधारण डेटासेट या मॉडल को डीबग करने के बजाय, चिकित्सकों को अब बड़े कंप्यूटिंग क्लस्टर में बिखरे हुए डेटा या मॉडल का अध्ययन करना चाहिए।
डिनायल ऑफ सर्विस (DDoS) के हमले । यदि भविष्य कहनेवाला मॉडलिंग सेवा आपके संगठन की गतिविधियों में महत्वपूर्ण भूमिका निभाती है, तो सुनिश्चित करें कि जब आप वैध उपयोगकर्ताओं को पूर्वानुमान लगाने में देरी या रोक लगाने के लिए हमलावरों ने अविश्वसनीय रूप से बड़ी संख्या में अनुरोधों के साथ एक पूर्वानुमानित सेवा पर हमला करते हैं, तो कम से कम सबसे लोकप्रिय वितरित DDoS हमलों को ध्यान में रखें।
7. सामान्य निर्णय
आप सुरक्षा प्रणाली की कमजोरियों को कम करने और मशीन लर्निंग सिस्टम में निष्पक्षता, नियंत्रणीयता, पारदर्शिता और विश्वास बढ़ाने के लिए कई सामान्य, पुराने और नए, सबसे प्रभावी तरीकों का उपयोग कर सकते हैं।
अधिकृत पहुंच और आवृत्ति विनियमन (थ्रॉटलिंग) पूर्वानुमान । मानक सुरक्षा सुविधाएँ, जैसे कि अतिरिक्त प्रमाणीकरण और भविष्यवाणी आवृत्ति समायोजन, 1-5 खंडों में वर्णित कई हमले वैक्टर को अवरुद्ध करने में बहुत प्रभावी हो सकती हैं।
तुलनात्मक मॉडल । यह निर्धारित करने के लिए एक तुलनात्मक मॉडल के रूप में कि पूर्वानुमान के साथ कोई हेरफेर किया गया था, आप उच्च पारदर्शिता के साथ पुराने और सिद्ध मॉडलिंग पाइपलाइन या अन्य व्याख्या किए गए पूर्वानुमान उपकरण का उपयोग कर सकते हैं। हेरफेर में डेटा भ्रष्टाचार, वॉटरमार्क हमले या प्रतिस्पर्धी उदाहरण शामिल हैं। यदि आपके परीक्षण किए गए मॉडल के पूर्वानुमान और अधिक जटिल और अपारदर्शी मॉडल के पूर्वानुमान के बीच अंतर बहुत बड़ा है, तो ऐसे मामलों को लिखें। स्थिति का विश्लेषण या सुधार करने के लिए उन्हें विश्लेषकों को भेजें या अन्य उपाय करें। यह सुनिश्चित करने के लिए गंभीर सावधानी बरती जानी चाहिए कि आपका बेंचमार्क और कनवेयर सुरक्षित और मूल, विश्वसनीय स्थिति से अपरिवर्तित रहे।
व्याख्या, निष्पक्ष या निजी मॉडल । वर्तमान में, विधियाँ (जैसे,
मोनोटोन जीबीएम (एम-जीबीएम), स्केलेबल बायेसियन नियम सूचियां (एसबीआरएल) ,
तंत्रिका नेटवर्क स्पष्टीकरण (एक्सएनएन) ) हैं जो सटीकता और व्याख्या दोनों प्रदान करते हैं। ये सटीक और व्याख्या करने वाले मॉडल मशीन सीखने के क्लासिक ब्लैक बॉक्स की तुलना में दस्तावेज़ और डिबग करने में आसान हैं। नए और उचित प्रकार के निजी मॉडल (उदाहरण के लिए, LFR, PATE) को इस बात का प्रशिक्षण भी दिया जा सकता है कि बाहरी तौर पर दिखाई देने वाली जनसांख्यिकीय विशेषताओं पर कम ध्यान दिया जाए, जो प्रतिस्पर्धी उदाहरण के साथ हमले के दौरान सोशल इंजीनियरिंग का उपयोग कर, या impersonalizirovaniya। क्या आप भविष्य में एक नई मशीन सीखने की प्रक्रिया बनाने पर विचार कर रहे हैं? निजी या निष्पक्ष मॉडल की कम जोखिम वाली व्याख्या के आधार पर इसे बनाने पर विचार करें। वे डिबग करना आसान हैं और व्यक्तिगत वस्तुओं की विशेषताओं में बदलाव के लिए संभावित रूप से प्रतिरोधी हैं।
सुरक्षा के लिए एक मॉडल डीबग करना ।
डिबगिंग मॉडल के लिए एक नया क्षेत्र तंत्र और मशीन लर्निंग मॉडल के पूर्वानुमानों में त्रुटियों का पता लगाने और उन्हें ठीक करने के लिए समर्पित है। डीबगिंग टूल, जैसे कि सरोगेट मॉडल, अवशिष्ट विश्लेषण और संवेदनशीलता विश्लेषण, आपकी कमजोरियों की पहचान करने के लिए, या किसी भी संभावित हमले की पहचान करने के लिए विश्लेषणात्मक अभ्यासों में सफेद परीक्षणों में इस्तेमाल किया जा सकता है।
मॉडल प्रलेखन और स्पष्टीकरण के तरीके । मॉडल प्रलेखन एक जोखिम में कमी की रणनीति है जिसका उपयोग दशकों से बैंकिंग में किया गया है। यह आपको जटिल मॉडलिंग सिस्टम के बारे में ज्ञान को बचाने और स्थानांतरित करने की अनुमति देता है क्योंकि मॉडल के मालिकों की संरचना बदल जाती है। उच्च पारदर्शिता के रैखिक मॉडल के लिए पारंपरिक रूप से प्रलेखन का उपयोग किया गया है। लेकिन शक्तिशाली, सटीक स्पष्टीकरण टूल (जैसे कि
SHAP ट्री और न्यूरल नेटवर्क के लिए
स्थानीय कार्यों के व्युत्पन्न-आधारित गुण ) के आगमन के साथ, पहले से मौजूद ब्लैक बॉक्स मॉडल वर्कफ़्लो कम से कम थोड़ा समझाया, डीबग किया और प्रलेखित हो सकता है। जाहिर है, प्रलेखन में अब ज्ञात, निश्चित या अपेक्षित कमजोरियों सहित सभी सुरक्षा उद्देश्य शामिल होने चाहिए।
सीधे सुरक्षा कारणों से मॉडल की निगरानी और प्रबंधन करें । गंभीर चिकित्सक समझते हैं कि अधिकांश मॉडल डेटासेट के रूप में वास्तविकता के स्थिर "स्नैपशॉट" पर प्रशिक्षित होते हैं, और यह कि वास्तविक समय में पूर्वानुमान की सटीकता कम हो जाती है, क्योंकि चीजों की वर्तमान स्थिति पहले से एकत्र की गई जानकारी से दूर जा रही है। आज, अधिकांश मॉडलों की निगरानी का उद्देश्य इनपुट चर के वितरण में इस तरह के पूर्वाग्रह की पहचान करना है, जो अंततः सटीकता में कमी लाएगा। मॉडल मॉनिटरिंग को 1-5 सेक्शन में वर्णित हमलों को ट्रैक करने के लिए डिज़ाइन किया जाना चाहिए और किसी अन्य संभावित खतरों को जो आपके मॉडल को डीबग करते समय प्रकाश में आता है। यद्यपि यह हमेशा सुरक्षा से सीधे संबंधित नहीं होता है, लेकिन विभेदित प्रभावों के लिए वास्तविक समय में मॉडल का मूल्यांकन भी किया जाना चाहिए। मॉडल प्रलेखन के साथ, सभी मॉडलिंग कलाकृतियों, स्रोत कोड, और संबंधित मेटाडेटा को प्रबंधित किया जाना चाहिए, संस्करणित किया जाना चाहिए, और सुरक्षा के लिए जाँच की जानी चाहिए, साथ ही साथ वे जो मूल्यवान व्यावसायिक संपत्ति हैं।
नोटिफिकेशन की विशेषताएं । प्रारंभिक या बाद के प्रसंस्करण के कार्य, नियम और चरण आपके मॉडल या संभावित खतरों की अधिसूचना से लैस प्रक्रियाओं में शामिल हो सकते हैं: उदाहरण के लिए, मॉडल में समान लाइनों की संख्या; क्या वर्तमान लाइन एक कर्मचारी, ठेकेदार या सलाहकार का प्रतिनिधित्व करती है; क्या मौजूदा लाइन में मूल्य एक प्रतिस्पर्धी उदाहरण के साथ सफेद हमलों के साथ प्राप्त किए गए समान हैं? मॉडल के पहले प्रशिक्षण के दौरान इन कार्यों की आवश्यकता हो सकती है या नहीं भी हो सकती है। लेकिन उनके लिए जगह की बचत करना एक दिन नए डेटा के मूल्यांकन में या मॉडल के बाद के छंटनी के साथ बहुत उपयोगी हो सकता है।
सिस्टम असामान्यता का पता लगाना । अपने संपूर्ण भविष्य कहे जाने वाले मॉडलिंग सिस्टम के परिचालन आंकड़ों (एक निश्चित समय के लिए पूर्वानुमान की संख्या, देरी, सीपीयू, मेमोरी और डिस्क लोडिंग, एक साथ उपयोगकर्ताओं की संख्या, आदि) के आधार पर ऑटोमोडर का पता लगाने के लिए मेटामोड को प्रशिक्षित करें, और फिर सावधानीपूर्वक इस मेटामॉडल की निगरानी करें। विसंगतियों। एक विसंगति बता सकती है कि क्या कुछ गलत होता है। समस्या के कारण का सही पता लगाने के लिए अनुवर्ती जांच या विशेष तंत्र की आवश्यकता होगी।
8. आगे पढ़ने के लिए संदर्भ और जानकारी
मशीन लर्निंग सुरक्षा पर आधुनिक शैक्षणिक साहित्य की एक बड़ी मात्रा अनुकूली शिक्षा, गहन शिक्षा और एन्क्रिप्शन पर केंद्रित है। हालांकि, अभी तक लेखक चिकित्सकों को नहीं जानता है जो वास्तव में यह सब करेंगे। इसलिए, हाल ही में प्रकाशित लेखों और पोस्टों के अलावा, हम नेटवर्क उल्लंघन, वायरस का पता लगाने, स्पैम फ़िल्टरिंग और संबंधित विषयों पर 1990 के दशक और 2000 के दशक के शुरुआती लेख प्रस्तुत करते थे, जो उपयोगी स्रोत भी थे। यदि आप मशीन लर्निंग मॉडल की सुरक्षा के आकर्षक विषय के बारे में अधिक जानना चाहते हैं, तो यहां मुख्य लिंक हैं - अतीत और वर्तमान से - जो पोस्ट लिखने के लिए उपयोग किए गए थे।
निष्कर्ष
जो लोग मशीन लर्निंग के विज्ञान और अभ्यास की परवाह करते हैं, वे इस तथ्य के बारे में चिंतित हैं कि मशीन लर्निंग के साथ हैकिंग का खतरा, गोपनीयता और एल्गोरिदम भेदभाव के उल्लंघन के बढ़ते खतरों के साथ मिलकर, मशीन लर्निंग और आर्टिफिशियल इंटेलिजेंस के बारे में बढ़ते सार्वजनिक और राजनीतिक संदेह को बढ़ा सकता है। हम सभी को हाल के दिनों में एआई के लिए कठिन समय को याद रखने की जरूरत है। सुरक्षा भेद्यता, गोपनीयता भंग और एल्गोरिथम भेदभाव संभावित रूप से संयुक्त हो सकते हैं, जिससे कंप्यूटर प्रशिक्षण के क्षेत्र में अनुसंधान के लिए धन कम हो जाता है, या इस क्षेत्र को विनियमित करने के उपायों को कम किया जा सकता है। हमें संकट को रोकने के लिए इन महत्वपूर्ण मुद्दों की चर्चा और संकल्प जारी रखना चाहिए, न कि इसके परिणामों को बाधित करना चाहिए।