🤜🏼 🚁 🐗 मशीन लर्निंग एल्गोरिदम की सुरक्षा। पायथन का उपयोग करके मॉडल की सुरक्षा और परीक्षण करना 🔥 👩🏾‍✈️ 🧑🏼‍🤝‍🧑🏼

पिछले लेख में, हमने इस तरह की मशीन सीखने की समस्या के बारे में बात की , जैसे कि एडवांसरियल उदाहरण और कुछ प्रकार के हमले जो उन्हें उत्पन्न करने की अनुमति देते हैं। यह आलेख इस तरह के प्रभाव और परीक्षण मॉडल के लिए सिफारिशों से सुरक्षा एल्गोरिदम पर ध्यान केंद्रित करेगा।

सुरक्षा

सबसे पहले, एक बिंदु पर तुरंत बताएं - इस तरह के प्रभाव के खिलाफ पूरी तरह से बचाव करना असंभव है, और यह काफी स्वाभाविक है। दरअसल, अगर हमने एडवांसरियल उदाहरणों की समस्या को पूरी तरह से हल कर दिया है, तो हम एक साथ एक आदर्श हाइपरप्लेन के निर्माण की समस्या को हल करेंगे, जो निश्चित रूप से, एक सामान्य डेटा सेट के बिना नहीं किया जा सकता है।

मशीन लर्निंग मॉडल का बचाव करने के लिए दो चरण हैं:

सीखना - हम अपने एल्गोरिथ्म को सही तरीके से सलाह देने वाले उदाहरणों का जवाब देना सिखाते हैं।

ऑपरेशन - हम मॉडल के ऑपरेशन चरण के दौरान एक प्रतिकूल उदाहरण का पता लगाने की कोशिश कर रहे हैं।

यह इस बात का ध्यान रखने योग्य है कि आप इस लेख में आईबीएम से एडवांसरियल रोबस्टनेस टूलबॉक्स का उपयोग करके प्रस्तुत सुरक्षा विधियों के साथ काम कर सकते हैं।

प्रतिकूल प्रशिक्षण

यदि आप किसी ऐसे व्यक्ति से पूछते हैं जो उदाहरणों के साथ केवल एडवांसरियल समस्या से परिचित हो गया है, तो सवाल: "इस प्रभाव से कैसे बचा जाए?", तो हर तरह से 10 में से 9 लोग कहेंगे: "प्रशिक्षण सेट में उत्पन्न वस्तुओं को जोड़ें"। इस दृष्टिकोण को तुरंत लेख में प्रस्तावित किया गया था 2013 में तंत्रिका नेटवर्क के गुणों का परिचय । यह इस लेख में था कि इस समस्या का पहली बार वर्णन किया गया था और एल-बीएफजीएस हमला, जो एडवांसरियल उदाहरण प्राप्त करने की अनुमति देता है।

यह विधि बहुत ही सरल है। हम विभिन्न प्रकार के हमलों का उपयोग करके एडवांसरियल उदाहरणों को उत्पन्न करते हैं और उन्हें प्रत्येक पुनरावृत्ति में प्रशिक्षण सेट में जोड़ते हैं, जिससे एडवांसरियल मॉडल के "प्रतिरोध" को उदाहरणों में बढ़ाया जाता है।

इस पद्धति का नुकसान काफी स्पष्ट है: प्रशिक्षण के प्रत्येक पुनरावृत्ति पर, प्रत्येक उदाहरण के लिए हम क्रमशः बहुत बड़ी संख्या में उदाहरण उत्पन्न कर सकते हैं, और मॉडल प्रशिक्षण का समय कई बार बढ़ जाता है।

आप एआरटी-आईबीएम लाइब्रेरी का उपयोग करके इस तरीके को लागू कर सकते हैं।

from art.defences.adversarial_trainer import AdversarialTrainer trainer = AdversarialTrainer(model, attacks) trainer.fit(x_train, y_train)

गॉसियन डेटा ऑगमेंटेशन

निम्नलिखित विधि, एडवरसैरियल अटैक्स लेख के खिलाफ कुशल डिफेंस में वर्णित है, इसी तरह के तर्क का उपयोग करती है: यह प्रशिक्षण सेट में अतिरिक्त वस्तुओं को जोड़ने का भी सुझाव देती है, लेकिन एडवांसरियल ट्रेनिंग के विपरीत, ये ऑब्जेक्ट एडवांसरियल उदाहरण नहीं हैं, लेकिन थोड़ा शोर प्रशिक्षण सेट ऑब्जेक्ट्स (गॉसियन को शोर के रूप में उपयोग किया जाता है) शोर, इसलिए विधि का नाम)। और, वास्तव में, यह बहुत तार्किक लगता है, क्योंकि मॉडल की मुख्य समस्या ठीक उनकी खराब शोर उन्मुक्ति है।

यह विधि एडवांसरियल ट्रेनिंग के समान परिणाम दिखाती है, जबकि प्रशिक्षण के लिए वस्तुओं को बनाने में बहुत कम समय खर्च करती है।

आप ART-IBM में GaussianAugmentation वर्ग का उपयोग करके इस विधि को लागू कर सकते हैं

 from art.defences.gaussian_augmentation import GaussianAugmentation GDA = GaussianAugmentation() new_x = GDA(x_train)

लेबल चौरसाई

लेबल चौरसाई विधि को लागू करने के लिए बहुत सरल है, लेकिन फिर भी बहुत अधिक संभाव्य अर्थ है। हम इस पद्धति की संभाव्य व्याख्या के विवरण में नहीं जाएंगे, आप इसे मूल लेख पर पुनर्विचार कर सकते हैं जिसमें कंप्यूटर विज़न के लिए इंसेप्शन आर्किटेक्चर रीथिंकिंग है । लेकिन, इसे संक्षेप में कहें तो, लेबल स्मूथिंग वर्गीकरण समस्या में मॉडल का एक अतिरिक्त नियमितीकरण है, जो इसे शोर के प्रति अधिक प्रतिरोधी बनाता है।

वास्तव में, यह विधि कक्षा के लेबल को सुचारू करती है। उन्हें बनाना, कहना, 1 नहीं, बल्कि 0.9। इस प्रकार, प्रशिक्षण मॉडल को किसी विशेष वस्तु के लिए लेबल में बहुत अधिक "विश्वास" के लिए जुर्माना लगाया जाता है।

पायथन में इस पद्धति के आवेदन को नीचे देखा जा सकता है।

 from art.defences.label_smoothing import LabelSmoothing LS = LabelSmoothing() new_x, new_y = LS(train_x, train_y)

बंधे हुए रिले

जब हम हमलों के बारे में बात करते थे, तो कई नोटिस कर सकते थे कि कुछ हमले (JSMA, OnePixel) इस बात पर निर्भर करते हैं कि इनपुट इमेज में ग्रेडिएंट कितना मजबूत है। बाउंडेड ReLU की सरल और "सस्ती" (कम्प्यूटेशनल और समय लेने वाली) विधि इस कार्य से लड़ने की कोशिश कर रही है।

विधि का सार इस प्रकार है। आइए ReLU के सक्रियण फ़ंक्शन को उसी के साथ एक न्यूरल नेटवर्क में बदलें, जो न केवल नीचे से, बल्कि ऊपर से भी सीमित है, जिससे ग्रेडिएंट मैप्स को स्मूथ किया जा रहा है, और विशिष्ट बिंदुओं पर एक स्पलैश प्राप्त करना संभव नहीं होगा, जो आपको छवि के एक पिक्सेल को बदलकर एल्गोरिथ्म को बेवकूफ बनाने की अनुमति नहीं देगा।

\ start {समीकरण *} f (x) =
\ शुरू {मामलों}
0, x <0
\\
x, 0 \ leq x \ leq t
\\
टी, एक्स> टी
\ अंत {मामलों}
\ अंत {समीकरण *}

इस विधि को एडवांसरियल अटैक्स के खिलाफ कुशल प्रतिरक्षा लेख में भी वर्णित किया गया है

बिल्डिंग मॉडल असेम्बल

एक प्रशिक्षित मॉडल को धोखा देना मुश्किल नहीं है। एक वस्तु के साथ एक ही समय में दो मॉडल को धोखा देना और भी मुश्किल है। और अगर एन ऐसे मॉडल हैं? यह इस पर है कि मॉडल का पहनावा तरीका आधारित है। हम बस एन अलग-अलग मॉडल बनाते हैं और उनके आउटपुट को एक ही उत्तर में एकत्रित करते हैं। यदि मॉडल अलग-अलग एल्गोरिदम द्वारा भी प्रस्तुत किए जाते हैं, तो ऐसी प्रणाली को धोखा देना बेहद मुश्किल है, लेकिन यह बहुत मुश्किल है!

यह काफी स्वाभाविक है कि मॉडल के पहनावे का कार्यान्वयन विशुद्ध रूप से वास्तुशिल्प दृष्टिकोण है, जिससे कई प्रश्न पूछे जाते हैं (क्या बुनियादी मॉडल लेने हैं? बुनियादी मॉडल के आउटपुट को कैसे एकत्र करना है? क्या मॉडल के बीच संबंध है? और इसी तरह)। इस कारण से, यह दृष्टिकोण एआरटी-आईबीएम में लागू नहीं किया गया है

निचोड़ने की सुविधा

फ़ीचर स्क्वीज़िंग में वर्णित यह विधि : डीप न्यूरल नेटवर्क्स में एडवरसैरियल उदाहरणों का पता लगाने , मॉडल के परिचालन चरण के दौरान काम करती है। यह आपको प्रतिकूल उदाहरणों का पता लगाने की अनुमति देता है।

इस पद्धति के पीछे का विचार निम्नलिखित है: यदि आप एक ही डेटा पर n मॉडल को प्रशिक्षित करते हैं, लेकिन विभिन्न संपीड़न अनुपातों के साथ, उनके काम के परिणाम अभी भी समान होंगे। इसी समय, एडवांसरियल उदाहरण, जो स्रोत नेटवर्क पर काम करता है, सबसे अधिक संभावना अतिरिक्त नेटवर्क पर विफल हो जाएगी। इस प्रकार, प्रारंभिक तंत्रिका नेटवर्क के आउटपुट और अतिरिक्त लोगों के बीच युग्मित अंतर को देखते हुए, उनमें से अधिकतम को चुनना और इसकी तुलना पूर्व-चयनित सीमा के साथ की जा सकती है, हम यह बता सकते हैं कि इनपुट ऑब्जेक्ट या तो एडवांसरियल है या बिल्कुल मान्य है।

निम्नलिखित एआरटी-आईबीएम का उपयोग करके संकुचित वस्तुओं को प्राप्त करने की एक विधि है

 from art.defences.feature_squeezing import FeatureSqueezing FS = FeatureSqueezing() new_x = FS(train_x)

हम सुरक्षा विधियों के साथ समाप्त होंगे। लेकिन एक महत्वपूर्ण बिंदु को समझ नहीं पाना गलत होगा। यदि किसी हमलावर के पास मॉडल इनपुट और आउटपुट तक पहुंच नहीं है, तो वह यह नहीं समझेगा कि मॉडल में प्रवेश करने से पहले कच्चे डेटा को आपके सिस्टम के अंदर कैसे संसाधित किया जाता है। तब और उसके बाद ही उसके सभी हमलों को इनपुट मानों को बेतरतीब ढंग से छाँटने के लिए कम किया जाएगा, जो स्वाभाविक रूप से वांछित परिणाम के लिए नेतृत्व करने की संभावना नहीं है।

परीक्षण

अब प्रतिकूल उदाहरणों का मुकाबला करने के लिए परीक्षण एल्गोरिदम के बारे में बात करते हैं। यहां, सबसे पहले, यह समझना आवश्यक है कि हम अपने मॉडल का परीक्षण कैसे करेंगे। अगर हम मानते हैं कि किसी भी तरह से एक हमलावर पूरे मॉडल तक पूरी पहुंच हासिल कर सकता है, तो व्हाइटबॉक्स हमले के तरीकों का उपयोग करके हमारे मॉडल का परीक्षण करना आवश्यक है।

एक अन्य मामले में, हम मानते हैं कि एक हमलावर कभी भी हमारे मॉडल के "इनसाइड" तक पहुंच प्राप्त नहीं करेगा, हालांकि, वह अप्रत्यक्ष रूप से, इनपुट डेटा को प्रभावित करने और मॉडल के परिणाम को देखने में सक्षम होगा। फिर आपको ब्लैकबॉक्स हमलों के तरीकों को लागू करना चाहिए।

सामान्य परीक्षण एल्गोरिथ्म का वर्णन निम्न उदाहरण के साथ किया जा सकता है:

बता दें कि TensorFlow (TF NN) में एक प्रशिक्षित तंत्रिका नेटवर्क लिखा गया है। हम स्पष्ट रूप से दावा करते हैं कि हमारा नेटवर्क एक हमलावर के हाथों में गिर सकता है जहां सिस्टम स्थित है, जहां मॉडल स्थित है। इस मामले में, हमें व्हाइटबॉक्स हमलों को करने की आवश्यकता है। ऐसा करने के लिए, हम एक हमले के पूल और चौखटे (FoolBox - FB, CleverHans - CH, Adversarial मजबूती टूलबॉक्स - ART) को परिभाषित करते हैं जो इन हमलों को लागू करने की अनुमति देते हैं। फिर, यह गिनती करते हुए कि कितने हमले सफल रहे, हम सक्सेस रेट (एसआर) की गणना करते हैं। यदि एसआर हमें सूट करता है, तो हम परीक्षण समाप्त करते हैं, अन्यथा हम सुरक्षा विधियों में से एक का उपयोग करते हैं, उदाहरण के लिए, एआरटी-आईबीएम में लागू किया गया। फिर हम हमलों को अंजाम देते हैं और एसआर पर विचार करते हैं। जब तक एसआर हमें सूट नहीं करता, तब तक हम यह ऑपरेशन साइक्लीकली करते हैं।

निष्कर्ष

मैं हमलों, बचाव और परीक्षण मशीन सीखने के मॉडल के बारे में सामान्य जानकारी के साथ यहां समाप्त करना चाहता हूं। दो लेखों को सारांशित करते हुए, हम निम्नलिखित निष्कर्ष निकाल सकते हैं:

मशीन लर्निंग को एक ऐसे चमत्कार के रूप में न मानें जो आपकी सभी समस्याओं को हल कर सकता है।
अपने कार्यों में मशीन लर्निंग एल्गोरिदम को लागू करते समय, इस बारे में सोचें कि यह एल्गोरिदम एडवांसरियल उदाहरणों के लिए इस तरह के खतरे के प्रति कितना प्रतिरोधी है।
आप मशीन लर्निंग के पक्ष से, और उस सिस्टम के पक्ष से एल्गोरिथ्म की रक्षा कर सकते हैं जिसमें यह मॉडल संचालित है।
अपने मॉडल का परीक्षण करें, खासकर उन मामलों में जहां मॉडल का परिणाम सीधे निर्णय को प्रभावित करता है
फ़ुलबॉक्स, क्लीवरहैंस, एआरटी-आईबीएम जैसे पुस्तकालय मशीन लर्निंग मॉडल पर हमला करने और बचाव के लिए एक सुविधाजनक इंटरफ़ेस प्रदान करते हैं।

इसके अलावा इस लेख में मैं FoolBox, CleverHans और ART-IBM पुस्तकालयों के साथ काम को संक्षेप में प्रस्तुत करना चाहूंगा:

फुलबॉक्स तंत्रिका नेटवर्क पर हमला करने के लिए एक सरल और समझने योग्य पुस्तकालय है, कई अलग-अलग रूपरेखाओं का समर्थन करता है।

क्लेवरहंस एक पुस्तकालय है जो आपको हमले के कई मापदंडों को बदलकर हमले करने की अनुमति देता है, जो फुलबॉक्स की तुलना में थोड़ा अधिक जटिल है, कम रूपरेखाओं का समर्थन करता है।

ART-IBM उपरोक्त में से एकमात्र पुस्तकालय है जो आपको सुरक्षा विधियों के साथ काम करने की अनुमति देता है, अब तक यह केवल TensorFlow और Keras का समर्थन करता है, लेकिन यह दूसरों की तुलना में तेज़ी से विकसित हो रहा है।

यहां यह कहने योग्य है कि Baidu से एडवांसरियल उदाहरणों के साथ काम करने के लिए एक और पुस्तकालय है , लेकिन, दुर्भाग्य से, यह केवल उन लोगों के लिए उपयुक्त है जो चीनी बोलते हैं।

इस विषय पर अगले लेख में, हम उस कार्य के उस भाग का विश्लेषण करेंगे, जिसे ज़ीरोनाइट्स हैकक्वेस्ट 2018 के दौरान हल करने का प्रस्ताव दिया गया था, जिसमें फ़ुलबॉक्स लाइब्रेरी का उपयोग करके एक विशिष्ट तंत्रिका नेटवर्क को धोखा दिया गया था।

मशीन लर्निंग एल्गोरिदम की सुरक्षा। पायथन का उपयोग करके मॉडल की सुरक्षा और परीक्षण करना