🧖🏾 👩🏻‍⚕️ 🧝🏿 मशीन लर्निंग एल्गोरिदम की सुरक्षा। अजगर का हमला 🤴🏼 🤛🏻 🤲🏽

मशीन लर्निंग का हमारे जीवन के कई क्षेत्रों में सक्रिय रूप से उपयोग किया जाता है। एल्गोरिदम ट्रैफ़िक संकेतों को पहचानने, स्पैम को फ़िल्टर करने, फेसबुक पर हमारे दोस्तों के चेहरे को पहचानने और यहां तक कि स्टॉक एक्सचेंजों पर व्यापार करने में मदद करते हैं। एल्गोरिथ्म महत्वपूर्ण निर्णय लेता है, इसलिए आपको यह सुनिश्चित करने की आवश्यकता है कि इसे बेवकूफ नहीं बनाया जा सकता है।

इस लेख में, जो एक श्रृंखला के पहले है, हम आपको मशीन लर्निंग एल्गोरिदम की सुरक्षा की समस्या से परिचित कराएंगे। इसके लिए पाठक से मशीन सीखने के उच्च स्तर के ज्ञान की आवश्यकता नहीं होती है, यह इस क्षेत्र के सामान्य विचार के लिए पर्याप्त है।

सबसे पहले, हम मशीन लर्निंग एल्गोरिदम की सुरक्षा के विषय में इस्तेमाल की गई शर्तें देते हैं:
एक प्रतिकूल उदाहरण एक वेक्टर है जो एक एल्गोरिथ्म को इनपुट खिलाता है जिस पर एल्गोरिथ्म एक गलत आउटपुट उत्पन्न करता है।
एडवर्सरियल अटैक - एक एक्शन एल्गोरिदम जिसका उद्देश्य एक एडवांसरियल उदाहरण प्राप्त करना है।

एडवरसरीअल उदाहरणों की समस्या को समझने के लिए, आइए मशीन सीखने के एक कार्य को याद करें - ग्रेडिंग में शिक्षक के साथ सीखना। इस समस्या में, हमारे पास "ऑब्जेक्ट-लेबल" जोड़े हैं, और हमें नई वस्तुओं के लिए मूल्य का अनुमान लगाना सीखना चाहिए।

यदि हम इस समस्या पर एक ज्यामितीय दृष्टिकोण से विचार करते हैं, तो नई वस्तु पर "सही" वर्ग की भविष्यवाणी करने के लिए इस तरह से अंतरिक्ष को विभाजित करना आवश्यक है। इसके अलावा, अगर हमारे पास सामान्य डेटा सेट (उदाहरण के लिए, हस्तलिखित अंकों के सेट के लिए MNIST में सभी अंकों की सभी प्रकार की छवियां हैं), तो यह हाइपरप्लेन आदर्श रूप से किया जा सकता है, बशर्ते कि वर्ग अलग-अलग हों। लेकिन चूंकि सामान्य आबादी सबसे अधिक बार मौजूद नहीं है, इसलिए इस समस्या को हल करने के लिए हम "आदर्श" हाइपरप्लेन को अनुमानित रूप से यथासंभव सटीक डेटा का उपयोग करके मशीन लर्निंग एल्गोरिदम का उपयोग करते हैं जो हमारे पास है।

आदर्श से हाइपरप्लेन का कोई भी विचलन एक निश्चित "गैप" को जन्म देता है, जिसमें वस्तुओं को गलत तरीके से वर्गीकृत किया जाता है। यही कारण है कि पांडा, गिब्बन के रूप में वर्गीकृत जैसे उदाहरण दिखाई देते हैं। और हमलावर का कार्य ऑब्जेक्ट के मापदंडों के वेक्टर को बदलने के लिए कम हो जाता है ताकि यह इस "अंतराल" में गिर जाए।

सलाहकारों के हमलों के उदाहरण

एक तंत्रिका नेटवर्क है जो एक तस्वीर में चेहरे का पता लगाता है। वह सफलतापूर्वक कार्य (बाईं ओर की छवि) का मुकाबला करती है। लेकिन इस तस्वीर (दाईं ओर की छवि) में थोड़ा शोर जोड़ने के बाद, प्राप्त प्रतिकूल उदाहरण (केंद्र में छवि) पर एल्गोरिथ्म अब छवि में चेहरे का पता नहीं लगाता है।

यह उदाहरण, " तंत्रिका नेट आधारित विवश अनुकूलन का उपयोग करते हुए फेस डिटेक्टरों पर एडवांसरियल अटैक्स " लेख में प्रदर्शित किया गया है, यह दिलचस्प है क्योंकि कई वास्तविक चेहरा पहचान प्रणाली चेहरे का पता लगाने के लिए तंत्रिका नेटवर्क दृष्टिकोण का उपयोग करते हैं। दोनों छवियों को देखने पर एक व्यक्ति को अंतर दिखाई नहीं देगा।

निम्नलिखित उदाहरण मोटर वाहन से लिया गया था, अर्थात् ट्रैफ़िक साइन मान्यता। यह उदाहरण दिलचस्प है कि प्रतिकूल उदाहरण के लिए ऑब्जेक्ट को कम से कम कुछ हद तक ऑब्जेक्ट होना जरूरी नहीं है, जिस पर नेटवर्क को प्रशिक्षित किया गया था। उदाहरण के लिए, दुष्ट संकेतों में: दुर्भावनापूर्ण विज्ञापन और लोगो के साथ ट्रैफ़िक साइन पहचान को देखते हुए , यह दिखाया गया था कि KFC साइन के प्रतिकूल उदाहरण को 100% प्रायिकता के साथ STOP साइन के रूप में मूल तंत्रिका नेटवर्क द्वारा "पहचाना" जाएगा।

कई लोग वास्तविक दुनिया में प्रतिकूल उदाहरणों के उपयोग पर संदेह कर सकते हैं, क्योंकि पिछले उदाहरणों को कंप्यूटर पर परीक्षण किया गया था, जबकि वास्तविक जीवन में ऐसी वस्तु को प्राप्त करना मुश्किल है। लेकिन ऐसा है नहीं। रोबस्ट एडवांसरियल उदाहरणों का संश्लेषण करते हुए पता चला कि कंप्यूटर पर बनाया गया एक प्रतिकूल उदाहरण सफलतापूर्वक 3 डी प्रिंटर पर मुद्रित किया जा सकता है, और एल्गोरिथ्म कंप्यूटर सिमुलेशन के समान ही गलतियां करेगा।

यहाँ आप एक 3 डी प्रिंटर पर एक कछुए को छपा हुआ देखते हैं जिसे किसी भी कोण पर कछुए के रूप में नहीं पहचाना गया था।

निम्नलिखित उदाहरण दिखाता है कि अगर हम प्रतिकूल हमलों की सामान्य समझ से परे जाते हैं तो क्या किया जा सकता है। अर्थात्, अपने स्वयं के पेलोड का उपयोग करने के लिए स्रोत नेटवर्क को फिर से शुरू करें। दूसरे शब्दों में, हम हमलावर द्वारा उत्पन्न समस्या को हल करने के लिए किसी और के तंत्रिका नेटवर्क का उपयोग करना सीखते हैं। उदाहरण के लिए, तंत्रिका नेटवर्क के एडवरसियल रिप्रोग्रामिंग ने प्रदर्शित किया कि कैसे ImageNet पर प्रशिक्षित एक नेटवर्क ने छवि में वर्गों की संख्या की पूरी तरह से गणना की और MNIST सेट से संख्याओं को पहचान लिया।

छवि एडवरसरीअल रिप्रोग्रामिंग के एल्गोरिथ्म को प्रदर्शित करती है, जो मूल लेख में बेहतर जानने के लिए अनुशंसित है।

इस लेख में, मैं विशेष रूप से Adversarial उदाहरण बनाने के तरीकों के बारे में बात करना चाहूंगा, और दूसरे लेख में हम सुरक्षा और परीक्षण मशीन लर्निंग एल्गोरिदम के तरीकों पर आगे बढ़ेंगे।

हमला वर्गीकरण

सभी हमलों को 2 वर्गों में विभाजित किया जा सकता है: व्हाइटबॉक्स (डब्ल्यूबी) और ब्लैकबॉक्स (बीबी) । डब्ल्यूबी के मामले में, हम एल्गोरिथ्म के प्रशिक्षित मॉडल के बारे में सभी जानकारी जानते हैं, जबकि बीबी के मामले में हमारे पास केवल मॉडल के इनपुट और आउटपुट तक पहुंच है। वास्तव में, ग्रेबॉक्स विकल्प अभी भी संभव है जब हम प्रशिक्षित मॉडल के बारे में जानकारी नहीं जानते हैं, लेकिन एल्गोरिथ्म के प्रकार और इसके हाइपरपरमेटर्स के बारे में जानकारी है। लेकिन यह प्रकार एक अलग वर्ग में नहीं खड़ा है, क्योंकि अतिरिक्त जानकारी डब्ल्यूबी में जाने के लिए पर्याप्त नहीं है, जिसका अर्थ है कि यह केवल बी बी हमले के संचालन के लिए जानकारी का एक अतिरिक्त सेट है।

अगला, यह लक्षित और गैर लक्षित पर हमलों को वर्गीकृत करने के लायक है। लक्षित हमलों का मतलब है कि हमला एक निश्चित दिशा में किया जाता है। उदाहरण के लिए, MNIST डेटासेट पर, हम तंत्रिका नेटवर्क को प्रशिक्षित करते हैं और परीक्षण सेट से छवि 0 लेते हैं। एक प्रशिक्षित तंत्रिका नेटवर्क इस ऑब्जेक्ट में एक कक्षा 0 की संभावना 1.00 उत्पन्न करता है। यदि हम चाहते हैं कि प्रतिकूल आक्रमण को लागू करने के बाद प्रतिकूल उदाहरण को वर्ग 1 के रूप में मान्यता दी जाए, तो हम लक्षित हमले का उपयोग करेंगे। अन्यथा, अगर यह हमारे लिए विशेष रूप से महत्वपूर्ण नहीं है कि तंत्रिका नेटवर्क किस वर्ग को छवि प्राप्त करेगा (मुख्य बात यह है कि यह अब 0 वर्ग नहीं है), तो ऐसा हमला गैर लक्षित होगा।

इसके अलावा, हमलों को एक मीट्रिक में विभाजित किया जाता है जिसके अनुसार 2 वस्तुओं को समान माना जाता है - $l_0, l_2, l_ \ infty$ आदर्श। $l_0$ मानदंड - परिवर्तित मापदंडों की संख्या। $l_2$ यूक्लिडियन दो वैक्टर के बीच की दूरी। $l_ \ infty$ दो वैक्टर के बीच अधिकतम तत्व-वार अंतर।

पायथन लाइब्रेरी

पायथन डेटा लाइब्रेरी आपको एडवांसरियल उदाहरणों के साथ काम करने की अनुमति देती है। ये हैं FoolBox, CleverHans और ART-IBM।

	Foolbox	CleverHans	एआरटी-आईबीएम
समर्थित चौखटे	TensorFlow, Keras, Theano, PyTorch, Lasagne, MXNet	टेंसोरफ्लो, केरस	TensorFlow, Keras, वादा MXNet, PyTorch

अब हमलों को थोड़ा और विस्तार से देखते हैं, और व्हाइटबॉक्स हमलों के साथ शुरू करते हैं।

एल-बीएफजीएस हमला

L-BFGS विधि का विवरण निम्नानुसार लिखा जा सकता है।
$मिनिमम \ स्पेस c | r | + loss_f (x + r, l)$
यह इस प्रकार है कि हम लक्ष्य वर्ग की दिशा में नुकसान फ़ंक्शन को इस प्रतिबंध के साथ कम से कम करना चाहते हैं कि शुरू किए गए परिवर्तन न्यूनतम थे। उसी समय, एल-बीएफजीएस पद्धति का उपयोग करके मूल लेख में इस तरह की समस्या को हल करने का प्रस्ताव किया गया था, इसलिए इस हमले का नाम।

मूल लेख - तंत्रिका नेटवर्क के गूढ़ गुण

इस हमले को पहले के 3 आवाज वाले पुस्तकालयों में प्रस्तुत किया गया है - फुलबॉक्स और क्लीवरहंस।

और फुलबॉक्स पर इस हमले के आवेदन में पायथन में कोड की 3 लाइनें लगती हैं:

from foolbox.attacks import LBFGSAttack attack = LBFGSAttack(fmodel) adversarial = attack(image, label)

एल-बीएफजीएस का उपयोग करने से आपको अपनी सीमाओं के आधार पर सर्वोत्तम प्रतिकूल उदाहरण खोजने में मदद मिलेगी, लेकिन, सबसे पहले, इस तरह के उदाहरण की खोज करने में लंबा समय लग सकता है, और दूसरी बात, यह बहुत संभव है कि विधि केवल अभिसरण नहीं करेगी।

FGSM का हमला

विकास का अगला चरण FGSM (फास्ट साइन ग्रेडिएंट मेथड) था, जिसे सूत्र का उपयोग करके दिखाया जा सकता है:

$X '= X + \ epsilon * साइन (\ nabla_x J (X, ytrue))$

यह विधि L-BFGS की तुलना में बहुत तेज काम करती है। यहां हम मूल नुकसान फ़ंक्शन के ग्रेडिएंट फ़ंक्शन से संकेत लेते हैं, कुछ को संकेत गुणा करते हैं $\ epsilon$ , मूल छवि में जोड़ें।

यहाँ एक उदाहरण है कि यह विधि कैसे काम करती है। के साथ एक शोर नक्शा $\ epsilon$ 0.007 के बराबर है, और यह पता चला है कि पांडा की तस्वीर को अब 99.3% की संभावना के साथ गिबन के रूप में पहचाना जाता है

यह विधि लागू करने के लिए सरल है, लेकिन एक ही समय में, इस पद्धति का परिणाम बहुत शोर है।

मूल लेख - व्याख्यात्मक और हार्दिक सलाह देने वाले उदाहरण

आप पुस्तकालयों में इस पद्धति का कार्यान्वयन पा सकते हैं, और मूर्ख बॉक्स का उपयोग करने में भी अधिक समय नहीं लगेगा।

 from foolbox.attacks import FGSM attack = FGSM(fmodel) adversarial = attack(image, label)

गहरा हमला

डीपफूल एक नॉन टारगेटेड मेथड है। पिछले तरीकों से इसका मुख्य अंतर यह है कि यह एक न्यूनतम शोर मानचित्र बनाने की कोशिश करता है, जो एल्गोरिथ्म को धोखा देगा। विधि आपको एक वर्ग से एक विशेष वर्ग बनाने की अनुमति नहीं देती है, लेकिन मूल छवि के सबसे करीब किसी अन्य को करती है।

एक उदाहरण मूल तस्वीर दिखाता है, नीचे की रेखा पर - FGSM विधि, और बीच में - बस एक डीपफुल हमला। यह देखा जा सकता है कि शोर कार्ड FGSM की तुलना में बहुत छोटा है।

मूल लेख - डीपफूल: गहरे तंत्रिका नेटवर्क को मूर्ख बनाने की एक सरल और सटीक विधि

किसी भी सूचीबद्ध पुस्तकालयों का उपयोग करके इस तरह के हमले को अंजाम दिया जा सकता है, और ART-IBM पर कार्यान्वयन कोड की केवल 3 पंक्तियाँ लेता है:

 from art.attacks import DeepFool attack = DeepFool(model) img_adv = attack.generate(img)

जैकबियन सैलियशन मैप अटैक

JSMA विधि में, एक प्रत्यक्ष व्युत्पन्न माना जाता है, जिसके आधार पर एक ढाल मानचित्र बनाया जाता है। मानचित्र पर, वस्तु का प्रत्येक पैरामीटर वास्तव में एल्गोरिथम के अंतिम परिणाम को बदलने के लिए इस पैरामीटर के योगदान से मेल खाता है। इस प्रकार, विधि आपको आक्रमण की गई वस्तु में यथासंभव कुछ मापदंडों को बदलने की अनुमति देती है। और, तदनुसार, यह काम करता है $l_0$ सामान्य।

मूल लेख - दीप लर्निंग ऑफ़ एडवांसरियल सेटिंग्स

यह हमला क्लेवरहंस या एआरटी-आईबीएम का उपयोग करके किया जा सकता है। और क्लेवरहंस पर, यह इस तरह दिखता है:

 from cleverhans.attacks import SaliencyMapMethod jsma = SaliencyMapMethod(model, sees=sees) jsma_params = { 'theta' : 1., 'gamma' : 0.1, 'clip_min' : 0., 'clip_max' : 1., 'y_target' : None} adv_x = jsma.generate_np(img, **jsma_params)

एक पिक्सेल हमला

तार्किक सवाल यह है कि एल्गोरिदम पर हमले के लिए पिक्सल की न्यूनतम संख्या क्या है जिसे बदलने की आवश्यकता है, और जैसा कि कई लोग पहले ही हमले के नाम से अनुमान लगा चुके हैं, 1 पिक्सेल पर्याप्त है।

उदाहरण के लिए, केवल एक पिक्सेल के साथ एक घोड़े की छवि 99.9% की संभावना के साथ मेंढक बन जाती है

मूल लेख - गहरे तंत्रिका नेटवर्क को बेवकूफ बनाने के लिए एक पिक्सेल हमला

यह हमला केवल FoolBox में समर्थित है, और इसका कार्यान्वयन निम्नानुसार है:

 from foolbox.attacks import SinglePixelAttack attack = SinglePixelAttack(fmodel) adversarial = attack(image,max_pixel=1)

यहां यह एक आरक्षण बनाने और कहने योग्य है कि मूल लेख की तुलना में फ़ूलबॉक्स में एल्गोरिथ्म का कार्यान्वयन, हालांकि एक सामान्य लक्ष्य है (छवि में पिक्सेल की विशिष्ट संख्या को बदलने के लिए), लेकिन छवि प्राप्त करने की विधि में भिन्न है।

ब्लैकबॉक्स मॉडल के सामान्यीकरण के आधार पर तरीके

अधिकांश तरीकों को इस बात की समझ की आवश्यकता है कि मॉडल की संरचना कैसे की जाती है, इसके मापदंडों के सटीक मूल्यों का ज्ञान, लेकिन व्यवहार में यह शायद ही संभव है। और यही कारण है कि एक अलग हमले की दिशा प्रकट होती है - ब्लेकबॉक्स / ग्रेबॉक्स हमले। ऐसे हमलों के लिए, मॉडल के इनपुट और आउटपुट तक पहुंच होना पर्याप्त है।

ब्लैकबॉक्स मॉडल पर हमले को लागू करने के तरीकों में से एक इस मॉडल को स्टूडेंट (सब्स्टीट्यूट पिक्चर) मॉडल में सामान्यीकृत करना है।

ब्लैकबॉक्स मॉडल (शिक्षक) को डेटा भेजने और इस मॉडल के आउटपुट तक पहुंच प्राप्त करने के बाद, हम एक डेटासेट बना सकते हैं, जिस पर अपने स्वयं के मॉडल (छात्र) को प्रशिक्षित करना संभव है, जिससे शिक्षक मॉडल सामान्य हो जाता है। उसके बाद, आप छात्र मॉडल पर व्हाइटबॉक्स हमले का उपयोग कर सकते हैं, और संभावना के उच्च स्तर के साथ यह हमला शिक्षक मॉडल पर भी होगा। इस तरह के हमले की संभावना अधिक है, हमारे पास शिक्षक मॉडल के बारे में अधिक ज्ञान है। उदाहरण के लिए, हम जानते हैं कि शिक्षक मॉडल छवियों को संसाधित करता है, इमेजनेट वेट के साथ सबसे अधिक बार पूर्व-प्रशिक्षित आर्किटेक्चर (रेसनेट, इनसेप्शन) का उपयोग इमेज प्रोसेसिंग के लिए किया जाता है। एक ही वास्तुकला के साथ छात्र मॉडल के आधार पर, एक सफल हमले की संभावना को अधिकतम किया जाएगा।

मूल लेख - मशीन लर्निंग के खिलाफ प्रैक्टिकल ब्लैक-बॉक्स हमलों

यह विधि किसी भी पुस्तकालयों में प्रस्तुत नहीं की गई है और इसके लिए छात्र मॉडल के स्वतंत्र कार्यान्वयन की आवश्यकता है, और इस पर हमला ऊपर वर्णित विधियों का उपयोग करके किया जा सकता है।

GAN- आधारित विधियाँ

ब्लैकबॉक्स हमलों के विकास में अगला चरण जेनेरिक-प्रतिकूल-नेटवर्क नेटवर्क (जीएएन) की वास्तुकला में ब्लैकबॉक्स मॉडल को एम्बेड करने के आधार पर हमले थे, एक ऐसा नेटवर्क जो नई वस्तुओं की पीढ़ी को अनुमति देता है, जिसे बाद में ब्लैक-बॉक्स मॉडल में स्थानांतरित किया जाएगा।

इस विधि ने लगभग किसी भी वास्तुकला के लिए प्रतिकूल उदाहरणों की पीढ़ी की अनुमति दी। इसके लिए हमले वाले मॉडल के प्रवेश और निकास तक पहुंच की भी आवश्यकता होती है।

मूल लेख में इस विधि के बारे में और पढ़ें - UPSET और ANGRI: ब्रेकिंग हाई परफॉर्मेंस इमेज क्लासिफायरियर

जैसा कि आपने अनुमान लगाया होगा, इन तरीकों का प्रतिनिधित्व किसी भी पुस्तकालयों में नहीं किया जाता है।

निष्कर्ष

वास्तव में, बड़ी संख्या में हमले होते हैं। यह लेख उनमें से कुछ को ही कवर करता है। हमें उम्मीद है कि इस सामग्री ने आपको प्रतिकूल उदाहरणों और उनकी पीढ़ी के एल्गोरिदम की मूल अवधारणाओं को समझने में मदद की है। अधिक विस्तृत समीक्षा के लिए, हम अनुशंसा करते हैं कि आप संदर्भ की सूची से मूल लेख और सामग्री पढ़ें।

आपको अगले लेख में देखें, जो मशीन लर्निंग एल्गोरिदम की सुरक्षा और परीक्षण के तरीकों पर ध्यान केंद्रित करेगा।

संदर्भ

कंप्यूटर विजन में गहन सीखने पर सलाह के हमलों के खतरे: एक सर्वेक्षण - कंप्यूटर विजन में गहरी सीखने की एल्गोरिथ्म पर हमले के तरीकों का एक बड़ा अवलोकन
एडवरसैरियल उदाहरणों के साथ मशीन लर्निंग पर हमला - एक OpenAI ब्लॉग जो प्रतिकूल उदाहरणों के लिए समर्पित है
विस्मयकारी सलाहकार मशीन लर्निंग - एडिटेरिअल विषयों पर बहुत सारी उपयोगी सामग्री के लिंक के साथ जीथब
एडवांसरियल मशीन लर्निंग पर प्रस्तुति - मॉस्कोपायोनकॉन 2017 से कॉन्फ्रेंस ऑन प्रेजेंटर एडिशनल मशीन लर्निंग

मशीन लर्निंग एल्गोरिदम की सुरक्षा। अजगर का हमला