मशीन लर्निंग मॉडल पर हमला रोबोट कारों को मारता है

विभिन्न दूरी और विभिन्न कोणों पर कला स्टिकर के साथ प्रयोगात्मक छवियों का एक सेट: (ए) 5 फीट, 0 डिग्री; (b) 5 '15 °; (c) 10 ° 0 °; (d) 10-30 °; (e) 40 ° 0 °। धोखा किसी भी दूरी पर और किसी भी कोण पर काम करता है: स्टॉप साइन के बजाय, मशीन लर्निंग सिस्टम साइन को देखता है "स्पीड लिमिट 45 मील"

जबकि कुछ वैज्ञानिक मशीन लर्निंग सिस्टम में सुधार कर रहे हैं, अन्य वैज्ञानिक इन प्रणालियों को धोखा देने के तरीकों में सुधार कर रहे हैं।

जैसा कि आप जानते हैं, तस्वीर में छोटे लक्षित परिवर्तन मशीन लर्निंग सिस्टम को "तोड़" सकते हैं, ताकि यह पूरी तरह से अलग छवि को पहचान ले। इस तरह के "ट्रोजन" चित्रों को "प्रतिकूल उदाहरण" कहा जाता है और गहरी सीखने की प्रसिद्ध सीमाओं में से एक का प्रतिनिधित्व करते हैं।

एक प्रतिस्पर्धात्मक उदाहरण बनाने के लिए, आपको सक्रियण को अधिकतम करने की आवश्यकता है, उदाहरण के लिए, एक निश्चित संवेदी तंत्रिका नेटवर्क फ़िल्टर के लिए। वाशिंगटन विश्वविद्यालय से इवान येवटीमोव, बर्कले में कैलिफ़ोर्निया विश्वविद्यालय के सहयोगियों के साथ, मिशिगन विश्वविद्यालय और स्टोनी ब्रुक के न्यूयॉर्क विश्वविद्यालय ने एक नया हमला एल्गोरिथ्म विकसित किया - मजबूत शारीरिक गड़बड़ी (रोबस्ट फिजिकल पर्फर्बेशन या आरपी ₂ )। यह मानवरहित वाहनों, रोबोट, क्वाडकोप्टर और किसी भी अन्य रोबोटिक सिस्टम की दृष्टि को बहुत प्रभावी ढंग से पकड़ता है जो आसपास के स्थान में नेविगेट करने का प्रयास करता है।

पिछले अध्ययनों के विपरीत, यहां लेखकों ने पृष्ठभूमि के बजाय, स्वयं वस्तुओं को सीधे बदलने पर ध्यान केंद्रित किया। शोधकर्ताओं का कार्य सबसे छोटा संभव डेल्टा खोजना था जो मशीन लर्निंग सिस्टम के क्लासिफायरियर को खटखटाएगा, जिसे LISA सड़क संकेतों की छवियों के साथ डेटा सेट पर प्रशिक्षित किया गया था। लेखकों ने स्वतंत्र रूप से विभिन्न परिस्थितियों (दूरी, कोण, प्रकाश व्यवस्था) में सड़क पर सड़क के संकेतों की कई तस्वीरें लीं और प्रशिक्षण के लिए LISA डेटासेट को पूरक बनाया।

इस तरह के एक डेल्टा की गणना करने के बाद, एक मुखौटा सामने आया था - छवि में एक जगह (या कई जगह) जो मशीन सीखने की प्रणाली (मशीन दृष्टि) में सबसे मज़बूती से गड़बड़ी का कारण बनती है। परिणामों को सत्यापित करने के लिए प्रयोगों की एक श्रृंखला आयोजित की गई थी। प्रयोग मुख्य रूप से एक स्टॉप सिग्नल ("STOP" संकेत) पर किए गए थे, जो शोधकर्ताओं ने मशीन की दृष्टि के लिए कई सहज जोड़तोड़ के साथ "SPEED LIMIT 45" संकेत में बदल दिया। विकसित तकनीक का उपयोग किसी अन्य संकेत पर किया जा सकता है। लेखकों ने इसके बाद एक बारी संकेत पर इसका परीक्षण किया।

शोध टीम ने मशीन विजन सिस्टम पर दो तरह के हमले किए हैं जो ट्रैफिक संकेतों को पहचानते हैं। पहला हमला संकेत के पूरे क्षेत्र पर छोटे अगोचर परिवर्तन है। एडम ऑप्टिमाइज़र का उपयोग करके, वे अलग-अलग, लक्षित, प्रतिस्पर्धी उदाहरण बनाने के लिए मास्क को कम से कम करने में सक्षम थे जो विशिष्ट सड़क संकेतों को लक्षित करते हैं। इस मामले में, मशीन लर्निंग सिस्टम को कम से कम छवि परिवर्तन के साथ धोखा दिया जा सकता है, और लोग कुछ भी नोटिस नहीं करेंगे। इस तरह के हमले की प्रभावशीलता को मामूली बदलावों के साथ मुद्रित पोस्टर पर परीक्षण किया गया था (पहले, शोधकर्ताओं को यह विश्वास था कि मशीन दृष्टि प्रणाली सफलतापूर्वक बदलाव के बिना पोस्टर को पहचानती है)।

दूसरे प्रकार का हमला छलावरण है। यहां, सिस्टम या तो बर्बरता या कलात्मक भित्तिचित्रों के कृत्यों का अनुकरण करता है, ताकि सिस्टम आसपास के लोगों के जीवन में हस्तक्षेप न करे। इस प्रकार, चालक तुरंत बाएं मोड़ संकेत या ब्रेक लाइट को देखेगा, और रोबोट को पूरी तरह से अलग संकेत दिखाई देगा। इस तरह के हमले की प्रभावशीलता को वास्तविक सड़क संकेतों पर परीक्षण किया गया था, जिन्हें स्टिकर के साथ सील कर दिया गया था। भित्तिचित्र छलावरण में LOVE और HATE शब्द के रूप में स्टिकर शामिल थे, और अमूर्त कला जैसे छलावरण - काले और सफेद में चार आयताकार-आकार के स्टिकर।

प्रयोग के परिणाम तालिका में दिखाए गए हैं। सभी मामलों में, मशीन लर्निंग क्लासिफायर को धोखा देने की प्रभावशीलता दिखाई जाती है, जो संशोधित "STOP" संकेत को "SPEED LIMIT 45" संकेत के रूप में पहचानती है। दूरी पैरों में है, और रोटेशन का कोण डिग्री में है। दूसरा कॉलम दूसरी कक्षा को दिखाता है, जिसे मशीन लर्निंग सिस्टम में संशोधित संकेत में देखा जाता है। उदाहरण के लिए, 5 फीट (152.4 सेमी) की दूरी से, 0 डिग्री के कोण पर अमूर्त कला जैसे छलावरण "STOP" चिन्ह को पहचानने के लिए निम्नलिखित परिणाम उत्पन्न करते हैं: 64% के विश्वास के साथ, इसे "SPEED LIMIT 45" संकेत के रूप में मान्यता दी गई है, और 11% के विश्वास के साथ - लेन एंड्स साइन।


किंवदंती: SL45 = स्पीड लिमिट 45, एसटीपी = स्टॉप, YLD = यील्ड, ADL = जोड़ा लेन, SA = सिग्नल आगे, LE = लेन एंड्स

शायद भविष्य में मानव जाति द्वारा ऐसी प्रणाली (संगत परिवर्तनों के साथ) की आवश्यकता होगी, और अब इसका उपयोग मशीन सीखने और कंप्यूटर दृष्टि की अपूर्ण प्रणालियों का परीक्षण करने के लिए किया जा सकता है।

वैज्ञानिक कार्य 27 जुलाई, 2017 को प्रीप्रिंट साइट arXiv.org (arXiv: 1707.08945) पर प्रकाशित किया गया था।