2018 मशीनें देख सकते हैं

या मैं मशीनों की 2018 की प्रतिकूल प्रतियोगिता की विजेता टीम में कैसे समाप्त हुआ।


किसी भी प्रतिस्पर्धी हमलों का सार एक उदाहरण है।

यह सिर्फ इतना हुआ कि मैं मशीनों 2018 की प्रतियोगिता में भाग लेने के लिए हुआ। मैं प्रतियोगिता में शामिल हुआ, मैं थोड़ा देर से (लगभग एक सप्ताह पहले) समाप्त हो गया था, लेकिन अंततः 4 लोगों की एक टीम में समाप्त हो गया, जहां हम तीनों का योगदान था (मेरे सहित) जीत के लिए आवश्यक (एक घटक को हटा दें - और हम बाहरी होंगे)।

प्रतियोगिता का उद्देश्य लोगों के चेहरे को बदलना है ताकि आयोजकों द्वारा एक ब्लैक बॉक्स के रूप में प्रस्तुत किया जाने वाला सजातीय तंत्रिका नेटवर्क, लक्ष्य चेहरे से स्रोत चेहरे को अलग न कर सके। अनुमत परिवर्तनों की संख्या SSIM द्वारा सीमित थी।

मूल लेख यहां पोस्ट किया गया ।

लगभग। शब्दावली का अनाड़ी अनुवाद या इसकी अनुपस्थिति रूसी भाषा में स्थापित शब्दावली की कमी से निर्धारित होती है। आप टिप्पणियों में अपने विकल्पों का सुझाव दे सकते हैं।


प्रतियोगिता का सार प्रवेश द्वार पर चेहरा बदलना है ताकि ब्लैक बॉक्स दो चेहरों के बीच अंतर न कर सके (कम से कम L2 / यूक्लिडियन दूरी के दृष्टिकोण से)

प्रतिस्पर्धी हमलों में क्या काम करता है और हमारे मामले में क्या काम करता है:

• फास्ट ग्रेडिएंट साइन मेथड (FGSM)। हेयुरेटिक्स को जोड़ने से यह बेहतर बना;
• फास्ट ग्रेडिएंट वैल्यू मेथड (FGVM)। हेयुरेटिक्स को जोड़ने से यह बेहतर ढंग से बेहतर बना;
• आनुवंशिक अंतर विकास (इस पद्धति के बारे में शानदार लेख ) + पिक्सेल-बाय-पिक्सेल हमले;
• मॉडल (शीर्ष-अंत समाधान ... 6 "स्टैक्ड" ResNet34) के नमूने;
• लक्ष्य छवियों के संयोजन का स्मार्ट बाईपास;
• अनिवार्य रूप से, एफजीवीएम हमले के दौरान शुरुआती रोक;

हमारे मामले में क्या काम नहीं हुआ:

• FGVM में "जड़ता के क्षण" को जोड़ना (हालांकि यह उस टीम के लिए काम करता है जो कम रैंक की है, इसलिए क्या यह संभव है कि ensembles + heuristics एक पल जोड़ने से बेहतर काम करता है?)।
• सी एंड डब्ल्यू हमला (अनिवार्य रूप से सफेद-बॉक्स मॉडल के लॉग के उद्देश्य से एंड-टू-एंड हमला) - सफेद बॉक्स (BY) के लिए काम करता है, ब्लैक बॉक्स (CN) के लिए काम नहीं करता है;
• एंड-टू-एंड स्यामामी लिंकनेट (यूनेट के समान वास्तुकला, लेकिन रेसनेट पर आधारित) पर एक दृष्टिकोण। केवल BY के लिए भी काम किया;

हमने क्या प्रयास नहीं किया (समय नहीं था, पर्याप्त प्रयास नहीं किया था या बहुत आलसी थे):

• छात्र सीखने के लिए व्याख्यात्मक वृद्धि परीक्षण (मुझे वर्णनकर्ताओं को भी फिर से लिखना होगा - यह आसान है, लेकिन ऐसा सरल विचार अभी नहीं आया);
• हमले के दौरान ऑगमेंटेशन - उदाहरण के लिए, बाएं से दाएं चित्र "दर्पण";

सामान्य रूप से प्रतियोगिता के बारे में:

• डेटासेट "बहुत छोटा" (1000 5 + 5 संयोजन) था;
• छात्र नेट प्रशिक्षण डाटासेट अपेक्षाकृत बड़ा था (1 मिलियन + चित्र);
• सीई को कैफ पर पूर्वनिर्मित मॉडल के सेट के रूप में प्रस्तुत किया गया था (स्वाभाविक रूप से, हमारे वातावरण में, उन्होंने पहले कीड़े जारी किए थे)। इसने कुछ जटिलता भी पेश की, क्योंकि क्यूडब्ल्यू ने बैचों के साथ छवियों को स्वीकार नहीं किया;
• प्रतियोगिता में एक उत्कृष्ट आधार रेखा (मूल समाधान) थी, जिसके बिना, मेरी राय में, कुछ सीधे गंभीर रूप से शामिल हो जाएंगे;

संसाधन:

• हमारे परिणाम को दोहराने के लिए कोड के साथ भंडार ;
• हमारी प्रस्तुति ;
• सभी विजेताओं की प्रस्तुतियाँ ;

1. मशीनों का अवलोकन 2018 प्रतियोगिता देख सकता है और मैं इसमें कैसे आया

प्रतियोगिता और दृष्टिकोण

ईमानदारी से, मैं एक नए दिलचस्प क्षेत्र, पुरस्कारों में GTX 1080Ti फाउंडर्स एडिशन, और अपेक्षाकृत कम प्रतियोगिता (जो प्रति टीम 20 जीपीयू के साथ पूरे ओडीएस के खिलाफ कागले में 4000 लोगों के साथ तुलना करना संभव नहीं होगा) द्वारा आकर्षित किया गया था।

जैसा कि ऊपर उल्लेख किया गया है, प्रतियोगिता का उद्देश्य सीई मॉडल को धोखा देना था, ताकि बाद वाले दो अलग-अलग लोगों (एल 2-मानक / यूक्लिडियन दूरी के अर्थ में) के बीच अंतर न कर सकें। खैर, चूंकि यह एक ब्लैक बॉक्स था, इसलिए हमें प्रदान किए गए डेटा पर छात्र नेटवर्क को डिस्टिल करना पड़ा और आशा है कि हमले को अंजाम देने के लिए QW और BYW के ग्रेडर समान होंगे।

यदि आप लेखों की समीक्षा पढ़ते हैं (उदाहरण के लिए, यहां और वहां , हालांकि इस तरह के लेख वास्तव में यह नहीं कहते हैं कि अभ्यास में क्या काम करता है) और संकलन करें कि शीर्ष टीमों ने क्या हासिल किया है, तो आप ऐसी सर्वोत्तम प्रथाओं का संक्षेप में वर्णन कर सकते हैं:

• कार्यान्वयन में सबसे सरल हमलों में संलयन तंत्रिका नेटवर्क (या बस वास्तुकला) की आंतरिक संरचना का BY या ज्ञान शामिल होता है, जिस पर हमला किया जाता है;
  
  • चैट में किसी ने सीई पर निष्कर्ष समय पर नज़र रखने और इसकी वास्तुकला का अनुमान लगाने की कोशिश की;
• पर्याप्त मात्रा में डेटा तक पहुंचने के बाद, आप अच्छी तरह से प्रशिक्षित QW के साथ QW का अनुकरण कर सकते हैं
• संभवतः सबसे उन्नत तरीके हैं:
  
  • एंड-टू-एंड C & W अटैक (इस मामले में काम नहीं किया);
  • स्मार्ट FGSM एक्सटेंशन (यानी जड़ता + मुश्किल पहनावा का क्षण);

ईमानदारी से, हम अभी भी इस तथ्य से भ्रमित थे कि दो अलग-अलग अंत-टू-एंड दृष्टिकोण, टीम से दो अलग-अलग लोगों द्वारा स्वतंत्र रूप से लागू किए गए, सीएच के लिए मूर्खतापूर्ण काम नहीं किया। संक्षेप में, इसका मतलब यह हो सकता है कि समस्या कथन की हमारी व्याख्या में कहीं न कहीं एक डेटा लीक था जिसे हमने नोटिस नहीं किया था (या कि हाथ टेढ़े थे)। कई आधुनिक कंप्यूटर विज़न कार्यों में, एंड-टू-एंड सॉल्यूशंस (उदाहरण के लिए, स्टाइल ट्रांसफर, डीप वाटरशेड, इमेज जेनरेशन, शोर और कलाकृतियों से सफाई, आदि) या तो उन सभी चीजों से बहुत बेहतर हैं जो पहले थी, या बिल्कुल भी काम नहीं करती हैं। भावहीन।


1. ट्रेन छात्र नेट। 2. छात्र नेट पर BY हमले पर लागू करें। 3. होप टीचर नेट हमले भी फैल गए

कैसे ढाल विधि काम करती है


हम अनिवार्य रूप से आसवन द्वारा प्राप्त करते हैं कि BY द्वारा BY का अनुकरण किया जा रहा है। फिर मॉडल के आउटपुट के सापेक्ष इनपुट छवियों के ग्रेडिएंट्स पर विचार किया जाता है। रहस्य, हमेशा की तरह, सांख्यिकी में निहित है।

लक्ष्य मेट्रिक

लक्ष्य मीट्रिक स्रोत और लक्ष्य छवियों (5 * 5/25) के सभी 25 संयोजनों के बीच औसत L2 मानदंड (यूक्लिडियन दूरी) था।

प्लेटफ़ॉर्म (कोडलैब) की सीमाओं के कारण, यह संभावना थी कि निजी स्कोर (और टीमों के विलय) की गणना मैन्युअल रूप से की गई थी, जो इस तरह की कहानी होगी।

टीम

मैं छात्र ग्रिड प्रशिक्षित करने के बाद टीम में शामिल हुआ, लीडरबोर्ड पर हर किसी से बेहतर (जहां तक ​​मुझे पता है), और एटिमरे के साथ थोड़ी चर्चा के बाद (उसने सही ढंग से संकलित क्यूडब्ल्यू के साथ मदद की, क्योंकि वह खुद भी उसी का सामना किया था)। फिर हमने दृष्टिकोण और कोड साझा किए बिना अपने स्थानीय स्कोर साझा किए, और वास्तव में, खत्म होने से 2-3 दिन पहले निम्नलिखित हुआ:

• मेरे निरंतर मॉडल फ्लॉप हो गए (हाँ, इस मामले में भी);
• मेरे पास सर्वश्रेष्ठ छात्र मॉडल थे;
• उन्हें (टीमों) FGVM के लिए सबसे अच्छा अनुमानी बदलाव हुए थे (उनका कोड आधार रेखा पर आधारित था);
• मैंने केवल ग्रेडिएंट्स वाले मॉडल आज़माए और 1.1 के आसपास एक स्थानीय गति तक पहुंच गया - शुरू में मैं अपनी व्यक्तिगत प्राथमिकताओं से आधारभूत का उपयोग नहीं करना चाहता था (मैंने खुद को चुनौती दी);
• उनके पास उस समय पर्याप्त कंप्यूटिंग शक्ति नहीं थी;
• अंत में, हमने अपनी किस्मत आजमाई और सेना में शामिल हो गए - मैंने अपनी कंप्यूटिंग शक्ति / अवशिष्ट तंत्रिका नेटवर्क / अपक्षय परीक्षणों के सेट का निवेश किया। टीम ने अपने कोड बेस में डाल दिया, जिसे उन्होंने कुछ हफ़्ते के लिए पॉलिश किया;

एक बार फिर, मैं उन्हें अमूल्य सलाह और संगठनात्मक कौशल के लिए धन्यवाद देना चाहूंगा।

टीम रचना:

github.com/atmyre - क्रियाओं के आधार पर, शुरू में टीम का कप्तान था। अंतिम सबमिशन में एक आनुवंशिक विभेदक विकास हमला जोड़ा गया;
github.com/mortido - बेसलाइन कोड का उपयोग करके उत्कृष्ट हेरास्टिक्स + प्रशिक्षित 2 मॉडल के साथ FGVM हमलों का सबसे अच्छा कार्यान्वयन;
github.com/snakers4 - किसी समाधान को खोजने में विकल्पों की संख्या को कम करने के लिए किसी भी परीक्षण के अलावा, मैंने 3 छात्रों को सर्वश्रेष्ठ मैट्रिक्स के साथ प्रशिक्षित किया + कंप्यूटिंग शक्ति प्रदान की + अंतिम प्रस्तुत करने और परिणामों की प्रस्तुति के चरण में मदद की;
github.com/stalkermustang;

नतीजतन, हम सभी ने एक-दूसरे से बहुत कुछ सीखा, और मुझे खुशी है कि हमने इस प्रतियोगिता में अपनी किस्मत आजमाई। तीन में से कम से कम एक योगदान के अभाव में हार का सामना करना पड़ेगा।

2. आसवन छात्र सीएनएन

मैंने छात्र मॉडल का प्रशिक्षण लेते समय सबसे अच्छी गति प्राप्त करने में कामयाबी हासिल की, क्योंकि मैंने बेसलाइन कोड के बजाय अपने कोड का उपयोग किया।

मुख्य बातें / क्या काम किया:

• व्यक्तिगत रूप से प्रत्येक वास्तुकला के लिए एक प्रशिक्षण आहार का चयन;
• एडम + एलआर क्षय के साथ पहला प्रशिक्षण;
• अंडर और ओवरफिटिंग और मॉडल क्षमता की सावधानीपूर्वक निगरानी;
• प्रशिक्षण मोड का मैनुअल समायोजन। स्वचालित योजनाओं पर पूरी तरह से भरोसा न करें: वे काम कर सकते हैं, लेकिन यदि आप अच्छी तरह से सेटिंग करते हैं, तो प्रशिक्षण के लिए समय 2-3 गुना कम हो सकता है। यह DenseNet जैसे भारी मॉडल के साथ विशेष रूप से महत्वपूर्ण है;
• भारी आर्किटेक्चर ने प्रकाश आर्किटेक्चर की तुलना में बेहतर प्रदर्शन किया, वीजीजी की गिनती नहीं की;
• एमएसई के बजाय एल 2 हानि के साथ प्रशिक्षण भी काम करता है, लेकिन थोड़ा खराब;

क्या काम नहीं किया:

• इंसेप्शन बेस्ड आर्किटेक्चर (उच्च डाउन-सैंपलिंग और उच्च इनपुट रिज़ॉल्यूशन के कारण उपयुक्त नहीं)। हालांकि तीसरे स्थान पर टीम किसी भी तरह से इंसेप्शन-v1 और पूर्ण-कट छवियों (~ 250x250) का उपयोग करने में सक्षम थी;
• वीजीजी-आधारित आर्किटेक्चर (ओवर-फिटिंग);
• लाइट आर्किटेक्चर (स्क्वीज़नेट / मोबाइलनेट - अंडरफिटिंग);
• छवियों का विस्थापन (विवरणों को संशोधित किए बिना - हालांकि टीम ने किसी तरह इसे तीसरे स्थान से खींच लिया);
• पूर्ण आकार की छवियों के साथ काम करें;
• इसके अलावा प्रतियोगिता के आयोजकों द्वारा प्रदान किए गए तंत्रिका नेटवर्क के अंत में एक बैच-मानक परत थी। इससे मेरे सहयोगियों को मदद नहीं मिली, और मैंने अपने कोड का उपयोग किया, क्योंकि मुझे यह समझ में नहीं आया कि यह परत क्यों थी;
• पिक्सेल-आधारित हमलों के साथ साम्यता मानचित्र का उपयोग करना। मुझे लगता है कि यह पूर्ण-आकार की छवियों पर लागू होता है (सिर्फ 112x112x search_space और 299x299x खोज-स्थान की तुलना करें);

हमारे सबसे अच्छे मॉडल - ध्यान दें कि सबसे अच्छी गति 3 * 1e-4 है। मॉडलों की जटिलता को देखते हुए, कोई मोटे तौर पर कल्पना कर सकता है कि QW ResNet34 है। मेरे परीक्षणों में, ResNet50 + ने ResNet34 से भी बदतर प्रदर्शन किया।


MSE पहले स्थान पर नुकसान

3. अंतिम गति और "उन्मूलन" विश्लेषण

हमने अपनी गति इस तरह एकत्रित की:



शीर्ष समाधान इस तरह से देखा गया (हाँ, इस तथ्य के बारे में चुटकुले थे कि सिर्फ वध करने से आप अनुमान लगा सकते हैं कि सीएच एक स्लाइस है):



अन्य टीमों से अन्य उपयोगी दृष्टिकोण:

• अनुकूली पैरामीटर एप्सिलॉन;
• डेटा ऑगमेंटेशन
• जड़ता का क्षण;
• नेस्टरोव का क्षण ;
• दर्पण छवियों;
• डेटा को "हैक" करें - केवल 1000 अद्वितीय छवियां थीं और छवियों के 5000 संयोजन => यह अधिक डेटा उत्पन्न करना संभव था (5 लक्ष्य नहीं, लेकिन 10, क्योंकि चित्र दोहराए गए थे);

FGVM के लिए उपयोगी उत्तराधिकारी:

• नियम द्वारा शोर उत्पन्न करना: शोर = eps * clamp (grad / grad.std (), -2, 2);
• कई सीएनएन का एक पहनावा उनके ग्रेडर को भारित करके;
• यदि वे औसत हानि कम करते हैं, तो केवल परिवर्तन सहेजें;
• अधिक सुसंगत लक्ष्यीकरण के लिए लक्ष्य संयोजनों का उपयोग करें
• केवल ग्रेडिएंट का उपयोग करें जो माध्य + std (FGSM के लिए) से अधिक है;

लघु सम्मरी:

• पहले स्थान पर एक अधिक "अनाड़ी" निर्णय था
• हमारे पास सबसे "विविध" समाधान था;
• तीसरे स्थान पर सबसे "सुरुचिपूर्ण" समाधान था;

एंड-टू-एंड समाधान

यहां तक ​​कि अगर वे असफल रहे, तो वे नए कार्यों पर भविष्य में एक और प्रयास के लायक हैं। भंडार में विवरण देखें, लेकिन वास्तव में हमने निम्नलिखित की कोशिश की:

• सी एंड डब्ल्यू हमला;
• सियामी लिंकनेट;

एंड-टू-एंड मॉडल


एंड-टू-एंड मॉडल में क्रियाओं का क्रम

मुझे भी लगता है कि मेरा नुकसान सिर्फ खूबसूरत है।

5. संदर्भ और अतिरिक्त पठन सामग्री

• प्रतियोगिता पृष्ठ;
• हमारे भंडार ;
• VAE के बारे में लेखों की एक श्रृंखला एक समान विषय है;
• SSIM संसाधन
  
  
  • विकी
  • "बैकप्रॉपेबल" PyTorch कार्यान्वयन
• अंतर विकास के लिए संसाधन
  
  • महान ब्लॉग पोस्ट
  • विज्ञान कार्यान्वयन
• प्रस्तुतियों
  
  
  • हमारे
  • सभी प्रस्तुतियाँ
• 2 सबसे उपयोगी लेख:
  
  
  • https://arxiv.org/pdf/1710.06081.pdf
  • https://arxiv.org/abs/1708.03999
• 2 समीक्षा लेख "शीर्ष पर":
  
  
  • https://arxiv.org/abs/1712.07107
  • https://arxiv.org/abs/1801.00553