मशीन लर्निंग रिसर्च में सात मिथक

उन लोगों के लिए जो सब कुछ पढ़ने के लिए बहुत आलसी हैं: सात लोकप्रिय मिथकों का खंडन करने का सुझाव दिया गया है, जो कि मशीन लर्निंग अनुसंधान के क्षेत्र में अक्सर सच माना जाता है, फरवरी 2019 तक। यह लेख Arxiv वेबसाइट पर पीडीएफ प्रारूप में [अंग्रेजी में] उपलब्ध है।

मिथक 1: TensorFlow एक टेंसर लाइब्रेरी है।
मिथक 2: छवि डेटाबेस प्रकृति में पाए जाने वाले वास्तविक फ़ोटो को दर्शाते हैं।
मिथक 3: एमओ शोधकर्ता परीक्षण के लिए परीक्षण किट का उपयोग नहीं करते हैं।
मिथक 4: तंत्रिका नेटवर्क प्रशिक्षण सभी इनपुट डेटा का उपयोग करता है।
मिथक 5: बहुत सामान्य अवशिष्ट नेटवर्क को प्रशिक्षित करने के लिए बैच सामान्यीकरण की आवश्यकता होती है।
मिथक 6: ध्यान देने वाले नेटवर्क कनवल्शन से बेहतर होते हैं।
मिथक 7: तंत्रिका नेटवर्क की व्याख्या करने के लिए महत्त्वपूर्ण मानचित्र एक विश्वसनीय तरीका है।

और अब विवरण के लिए।

मिथक 1: TensorFlow एक टेंसर लाइब्रेरी है

वास्तव में, यह मेट्रिसेस के साथ काम करने के लिए एक पुस्तकालय है, और यह अंतर बहुत महत्वपूर्ण है।

मैट्रिक्स और टेन्सर एक्सप्रेशंस के कम्प्यूटिंग हायर ऑर्डर डेरिवेटिव्स में। Laue एट अल। NeurIPS 2018 के लेखक प्रदर्शित करते हैं कि वास्तविक टेंसर कैलकुलस पर आधारित स्वचालित भेदभाव की उनकी लाइब्रेरी में बहुत अधिक कॉम्पैक्ट अभिव्यक्ति वाले पेड़ हैं। तथ्य यह है कि टेंसर कैलकुलस इंडेक्स नोटेशन का उपयोग करता है, जो आपको प्रत्यक्ष और रिवर्स मोड के साथ समान रूप से काम करने की अनुमति देता है।

मैट्रिक्स नंबरिंग अंकन की सुविधा के लिए सूचकांक छुपाता है, यही वजह है कि स्वचालित भेदभाव अभिव्यक्ति पेड़ अक्सर बहुत जटिल हो जाते हैं।

मैट्रिक्स गुणन C = AB पर विचार करें। हमारे पास है $$$\ डॉट {सी} = \ डॉट {ए} बी + ए \ डॉट {बी}$ प्रत्यक्ष मोड के लिए और $$$A = \ बार {C} B ^ T, B = A ^ T \ bar {C}$ विपरीत के लिए। गुणन को सही ढंग से करने के लिए, आपको हाइफ़नेशन के आदेश और उपयोग का कड़ाई से पालन करने की आवश्यकता है। रिकॉर्डिंग के दृष्टिकोण से, यह एमओ में शामिल एक व्यक्ति के लिए भ्रामक लगता है, लेकिन गणना के दृष्टिकोण से, यह कार्यक्रम के लिए एक अतिरिक्त भार है।

एक और उदाहरण, कम तुच्छ: c = det (A)। हमारे पास है $$$\ dot {c} = tr (निमंत्रण (A) \ dot {A})$ प्रत्यक्ष मोड के लिए और $$$\ बार {ए} = \ बार {सी} सिनेव (ए) ^ टी$ विपरीत के लिए। इस मामले में, दोनों मोड के लिए अभिव्यक्ति ट्री का उपयोग करना स्पष्ट रूप से असंभव है, यह देखते हुए कि वे विभिन्न ऑपरेटरों से मिलकर होते हैं।

सामान्य तौर पर, TensorFlow और अन्य पुस्तकालयों (उदाहरण के लिए, Mathematica, Maple, Sage, SimPy, ADOL-C, TAPENADE, TensorFlow, Theano, PyTorch, HIPS ऑटोग्राद) ने स्वचालित भेदभाव लागू किया है, जो प्रत्यक्ष और रिवर्स के लिए इस तथ्य की ओर जाता है। विभिन्न और अप्रभावी अभिव्यक्ति के पेड़ मोड में बनाए गए हैं। सूचकांक अंकन के कारण गुणन के गुणन के कारण टेन्सर नंबरिंग इन समस्याओं को दरकिनार कर देती है। यह कैसे काम करता है, इसके विवरण के लिए, वैज्ञानिक पेपर देखें।

लेखकों ने तीन अलग-अलग कार्यों में रिवर्स शासन के स्वत: विभेदन, जिसे बैक प्रचार के रूप में भी जाना जाता है, का प्रदर्शन करके अपनी विधि का परीक्षण किया और हेसियनों की गणना में लगने वाले समय को मापा।



पहली समस्या में, द्विघात फ़ंक्शन x ^T Ax को अनुकूलित किया गया था। दूसरे में, लॉजिस्टिक रिग्रेशन की गणना की गई, तीसरे में - मैट्रिक्स फैक्टराइजेशन।

CPU पर, उनकी विधि TensorFlow, Theano, PyTorch और HIPS ऑटोग्रैड जैसे लोकप्रिय पुस्तकालयों की तुलना में परिमाण के दो क्रमों में तेजी से निकली।



GPU पर, उन्होंने परिमाण के तीन आदेशों के अनुसार, अधिक से अधिक त्वरण का अवलोकन किया।

परिणाम:

वर्तमान गहन शिक्षण पुस्तकालयों का उपयोग करके दूसरे या उच्चतर आदेश के कार्यों के लिए कम्प्यूटिंग डेरिवेटिव, कम्प्यूटेशनल दृष्टिकोण से बहुत महंगा है। इसमें सामान्य चौथे क्रम के दसियों की गणना शामिल है जैसे हेसियन (उदाहरण के लिए, एमएएमएल और न्यूटन के दूसरे क्रम के अनुकूलन)। सौभाग्य से, गहन सीखने में द्विघात सूत्र दुर्लभ हैं। हालांकि, वे अक्सर "शास्त्रीय" मशीन लर्निंग में पाए जाते हैं - एसवीएम , कम से कम वर्ग विधि, एलएएसओओ, गॉसियन प्रक्रियाएं, आदि।

मिथक 2: छवि डेटाबेस वास्तविक दुनिया की तस्वीरों को दर्शाते हैं

बहुत से लोग यह सोचना पसंद करते हैं कि तंत्रिका नेटवर्क ने लोगों से बेहतर वस्तुओं को पहचानना सीख लिया है। ऐसा नहीं है। वे चयनित छवियों के आधार पर लोगों से आगे हो सकते हैं, उदाहरण के लिए, इमेजनेट, लेकिन साधारण जीवन से वास्तविक तस्वीरों से वस्तुओं की मान्यता के मामले में, वे निश्चित रूप से एक साधारण वयस्क से आगे निकलने में सक्षम नहीं होंगे। ऐसा इसलिए है क्योंकि वर्तमान डेटा सेट में छवियों का चयन स्वाभाविक रूप से वास्तविकता में सामना किए गए सभी संभव चित्रों के चयन के साथ मेल नहीं खाता है।

एक पुराने काम में, निष्पक्ष पूर्वाग्रह दैटसेट बायस पर। टोराल्बा और एफ्रोस। सीवीपीआर 2011. , लेखकों ने बारह लोकप्रिय डेटाबेस में छवियों के एक सेट से जुड़ी विकृतियों का अध्ययन करने का प्रस्ताव दिया, यह पता लगाने के लिए कि क्या यह डेटा सेट निर्धारित करने के लिए क्लासिफायरियर को प्रशिक्षित करना संभव है जिससे यह छवि ली गई थी।



गलती से सही डेटा सेट का अनुमान लगाने की संभावना 1/12 guess 8% है, जबकि वैज्ञानिकों ने स्वयं> 75% की सफलता दर के साथ कार्य का सामना किया।

उन्होंने एसवीएम को एक दिशात्मक ढाल हिस्टोग्राम (एचओजी) पर प्रशिक्षित किया और पाया कि क्लासिफायर ने 39% मामलों में कार्य पूरा किया, जो यादृच्छिक हिट से अधिक है। यदि हमने आज इस प्रयोग को दोहराया, सबसे उन्नत तंत्रिका नेटवर्क के साथ, हम निश्चित रूप से क्लासिफायर की सटीकता में वृद्धि देखेंगे।

यदि छवि डेटाबेस ने वास्तविक दुनिया की सही छवियों को सही ढंग से प्रदर्शित किया है, तो हमें यह निर्धारित करने में सक्षम नहीं होना पड़ेगा कि कोई विशेष छवि किस डेटासेट से आती है।



हालांकि, डेटा में लक्षण हैं जो छवियों के प्रत्येक सेट को दूसरों से अलग बनाते हैं। इमेजनेट के पास कई रेस कारें हैं जो "सैद्धांतिक" औसत कार को पूरी तरह से वर्णित करने की संभावना नहीं है।



लेखकों ने यह भी निर्धारित करके प्रत्येक डेटा के मूल्य को निर्धारित किया कि एक सेट पर प्रशिक्षित क्लासिफायर दूसरे सेट से छवियों के साथ कैसे काम करता है। इस मीट्रिक के अनुसार, लेबलमे और इमेजनेट डेटाबेस सबसे कम पक्षपाती थे, "मुद्रा टोकरी" विधि का उपयोग करके 0.58 की रेटिंग प्राप्त की। सभी मूल्य एकता से कम हो गए, जिसका अर्थ है कि एक अलग डेटा सेट पर प्रशिक्षण हमेशा खराब प्रदर्शन की ओर जाता है। पक्षपाती सेट के बिना एक आदर्श दुनिया में, कुछ संख्याओं को एक से अधिक होना चाहिए।

लेखकों ने निराशावादी रूप से निष्कर्ष निकाला:

तो वास्तविक दुनिया के लिए डिज़ाइन किए गए प्रशिक्षण एल्गोरिदम के लिए मौजूदा डेटासेट का मूल्य क्या है? परिणामी उत्तर को "कुछ भी नहीं बल्कि बहुत से बेहतर" के रूप में वर्णित किया जा सकता है।

मिथक 3: एमओ शोधकर्ता परीक्षण के लिए परीक्षण किट का उपयोग नहीं करते हैं

मशीन लर्निंग पर पाठ्यपुस्तक में, हमें प्रशिक्षण, मूल्यांकन और सत्यापन में सेट किए गए डेटा को विभाजित करना सिखाया जाता है। मॉडल की प्रभावशीलता, प्रशिक्षण सेट पर प्रशिक्षित, और मूल्यांकन पर मूल्यांकन करने के लिए MO में शामिल व्यक्ति को अपने वास्तविक उपयोग में दक्षता को अधिकतम करने के लिए मॉडल को ठीक से ट्यून करने में मदद करता है। परीक्षण सेट को छूने की आवश्यकता नहीं है जब तक कि व्यक्ति वास्तविक दुनिया में मॉडल की वास्तविक प्रभावशीलता का निष्पक्ष मूल्यांकन प्रदान करने के लिए समायोजन को पूरा नहीं करता है। यदि कोई व्यक्ति प्रशिक्षण या मूल्यांकन चरणों में परीक्षण सेट का उपयोग करके धोखा देता है, तो मॉडल किसी विशेष डेटा सेट के लिए बहुत अधिक अनुकूलित होने का जोखिम चलाता है।

एमओ शोध के हाइपर-प्रतिस्पर्धी दुनिया में, नए एल्गोरिदम और मॉडल को अक्सर सत्यापन डेटा के साथ अपने काम की प्रभावशीलता से आंका जाता है। इसलिए, शोधकर्ताओं को परीक्षण डेटा सेट के साथ खराब तरीके से काम करने वाले तरीकों को लिखने या प्रकाशित करने के लिए कोई मतलब नहीं है। और यह, संक्षेप में, इसका मतलब है कि मॉस्को क्षेत्र का समुदाय मूल्यांकन के लिए एक परीक्षण सेट का उपयोग करता है।

इस घोटाले के परिणाम क्या हैं?



क्या CIFAR-10 क्लासिफायर के लेखक CIFAR-10 के लिए सामान्य हैं? रीछ एट अल। ArXiv 2018 ने CIFAR-10 के लिए एक नया परीक्षण सूट बनाकर इस मुद्दे की जांच की। ऐसा करने के लिए, उन्होंने टिनी इमेज से चित्रों का चयन किया।

उन्होंने CIFAR-10 को चुना क्योंकि यह MO में सबसे अधिक इस्तेमाल होने वाले डेटासेट में से एक है, जो NeurIPS 2017 (MNIST के बाद) में दूसरा सबसे लोकप्रिय सेट है। CIFAR-10 के लिए एक डेटासेट बनाने की प्रक्रिया भी अच्छी तरह से वर्णित और पारदर्शी है, बड़े टिनी इमेज डेटाबेस में बहुत सारे विस्तृत लेबल हैं, इसलिए आप वितरण शिफ्ट को छोटा करते हुए एक नया परीक्षण सेट पुन: पेश कर सकते हैं।



उन्होंने पाया कि नए परीक्षण सेट पर तंत्रिका नेटवर्क के विभिन्न मॉडलों की एक बड़ी संख्या ने सटीकता (4% - 15%) में महत्वपूर्ण गिरावट दिखाई। हालांकि, प्रत्येक मॉडल का सापेक्ष प्रदर्शन रैंक काफी स्थिर रहा।



सामान्य तौर पर, बेहतर प्रदर्शन करने वाले मॉडलों ने खराब प्रदर्शन करने वालों की तुलना में कम सटीकता की गिरावट दिखाई। यह अच्छा है, क्योंकि यह निम्नानुसार है कि धोखा देने के कारण मॉडल सामान्यता की हानि, कम से कम CIFAR-10 के मामले में कम हो जाती है क्योंकि समुदाय के आक्रमणकारियों ने एमओ के तरीकों और मॉडलों में सुधार किया।

मिथक 4: तंत्रिका नेटवर्क प्रशिक्षण सभी इनपुट का उपयोग करता है

यह आम तौर पर स्वीकार किया जाता है कि डेटा एक नया तेल है , और यह कि हमारे पास जितना अधिक डेटा है, हम बेहतर सीखने वाले मॉडल को प्रशिक्षित कर सकते हैं जो अब नमूना-अकुशल और अतिपरिवर्तन हैं।

डीप न्यूरल नेटवर्क लर्निंग के दौरान उदाहरण भूल जाने के एक अनुभवजन्य अध्ययन में। टोनवा एट अल। ICLR 2019 के लेखक छोटे चित्रों के कई सामान्य सेटों में महत्वपूर्ण अतिरेक प्रदर्शित करते हैं। हैरानी की बात है कि CIFAR-10 से 30% डेटा केवल एक महत्वपूर्ण राशि द्वारा चेक की सटीकता को बदले बिना हटाया जा सकता है।


इतिहास (बाएं से दाएं) MNIST, permutedMNIST और CIFAR-10 से इतिहास।

भूलने की स्थिति तब होती है जब एक तंत्रिका नेटवर्क गलत तरीके से समय t + 1 पर वर्गीकृत करता है, जबकि समय t यह छवि को सही ढंग से वर्गीकृत करने में सक्षम था। समय के प्रवाह को SGD अपडेट द्वारा मापा जाता है। भूल को ट्रैक करने के लिए, लेखकों ने प्रत्येक न्यूरल अपडेट के बाद एक छोटे डेटा सेट पर अपना तंत्रिका नेटवर्क लॉन्च किया, और डेटाबेस में उपलब्ध सभी उदाहरणों पर नहीं। ऐसे उदाहरण जिन्हें भूलने की बीमारी नहीं है, उन्हें अविस्मरणीय उदाहरण कहा जाता है।

उन्होंने पाया कि 91.7% MNIST, 75.3% permutedMNIST, 31.3% CIFAR-10 और 7.62% CIFAR-100 अविस्मरणीय उदाहरण हैं। यह सहज रूप से समझने योग्य है, क्योंकि डेटा सेट की विविधता और जटिलता को बढ़ाने से तंत्रिका नेटवर्क को अधिक उदाहरणों को भूलना चाहिए।



अविस्मरणीय उदाहरण अविस्मरणीय लोगों की तुलना में अधिक दुर्लभ और अजीब विशेषताओं का प्रदर्शन करते हैं। लेखक एसवीएम में सहायक वैक्टर के साथ उनकी तुलना करते हैं, क्योंकि वे निर्णय सीमाओं की रूपरेखा तैयार करते हैं।



बदले में अविस्मरणीय उदाहरण, ज्यादातर अनावश्यक जानकारी को सांकेतिक शब्दों में बदलना। यदि हम अप्रत्याशितता की डिग्री के द्वारा उदाहरणों को क्रमबद्ध करते हैं, तो हम सबसे अविस्मरणीय लोगों को हटाकर सेट किए गए डेटा को संपीड़ित कर सकते हैं।

CIFAR-10 डेटा के 30% चेक की सटीकता को प्रभावित किए बिना हटाया जा सकता है, और 35% डेटा को हटाने से चेक की सटीकता में 0.2% की मामूली गिरावट होती है। यदि आप यादृच्छिक रूप से 30% डेटा का चयन करते हैं, तो उन्हें हटाने से 1% सत्यापन की सटीकता में महत्वपूर्ण नुकसान होगा।

इसी प्रकार, सत्यापन सटीकता में गिरावट के बिना 8% डेटा को CIFAR-100 से हटाया जा सकता है।

इन परिणामों से पता चलता है कि एसवीएम प्रशिक्षण के समान, तंत्रिका नेटवर्क के प्रशिक्षण के लिए डेटा में महत्वपूर्ण अतिरेक है, जहां मॉडल निर्णय को प्रभावित किए बिना गैर-सहायक वैक्टर को हटाया जा सकता है।

परिणाम:

यदि हम यह निर्धारित कर सकते हैं कि प्रशिक्षण शुरू करने से पहले कौन सा डेटा अविस्मरणीय है, तो हम तंत्रिका नेटवर्क का प्रशिक्षण करते समय उनका उपयोग किए बिना उन्हें हटाकर समय बचा सकते हैं।

मिथक 5: बहुत सामान्य अवशिष्ट नेटवर्क को प्रशिक्षित करने के लिए बैच सामान्यीकरण की आवश्यकता होती है।

लंबे समय तक, यह माना जाता था कि "केवल एक नियंत्रित उद्देश्य (उदाहरण के लिए, एक सही वर्गीकरण के लघुगणक संभावना) के लिए एक गहरी तंत्रिका नेटवर्क का प्रशिक्षण, क्रमिक वंश का उपयोग करके, यादृच्छिक मापदंडों के साथ शुरू करना, अच्छी तरह से काम नहीं करता है।"

यादृच्छिक आरंभीकरण के सरल तरीकों का ढेर, तब से प्रकट हुआ है, सक्रियण कार्य, अनुकूलन तकनीक, और अन्य नवाचारों, जैसे अवशिष्ट कनेक्शन, ने ढाल वंश पद्धति का उपयोग करके गहरे तंत्रिका नेटवर्क के प्रशिक्षण की सुविधा प्रदान की।

लेकिन एक वास्तविक सफलता बैच सामान्यीकरण (और अन्य अनुक्रमिक सामान्यीकरण तकनीकों) की शुरुआत के बाद हुई, गायब होने और विस्फोटक ढ़ाल की समस्या को खत्म करने के लिए नेटवर्क की प्रत्येक परत के लिए सक्रियण के आकार को सीमित करना।

हाल ही के एक काम में, Fixup Initialization: सामान्यीकरण के बिना अवशिष्ट सीखना। झांग एट अल। ICLR 2019 ने दिखाया है कि किसी भी सामान्यीकरण को लागू किए बिना शुद्ध SGD का उपयोग करके 10,000 परतों के साथ एक नेटवर्क को प्रशिक्षित करना संभव है।



लेखकों ने CIFAR-10 पर अलग-अलग गहराई के लिए अवशिष्ट तंत्रिका नेटवर्क प्रशिक्षण की तुलना की और पाया कि जबकि मानक आरंभीकरण के तरीके 100 परतों के लिए काम नहीं करते थे, 10,000 परतों के साथ Fixup और बैच सामान्यीकरण के तरीके सफल हुए।



उन्होंने एक सैद्धांतिक विश्लेषण किया और दिखाया कि "कुछ परतों की ढाल सामान्यीकरण एक गहरे नेटवर्क से असीम रूप से बढ़ती संख्या से सीमित है", जो कि विस्फोटक ग्रेडिएंट की समस्या है। इसे रोकने के लिए, फॉक्सअप का उपयोग किया जाता है, जिसका प्रमुख विचार प्रत्येक अवशिष्ट शाखाओं L के लिए m परतों में भारों को मापना है, जो कि m और L के आधार पर समय की संख्या से होता है।



फिक्सअप ने बैच सामान्यीकरण का उपयोग करके प्रशिक्षित समान वास्तुकला के नेटवर्क के व्यवहार के साथ तुलनीय उच्च गति के साथ CIFAR-10 पर 110 परतों के साथ एक गहरे अवशिष्ट नेटवर्क को प्रशिक्षित करने में मदद की।

लेखकों ने इसी तरह के परीक्षण परिणामों को नेटवर्क पर फिक्सअप का उपयोग करते हुए दिखाया, बिना किसी सामान्यीकरण के, इमेजनेट डेटाबेस के साथ काम करने और अंग्रेजी से जर्मन में अनुवाद के साथ।

मिथक 6: ध्यान देने वाले नेटवर्क कनफ्यूजन वाले से बेहतर होते हैं।

यह विचार कि "ध्यान" के तंत्र जटिल तंत्रिका नेटवर्क से बेहतर हैं, एमओ शोधकर्ताओं के समुदाय में लोकप्रियता प्राप्त कर रहे हैं। वासवानी और सहकर्मियों के काम में, यह नोट किया गया था कि "वियोज्य संकल्पों की कम्प्यूटेशनल लागत एक आत्म-ध्यान परत और एक बिंदु-वार फीड-फॉरवर्ड परत के संयोजन के बराबर है।"

यहां तक ​​कि उन्नत पीढ़ी-प्रतिस्पर्धी नेटवर्क लंबी दूरी की निर्भरता मॉडलिंग करते समय मानक दृढ़ संकल्प पर आत्म-ध्यान का लाभ दिखाते हैं।

योगदानकर्ता लाइटवेट और डायनेमिक कॉन्फोल्यूशन के साथ कम ध्यान दें। वू एट अल। ICLR 2019 लंबी दूरी की निर्भरता मॉडलिंग करते समय पैरामीट्रिक दक्षता और आत्म-ध्यान की प्रभावशीलता पर संदेह करता है, और दोष के लिए नए विकल्प पेश करता है, जो आंशिक रूप से आत्म-ध्यान से प्रेरित है, मापदंडों के संदर्भ में अधिक प्रभावी है।



"लाइटवेट" कन्वेंशनों को समय आयाम में गहराई, सॉफ्टमैक्स-सामान्यीकृत, चैनल आयाम में वजन द्वारा अलग किया जाता है, और प्रत्येक समय कदम पर (पुनरावर्ती तंत्रिका नेटवर्क के रूप में) एक ही भार का पुन: उपयोग करने योग्य है। डायनेमिक कनफोल्यूशन हल्के कनवल्शन होते हैं जो हर बार स्टेप पर अलग-अलग वेट का इस्तेमाल करते हैं।

इस तरह के गुर हल्के और गतिशील संकल्‍पों को परिमाण के कई आदेशों को मानक अविभाज्य संकल्‍पों की तुलना में अधिक प्रभावी बनाते हैं।





लेखकों को पता चलता है कि ये नए संकल्प समान या कम मापदंडों का उपयोग करके मशीन अनुवाद, भाषा मॉडलिंग, अमूर्त योग समस्याओं में आत्म-अवशोषित नेटवर्क से मेल खाते हैं या पार करते हैं।

मिथक 7: महत्व कार्ड - तंत्रिका नेटवर्क की व्याख्या करने का एक विश्वसनीय तरीका

हालांकि एक राय है कि तंत्रिका नेटवर्क ब्लैक बॉक्स हैं, उनकी व्याख्या करने के कई प्रयास किए गए हैं। इनमें से सबसे लोकप्रिय महत्व के नक्शे हैं, या अन्य समान विधियां हैं जो सुविधाओं या प्रशिक्षण उदाहरणों के लिए महत्वपूर्ण मूल्यांकन प्रदान करती हैं।

यह निष्कर्ष निकालने में सक्षम है कि किसी दिए गए चित्र को छवि के कुछ हिस्सों के कारण एक निश्चित तरीके से वर्गीकृत किया गया है जो तंत्रिका नेटवर्क के लिए महत्वपूर्ण हैं। महत्व के नक्शे की गणना करने के लिए, कई विधियाँ हैं जो अक्सर किसी दिए गए चित्र में तंत्रिका नेटवर्क के सक्रियण और नेटवर्क से गुजरने वाले ग्रेडिएंट का उपयोग करती हैं।

तंत्रिका नेटवर्क की व्याख्या में Fragile है। घोरबानी एट अल। AAAI 2019 लेखकों से पता चलता है कि वे तस्वीर में एक मायावी परिवर्तन ला सकते हैं, जो, हालांकि, इसके महत्व के नक्शे को विकृत कर देगा।



तंत्रिका नेटवर्क अपने पंखों पर पैटर्न द्वारा नहीं, बल्कि तितली की रूपरेखा निर्धारित करता है, क्योंकि फोटो की पृष्ठभूमि के खिलाफ महत्वहीन हरी पत्तियों की उपस्थिति के कारण।



बहुआयामी छवियां अक्सर गहरे तंत्रिका नेटवर्क द्वारा बनाई गई निर्णय सीमाओं के करीब होती हैं, इसलिए प्रतिकूल हमलों के प्रति उनकी संवेदनशीलता। और यदि प्रतिस्पर्धी हमले छवियों को समाधान की सीमाओं से परे ले जाते हैं, तो प्रतिस्पर्धी व्याख्यात्मक हमले उन्हें उसी समाधान के क्षेत्र को छोड़ने के बिना समाधान की सीमा के साथ स्थानांतरित करते हैं।

लेखकों द्वारा विकसित बुनियादी विधि तेजी से ढाल अंकन के गुडफेलो विधि का एक संशोधन है, जो प्रतिस्पर्धी हमलों के पहले सफल तरीकों में से एक था। यह माना जा सकता है कि तंत्रिका नेटवर्क की व्याख्या पर हमलों के लिए अन्य, नए और अधिक जटिल हमलों का भी उपयोग किया जा सकता है।

परिणाम:

चिकित्सा इमेजिंग के रूप में आवेदन के ऐसे महत्वपूर्ण क्षेत्रों में गहन सीखने के बढ़ते प्रसार के कारण, तंत्रिका नेटवर्क द्वारा किए गए निर्णयों की व्याख्या को सावधानीपूर्वक करना महत्वपूर्ण है। उदाहरण के लिए, हालांकि यह बहुत अच्छा होगा यदि कन्वेन्शियल न्यूरल नेटवर्क एमआरआई छवि पर मौजूद स्पॉट को घातक ट्यूमर के रूप में पहचान सकता है, इन परिणामों पर भरोसा नहीं किया जाना चाहिए यदि वे अविश्वसनीय व्याख्या विधियों पर आधारित हैं।