तंत्रिका नेटवर्क में एक आश्चर्यजनक सरल छवि वर्गीकरण रणनीति है।

संवेदी तंत्रिका नेटवर्क मनुष्यों के विपरीत विकृत छवियों को वर्गीकृत करने का एक उत्कृष्ट काम करते हैं।

इस लेख में मैं दिखाऊंगा कि उन्नत गहरे तंत्रिका नेटवर्क पूरी तरह से विकृत छवियों को कैसे पहचान सकते हैं और यह कैसे प्राकृतिक तस्वीरों को वर्गीकृत करने के लिए तंत्रिका नेटवर्क द्वारा उपयोग की जाने वाली आश्चर्यजनक रूप से सरल रणनीति को प्रकट करने में मदद करता है। आईसीएलआर 2019 में प्रकाशित इन खोजों के कई परिणाम हैं: सबसे पहले, वे प्रदर्शित करते हैं कि " इमेजनेट " समाधान खोजने में बहुत आसान है जितना सोचा गया था। दूसरे, वे हमें अधिक व्याख्यात्मक और समझने योग्य छवि वर्गीकरण प्रणाली बनाने में मदद करते हैं। तीसरा, वे आधुनिक संवेदी तंत्रिका नेटवर्क (SNA) में देखी गई कई घटनाओं की व्याख्या करते हैं, उदाहरण के लिए, बनावट की खोज करने की उनकी प्रवृत्ति (ICLR 2019 और इसी ब्लॉग प्रविष्टि में हमारे अन्य काम देखें), और वस्तु के कुछ हिस्सों की स्थानिक व्यवस्था की अनदेखी।

अच्छे पुराने मॉडल "शब्दों का बैग"

अच्छे पुराने दिनों में, गहरी शिक्षा के आगमन से पहले, प्राकृतिक चित्रों की मान्यता काफी सरल थी: हम मुख्य दृश्य विशेषताओं ("शब्द") के एक सेट को परिभाषित करते हैं, यह निर्धारित करते हैं कि प्रत्येक छवि में कितनी बार दृश्यता ("बैग") होती है, और इन पर आधारित छवि को वर्गीकृत करें संख्या। इसलिए, कंप्यूटर दृष्टि में ऐसे मॉडल को "शब्दों का बैग" (बैग-ऑफ-वर्ड्स या BoW) कहा जाता है। उदाहरण के लिए, मान लें कि हमारे पास दो दृश्य विशेषताएं हैं, मानव आंख और कलम, और हम छवियों को दो वर्गों, "लोगों" और "पक्षियों" में वर्गीकृत करना चाहते हैं। सबसे सरल BoW मॉडल यह होगा: छवि में पाई जाने वाली प्रत्येक आंख के लिए, हम 1. "व्यक्ति" के पक्ष में गवाही बढ़ाते हैं। और इसके विपरीत, प्रत्येक कलम के लिए हम "पक्षी" के पक्ष में गवाही बढ़ाते हैं। 1. वर्ग अधिक लाभ प्राप्त करते हैं, यह होगा।

इस तरह के एक सरल BoW मॉडल की एक सुविधाजनक संपत्ति निर्णय लेने की प्रक्रिया की व्याख्या और स्पष्टता है: हम सटीक रूप से जांच सकते हैं कि किसी विशेष वर्ग के पक्ष में छवि की कौन-सी विशेषताएं बोलती हैं, सुविधाओं का स्थानिक एकीकरण बहुत सरल है (गहरे तंत्रिका नेटवर्क में सुविधाओं के गैर-रेखीय एकीकरण की तुलना में)। बस यह समझें कि मॉडल अपने फैसले कैसे करता है।

पारंपरिक BoW मॉडल बेहद लोकप्रिय थे और गहरी शिक्षा के आक्रमण से पहले महान काम करते थे, लेकिन अपेक्षाकृत कम दक्षता के कारण जल्दी से फैशन से बाहर हो गए। लेकिन क्या हम सुनिश्चित हैं कि तंत्रिका नेटवर्क BoW से एक मौलिक रूप से भिन्न निर्णय रणनीति का उपयोग करते हैं?

थैला सुविधाओं (BagNet) के साथ गहराई से व्याख्या की गई नेटवर्क

इस धारणा का परीक्षण करने के लिए, हम BoU मॉडल की व्याख्या और स्पष्टता को तंत्रिका नेटवर्क की दक्षता के साथ जोड़ते हैं। रणनीति इस तरह दिखती है:

• छवि को छोटे टुकड़ों में विभाजित करें qx q।
• हम प्रत्येक टुकड़े के लिए कक्षा सदस्यता (लॉग) के प्रमाण प्राप्त करने के लिए तंत्रिका नेटवर्क के माध्यम से टुकड़ों को पास करते हैं।
• संपूर्ण छवि के स्तर पर समाधान प्राप्त करने के लिए सभी टुकड़ों में साक्ष्य को संक्षेप में लिखें।

इस रणनीति को लागू करने के लिए, सबसे सरल तरीके से, हम मानक ResNet-50 वास्तुकला लेते हैं और लगभग सभी 3x3 संकल्पों को 1x1 दृढ़ संकल्पों के साथ प्रतिस्थापित करते हैं। नतीजतन, अंतिम दृढ़ परत में प्रत्येक छिपा हुआ तत्व "केवल" छवि का एक छोटा हिस्सा देखता है (अर्थात, उनकी धारणा का क्षेत्र छवि आकार से बहुत छोटा है)। इसलिए हम पूर्व नियोजित रणनीति को लागू करते हुए छवि के लगाए गए मार्कअप और मानक एसएनए के जितना संभव हो उतना करीब से बचते हैं। हम परिणामस्वरूप आर्किटेक्चर को BagNet-q कहते हैं, जहाँ q बहुत ऊपर की परत के बोध क्षेत्र के आकार को दर्शाता है (हमने q = 9, 17 और 33 के साथ मॉडल का परीक्षण किया)। रेसनेट -50 की तुलना में बैगनेट-क्यू लगभग 2.5 लंबा चलता है।



इमेजनेट डेटाबेस से डेटा पर बैगनेट का प्रदर्शन छोटे टुकड़ों का उपयोग करते हुए भी प्रभावशाली है: 17x17 पिक्सल के टुकड़े एलेक्सनेट स्तर की दक्षता प्राप्त करने के लिए पर्याप्त हैं, और 33x33 पिक्सल के टुकड़े शीर्ष -5 में प्रवेश करते हुए 87% सटीकता प्राप्त करने के लिए पर्याप्त हैं। आप 3x3 पैकेजों को अधिक सावधानी से रखकर और हाइपरपरमेटर्स को समायोजित करके दक्षता बढ़ा सकते हैं।

यह हमारा पहला प्रमुख परिणाम है: इमेजनेट को केवल छोटी छवि सुविधाओं के एक सेट का उपयोग करके हल किया जा सकता है। रचना के हिस्सों के दूर के स्थानिक संबंधों, जैसे कि वस्तुओं के आकार या वस्तु के कुछ हिस्सों के बीच बातचीत, को पूरी तरह से अनदेखा किया जा सकता है; वे समस्या को हल करने के लिए बिल्कुल जरूरत नहीं है।

BagNet'ov की एक उल्लेखनीय विशेषता उनके निर्णय लेने की प्रणाली की पारदर्शिता है। उदाहरण के लिए, आप यह पता लगा सकते हैं कि किसी दिए गए वर्ग के लिए छवियों की कौन सी विशेषताएं सबसे अधिक होंगी। उदाहरण के लिए, दसच, एक बड़ी मछली, आमतौर पर हरे रंग की पृष्ठभूमि पर उंगलियों की छवि से पहचानी जाती है। क्यों? क्योंकि इस श्रेणी की अधिकांश तस्वीरों में एक मछुआरा है जो अपनी ट्रॉफी के रूप में एक टेन है। और जब BagNet गलत तरीके से छवि को एक रेखा के रूप में पहचानती है, तो यह आमतौर पर होता है क्योंकि कहीं न कहीं फोटो में हरे रंग की पृष्ठभूमि पर उंगलियां होती हैं।


छवियों का सबसे विशिष्ट भाग। प्रत्येक सेल में शीर्ष पंक्ति सही मान्यता से मेल खाती है, और विचलित टुकड़ों के नीचे जो गलत मान्यता का कारण बना

हमें सटीक "हीट मैप" भी मिलता है, जो दिखाता है कि छवि के किन हिस्सों ने निर्णय में योगदान दिया।


हीटमैप्स एक अनुमान नहीं हैं, वे छवि के प्रत्येक भाग के योगदान को सटीक रूप से दर्शाते हैं।

बैगनेट के प्रदर्शन कि आप छवियों की स्थानीय विशेषताओं और वस्तुओं की श्रेणी के बीच कमजोर सांख्यिकीय सहसंबंधों के आधार पर केवल इमेजनेट के साथ उच्च सटीकता प्राप्त कर सकते हैं। यदि यह पर्याप्त है, तो ResNet-50 तंत्रिका नेटवर्क मानक बुनियादी तौर पर कुछ अलग क्यों सीखेंगे? ResNet-50 को जटिल बड़े पैमाने के रिश्तों जैसे कि वस्तु के आकार का अध्ययन क्यों करना चाहिए, अगर समस्या को हल करने के लिए छवि की स्थानीय विशेषताओं की प्रचुरता पर्याप्त है?

इस परिकल्पना का परीक्षण करने के लिए कि आधुनिक SNA सबसे सरल BoW नेटवर्क के संचालन के समान एक रणनीति का पालन करते हैं, हमने विभिन्न नेटवर्क्स - BagNet के निम्नलिखित "संकेतों" पर ResNet, DenseNet और VGG का परीक्षण किया:

• समाधान छवि सुविधाओं के स्थानिक फेरबदल से स्वतंत्र हैं (यह केवल वीजीजी मॉडल पर जांच की जा सकती है)।
• छवि के विभिन्न हिस्सों के संशोधन एक-दूसरे पर (वर्ग सदस्यता पर उनके प्रभाव के अर्थ में) निर्भर नहीं होने चाहिए।
• मानक SNA और BagNet'ami द्वारा की गई त्रुटियां समान होनी चाहिए।
• मानक एसएनएस और बैगनेट समान विशेषताओं के प्रति संवेदनशील होना चाहिए।

सभी चार प्रयोगों में, हमें आश्चर्यजनक रूप से एसएनएस और बैगनेट के समान व्यवहार मिले। उदाहरण के लिए, पिछले प्रयोग में, हम दिखाते हैं कि बैगनेट सबसे अधिक संवेदनशील है (यदि, उदाहरण के लिए, वे एसएनए के रूप में छवियों में एक ही स्थान पर हैं)। वास्तव में, BagNet हीट मैप्स (स्थानिक संवेदनशीलता मैप्स) DenseNet-169 की संवेदनशीलता का अनुमान डीपलिफ्ट (DenseNet-169 के लिए सीधे हीट मैप्स की गणना) जैसे एट्रिब्यूशन विधियों द्वारा प्राप्त हीट मैप्स की तुलना में बेहतर है। बेशक, SNA बैगनेट के व्यवहार को बिल्कुल नहीं दोहराता है, लेकिन कुछ विचलन प्रदर्शित करता है। विशेष रूप से, जितने गहरे नेटवर्क बनते हैं, सुविधाओं के आकार उतने बड़े होते जाते हैं और आगे निर्भरता बढ़ती जाती है। इसलिए, गहरे तंत्रिका नेटवर्क वास्तव में BagNet मॉडल पर एक सुधार हैं, लेकिन मुझे नहीं लगता कि उनके वर्गीकरण का आधार किसी तरह बदल रहा है।

BoW वर्गीकरण से परे जा रहे हैं

BoW रणनीतियों की शैली में SNA के निर्णय लेने का अवलोकन SNA की कुछ अजीब विशेषताओं को समझा सकता है। सबसे पहले, यह बताता है कि एसएनए बनावट के साथ क्यों बंधा हुआ है । दूसरे, क्यों SNA छवि के कुछ हिस्सों को मिलाने के लिए संवेदनशील नहीं है। यह प्रतिकूल स्टिकर और प्रतिकूल गड़बड़ी के अस्तित्व की व्याख्या भी कर सकता है: भ्रामक संकेतों को छवि में कहीं भी रखा जा सकता है, और एसएनएस निश्चित रूप से इस संकेत को पकड़ लेगा, भले ही वह शेष छवि के अनुकूल हो।

वास्तव में, हमारा काम दर्शाता है कि छवियों को पहचानते समय एसएनए, बहुत से कमजोर सांख्यिकीय कानूनों का उपयोग करता है और वस्तुओं के स्तर पर छवि के कुछ हिस्सों को एकीकृत करने के लिए आगे नहीं बढ़ता है, जैसा कि लोग करते हैं। अन्य कार्यों और संवेदी तौर-तरीकों के लिए भी यही संभावना है।

हमें कमजोर सांख्यिकीय सहसंबंधों का उपयोग करने की प्रवृत्ति को दूर करने के लिए अपने वास्तुशिल्प, कार्यों और प्रशिक्षण विधियों की सावधानीपूर्वक योजना बनाने की आवश्यकता है। एक दृष्टिकोण एसएनए प्रशिक्षण की विकृति का अनुवाद छोटी स्थानीय विशेषताओं से अधिक वैश्विक लोगों तक करना है। दूसरा उन विशेषताओं को हटाने या बदलने के लिए है जिन पर तंत्रिका नेटवर्क को भरोसा नहीं करना चाहिए, जिन्हें हमने ICLR 2019 के लिए एक अन्य प्रकाशन में किया था, एक प्राकृतिक वस्तु की बनावट को खत्म करने के लिए स्टाइल ट्रांसप्रोप्रेसिंग का उपयोग करते हुए।

सबसे बड़ी समस्याओं में से एक, हालांकि, चित्रों का वर्गीकरण बना हुआ है: यदि स्थानीय विशेषताएं पर्याप्त हैं, तो प्राकृतिक दुनिया के वास्तविक "भौतिकी" का अध्ययन करने के लिए कोई प्रोत्साहन नहीं है। हमें वस्तुओं की भौतिक प्रकृति का अध्ययन करने के लिए मॉडल को स्थानांतरित करने के लिए इस तरह से कार्य को पुनर्गठन करना होगा। ऐसा करने के लिए, सबसे अधिक संभावना है, आपको शुद्ध रूप से अवलोकन शिक्षण से परे इनपुट और आउटपुट डेटा के सहसंबंधों पर जाना होगा ताकि मॉडल कारण संबंधों को निकाल सकें।

साथ में, हमारे परिणाम बताते हैं कि SNA एक अत्यंत सरल वर्गीकरण रणनीति का पालन कर सकता है। तथ्य यह है कि इस तरह की खोज 2019 में की जा सकती है, इस बात पर जोर दिया गया है कि हम अभी भी गहरे तंत्रिका नेटवर्क के काम की आंतरिक विशेषताओं को कितना कम समझते हैं। समझ की कमी हमें मौलिक रूप से बेहतर मॉडल और आर्किटेक्चर विकसित करने की अनुमति नहीं देती है जो मनुष्य और मशीन की धारणा के बीच की खाई को पाटती है। हमारी समझ को गहरा करने से हम इस अंतर को कम करने के तरीकों की खोज कर पाएंगे। यह बेहद उपयोगी हो सकता है: वस्तुओं के भौतिक गुणों की ओर SNA को स्थानांतरित करने की कोशिश करना, हमने अचानक मानव स्तर पर शोर के प्रतिरोध को हासिल किया। मैं SNA के विकास के लिए हमारे रास्ते पर बड़ी संख्या में अन्य दिलचस्प परिणामों की उपस्थिति की उम्मीद करता हूं, जो वास्तव में हमारी दुनिया की भौतिक और कारण प्रकृति को समझती हैं।