तंत्रिका नेटवर्क बनावट और इससे कैसे निपटना पसंद करते हैं।

हाल ही में, ImageNet की आलोचना करते हुए कई लेख आए हैं, शायद तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए उपयोग किए जाने वाले चित्रों का सबसे प्रसिद्ध सेट।

पहले लेख में, बैग-ऑफ-लोकल फीचर्स मॉडल के साथ सीएनएन को लगभग इमेजनेट पर आश्चर्यजनक रूप से अच्छी तरह से काम करता है, लेखक बैग-ऑफ- वर्ड के समान मॉडल लेते हैं और "शब्दों" के रूप में छवि से टुकड़े का उपयोग करते हैं। ये टुकड़े 9x9 पिक्सेल तक के हो सकते हैं। और एक ही समय में, ऐसे मॉडल पर, जहां इन अंशों की स्थानिक व्यवस्था के बारे में कोई भी जानकारी पूरी तरह से अनुपस्थित है, लेखकों को 70 से 86% की सटीकता मिलती है (उदाहरण के लिए, एक नियमित ResNet-50 की सटीकता ~ 93% है)।

ImageNet द्वारा प्रशिक्षित CNNs के दूसरे लेख में बनावट के प्रति पक्षपाती हैं, लेखक निष्कर्ष निकालते हैं कि ImageNet डेटासेट स्वयं और जिस तरह से लोग और तंत्रिका नेटवर्क छवियों का अनुभव करते हैं, वे इसके लिए दोषी हैं और एक नए डेटासेट का उपयोग करने का सुझाव देते हैं - Stylized-ImageNet।

तस्वीरों में लोग क्या देखते हैं और क्या तंत्रिका नेटवर्क के बारे में अधिक विस्तार से

ImageNet

प्रोफेसर फे-फी ली के प्रयासों से 2006 में इमेजनेट डेटासेट बनाया जाने लगा और आज भी इसका विकास जारी है। फिलहाल, इसमें लगभग 14 मिलियन छवियां हैं जो 20 हजार से अधिक विभिन्न श्रेणियों से संबंधित हैं।

2010 के बाद से, ~ 1 मिलियन छवियों और हजारों वर्गों के साथ ImageNet 1K के रूप में ज्ञात इस डेटासेट के एक उपसमुच्चय का उपयोग ImageNet लार्ज स्केल विजुअल रिकॉग्निशन चैलेंज (ILSVRC) में किया गया है। इस प्रतियोगिता में, 2012 में, एक सजातीय तंत्रिका नेटवर्क, एलेक्सनेट ने 60% की शीर्ष -1 सटीकता और 80% पर शीर्ष -5 की शूटिंग की।
यह डेटासेट के इस सबसेट पर है कि शैक्षणिक वातावरण से लोग अपने SOTA को मापते हैं जब वे नए नेटवर्क आर्किटेक्चर पेश करते हैं।

इस डेटासेट पर सीखने की प्रक्रिया के बारे में थोड़ा। हम शैक्षणिक वातावरण में इमेजनेट पर प्रशिक्षण प्रोटोकॉल के बारे में बात करेंगे। यही है, जब कुछ एसई ब्लॉक, ResNeXt या DenseNet नेटवर्क के परिणाम हमें लेख में दिखाए गए हैं, तो प्रक्रिया कुछ इस तरह दिखती है: नेटवर्क 90 युगों के लिए सीखता है, सीखने की गति 30 वें और 60 वें युगों तक घट जाती है, हर 10 बार एक अनुकूलक के रूप में। एक छोटे वजन-क्षय के साथ एक साधारण SGD का चयन किया जाता है, केवल रैंडम क्रॉप और हॉरिज़ॉन्टल क्लीप का उपयोग वृद्धि से किया जाता है, चित्र को आमतौर पर 224x224 पिक्सेल का आकार दिया जाता है।

यहाँ ImageNet पर प्रशिक्षण के लिए एक उदाहरण पाइरॉच स्क्रिप्ट है ।

Bagnet

आइए हम पहले बताए गए लेखों की ओर लौटते हैं। इनमें से पहले में, लेखक एक ऐसा मॉडल चाहते थे जो सामान्य गहरे नेटवर्क की तुलना में व्याख्या करना आसान था। बैग-ऑफ-फीचर मॉडल के विचार से प्रेरित होकर, वे मॉडल - बैगनेट्स का अपना परिवार बनाते हैं। सामान्य ResNet-50 नेटवर्क के आधार के रूप में उपयोग करना।

ResNet-50 में 1x1 के साथ कुछ 3x3 दृढ़ संकल्पों को प्रतिस्थापित करते हुए, वे यह सुनिश्चित करते हैं कि अंतिम दृढ़ परत पर न्यूरॉन्स का ग्रहणशील क्षेत्र काफी कम हो जाता है, 9x9 पिक्सेल तक। इस प्रकार, वे एक व्यक्ति के न्यूरॉन के लिए उपलब्ध जानकारी को पूरी छवि के बहुत छोटे टुकड़े तक सीमित करते हैं - कई पिक्सल का एक पैच। यह ध्यान दिया जाना चाहिए कि प्राचीन ResNet-50 के लिए, ग्रहणशील क्षेत्र का आकार 400 पिक्सेल से अधिक है, जो पूरी तरह से चित्र को कवर करता है, जो आमतौर पर 224x224 पिक्सेल का आकार लेता है।

यह पैच उस छवि का अधिकतम टुकड़ा है जिसमें से मॉडल स्थानिक डेटा निकाल सकता है। मॉडल के अंत में, सभी डेटा को बस सारांशित किया गया था और मॉडल किसी भी तरह से यह नहीं जान सका कि प्रत्येक पैच अन्य पैच के संबंध में कहां स्थित है।
कुल मिलाकर, ग्रहणशील क्षेत्र 9x9, 17x17 और 33x33 के साथ नेटवर्क के तीन वेरिएंट का परीक्षण किया गया। और, स्थानिक जानकारी की पूरी कमी के बावजूद, ऐसे मॉडल ImageNet पर वर्गीकरण में अच्छी सटीकता प्राप्त करने में सक्षम थे। पैच 9x9 के लिए शीर्ष -5 सटीकता 70% थी, 17x17 के लिए - 80%, 33x33 के लिए - 86%। तुलना के लिए, ResNet-50 शीर्ष -5 सटीकता लगभग 93% है।

मॉडल की संरचना ऊपर की आकृति में दिखाई गई है। छवि से काटे गए qxqx3 पिक्सेल के प्रत्येक पैच को नेटवर्क द्वारा 2048 वेक्टर में बदल दिया जाता है। इसके बाद, इस वेक्टर को एक रैखिक क्लासिफायरियर के इनपुट पर खिलाया जाता है, जो प्रत्येक 1000 वर्गों के लिए स्कोर तैयार करता है। 2d सरणी में प्रत्येक पैच के स्कोर को इकट्ठा करके, आप प्रत्येक वर्ग और मूल छवि के प्रत्येक पिक्सेल के लिए एक हीटमैप प्राप्त कर सकते हैं। प्रत्येक वर्ग के हीटमैप को जोड़कर छवि के लिए अंतिम अंक प्राप्त किए गए।

कुछ वर्गों के लिए हीटमैप के उदाहरण:

जैसा कि आप देख सकते हैं, किसी विशेष वर्ग के लाभ के लिए सबसे बड़ा योगदान वस्तुओं के किनारों पर स्थित पैच द्वारा किया जाता है। पृष्ठभूमि से पैच को लगभग अनदेखा कर दिया जाता है। अभी तक सब ठीक चल रहा है।

आइए सबसे जानकारीपूर्ण पैच देखें:

उदाहरण के लिए, लेखकों ने चार कक्षाएं लीं। उनमें से प्रत्येक के लिए, 2x7 सबसे महत्वपूर्ण पैच चुने गए (यानी, पैच जहां इस वर्ग का स्कोर सबसे अधिक था)। 7 पैच की शीर्ष पंक्ति केवल संबंधित वर्ग की छवियों से ली गई है, नीचे - छवियों के पूरे नमूने से।

इन चित्रों में जो देखा जा सकता है वह उल्लेखनीय है। उदाहरण के लिए, दस वर्ग (दसवें, मछली) के लिए, उंगलियां एक विशिष्ट विशेषता हैं। हाँ, एक हरे रंग की पृष्ठभूमि पर साधारण मानव उंगलियां। और सभी क्योंकि इस वर्ग के साथ लगभग सभी छवियों में एक मछुआरा है, जो वास्तव में, इस मछली को अपने हाथों में रखता है, एक ट्रॉफी दिखा रहा है।

लैपटॉप कंप्यूटरों के लिए, एक विशेषता विशेषता अक्षर कुंजी है। टाइपराइटर कुंजियाँ भी इस वर्ग की ओर गिनती हैं।

एक पुस्तक कवर की एक विशेषता एक रंगीन पृष्ठभूमि पर पत्र है। इसे एक टी-शर्ट या एक बैग पर भी एक शिलालेख होने दें।

ऐसा लगेगा कि यह समस्या हमें परेशान नहीं करनी चाहिए। चूंकि यह बहुत सीमित ग्रहणशील क्षेत्र के साथ नेटवर्क के संकीर्ण वर्ग में ही निहित है। लेकिन आगे, लेखकों ने अलग-अलग ग्रहणशील क्षेत्र के साथ प्रत्येक BagNet वर्ग को सौंपे गए लॉगजीस (अंतिम सॉफ्टमैक्स से पहले नेटवर्क आउटपुट) के बीच संबंध की गणना की और वीजीजी -16 से लॉगआउट किया, जिसमें काफी बड़ा ग्रहणशील क्षेत्र है। और उन्होंने उसे बहुत ऊंचा पाया।

लेखकों ने सोचा कि यदि अन्य नेटवर्क निर्णय लेने के बारे में BagNet में कोई संकेत देते हैं।

परीक्षणों में से एक के लिए, उन्होंने इमेज स्क्रैबिंग जैसी तकनीक का उपयोग किया। जहां एक चित्र बनाने के लिए ग्राम मैट्रिक्स पर आधारित बनावट जनरेटर का उपयोग करने में शामिल था, जहां बनावट को बचाया जाता है, लेकिन स्थानिक जानकारी गायब है।

वीजीजी -16, साधारण पूर्ण चित्रों पर प्रशिक्षित, इस तरह के स्क्रैम्बल चित्रों के साथ बहुत अच्छी तरह से मुकाबला किया। इसकी शीर्ष -5 सटीकता 90% से गिरकर 80% हो गई। यही है, यहां तक ​​कि एक बड़े ग्रहणशील क्षेत्र वाले नेटवर्क अभी भी बनावट को याद रखना और स्थानिक जानकारी को अनदेखा करना पसंद करते हैं। इसलिए, उनकी सटीकता तले हुए चित्रों पर भारी नहीं पड़ी।

लेखकों ने प्रयोगों की एक श्रृंखला आयोजित की जहां उन्होंने तुलना की कि छवियों के कौन से हिस्से BagNet और अन्य नेटवर्क (VGG-16, ResNet-50, ResNet-152 और DenseNet-169) के लिए सबसे महत्वपूर्ण हैं। सब कुछ संकेत दिया कि BagNet जैसे अन्य नेटवर्क, छवियों के छोटे टुकड़ों पर भरोसा करते हैं और निर्णय लेते समय समान गलतियों के बारे में बताते हैं। यह विशेष रूप से वीजीजी जैसे बहुत गहरे नेटवर्क के लिए ध्यान देने योग्य नहीं था।

बनावट के आधार पर, हमारे विपरीत, बनावट के आधार पर निर्णय लेने की प्रवृत्ति, जो लोग आकार पसंद करते हैं (नीचे का आंकड़ा देखें), ने दूसरे लेख के लेखकों को इमेजनेट पर आधारित एक नया डेटासेट बनाने के लिए प्रेरित किया।

Stylized ImageNet

सबसे पहले, स्टाइल ट्रांसफर का उपयोग करने वाले लेख के लेखकों ने छवियों का एक सेट बनाया जहां आकृति (स्थानिक डेटा) और एक छवि में बनावट एक-दूसरे के विपरीत थे। और हमने लोगों के परिणामों की तुलना 16 वर्गों से एक संश्लेषित डेटा पर अलग-अलग आर्किटेक्चर के गहरे आक्षेप नेटवर्क से की।

दूर सही आकृति में, लोग एक बिल्ली, एक नेटवर्क - एक हाथी देखते हैं।

लोगों और तंत्रिका नेटवर्क के परिणामों की तुलना।

जैसा कि आप देख सकते हैं, किसी विशेष वर्ग के ऑब्जेक्ट को असाइन करते समय लोग बनावट पर वस्तुओं, तंत्रिका नेटवर्क के आकार पर निर्भर होते हैं। ऊपर की आकृति में, लोगों ने एक बिल्ली, एक नेटवर्क - एक हाथी देखा।

हां, यहां आप इस तथ्य के साथ गलती पा सकते हैं कि जाल भी कुछ हद तक सही हैं और यह, उदाहरण के लिए, एक प्यारी बिल्ली के टैटू के साथ करीब रेंज से एक हाथी का फोटो हो सकता है। लेकिन यह तथ्य कि निर्णय लेते समय नेटवर्क लोगों से अलग व्यवहार करते हैं, लेखकों ने समस्या पर विचार किया और इसे हल करने के तरीकों की खोज शुरू की।

जैसा कि ऊपर उल्लेख किया गया है, केवल बनावट पर भरोसा करते हुए, नेटवर्क 86% शीर्ष -5 सटीकता पर एक अच्छा परिणाम प्राप्त करने में सक्षम है। और यह कई वर्गों के बारे में नहीं है, जहां बनावट छवियों को सही ढंग से वर्गीकृत करने में मदद करती है, लेकिन अधिकांश कक्षाओं के बारे में।

समस्या स्वयं इमेजनेट में है, क्योंकि बाद में यह दिखाया जाएगा कि नेटवर्क फॉर्म को सीखने में सक्षम है, लेकिन ऐसा नहीं है, क्योंकि इस डेटा सेट के लिए बनावट पर्याप्त हैं, और बनावट के लिए जिम्मेदार न्यूरॉन उथली परतों पर हैं, जो प्रशिक्षित करने के लिए बहुत आसान हैं।

इस समय का उपयोग थोड़ा अलग AdaIN फास्ट स्टाइल ट्रांसफर तंत्र के रूप में करते हुए, लेखकों ने एक नया डेटासेट बनाया - Stylized ImageNet। ऑब्जेक्ट्स का आकार इमेजनेट से लिया गया था, और काग्ले पर इस प्रतियोगिता से बनावट का सेट। पीढ़ी के लिए स्क्रिप्ट लिंक पर उपलब्ध है।

इसके अलावा, संक्षिप्तता के लिए, इमेजनेट को IN , Stylized ImageNet को SIN के रूप में संदर्भित किया जाएगा।

लेखकों ने ResNet-50 और तीन BagNet को अलग-अलग ग्रहणशील क्षेत्र के साथ लिया और प्रत्येक डेटा सेट के लिए एक अलग मॉडल पर प्रशिक्षित किया।

और यहाँ उन्होंने क्या किया:

हम यहां क्या देख रहे हैं। IN पर प्रशिक्षित ResNet-50 पूरी तरह से SIN पर अक्षम है। जो आंशिक रूप से पुष्टि करता है कि जब IN पर प्रशिक्षण दिया जाता है, तो नेटवर्क बनावट पर निर्भर करता है और वस्तुओं के आकार को अनदेखा करता है। उसी समय, एसईएन और आईएनआर दोनों के साथ एसईएन पर प्रशिक्षित रेसनेट -50 पूरी तरह से मुकाबला करता है। यही है, अगर यह एक सरल पथ से वंचित है, तो नेटवर्क एक कठिन पथ का अनुसरण करता है - यह वस्तुओं के आकार को सिखाता है।
BagNet ने अंततः अपेक्षा के अनुसार व्यवहार करना शुरू कर दिया है, खासकर छोटे पैच पर, क्योंकि इसमें कुछ भी नहीं है - बनावट की जानकारी बस SIN से गायब है।

उन सोलह वर्गों में जिनका उल्लेख पहले किया गया था, ResNet-50, SIN पर प्रशिक्षित, ने उन लोगों के समान जवाब देना शुरू किया, जो लोग देखते हैं:

केवल SIN पर ResNet-50 को प्रशिक्षित करने के अलावा, लेखकों ने SIN और IN के मिश्रित सेट पर नेटवर्क को प्रशिक्षित करने का प्रयास किया, जिसमें शुद्ध IN पर अलग से फाइन-ट्यूनिंग भी शामिल है।

जैसा कि आप देख सकते हैं, प्रशिक्षण के लिए SIN + IN का उपयोग करते समय, परिणाम न केवल मुख्य कार्य - ImageNet पर छवि वर्गीकरण, बल्कि PASCAL VOC 2007 डेटासेट पर वस्तुओं का पता लगाने के कार्य में भी सुधार हुआ।

इसके अलावा, SIN प्रशिक्षित नेटवर्क डेटा में विभिन्न शोर के प्रति अधिक प्रतिरोधी हो गए हैं।

निष्कर्ष

अब भी, 2019 में, एलेक्सनेट के साथ सात साल की सफलता के बाद, जब कंप्यूटर नेटवर्क में तंत्रिका नेटवर्क का व्यापक रूप से उपयोग किया जाता है, जब ImageNet 1K de facto शैक्षणिक वातावरण में मॉडल के प्रदर्शन के मूल्यांकन के लिए मानक बन गया, तंत्रिका तंत्र कैसे निर्णय लेते हैं, इसका तंत्र पूरी तरह से स्पष्ट नहीं है। । और कैसे डेटासेट जिस पर इन नेटवर्कों को प्रशिक्षित किया गया था।

पहले लेख के लेखकों ने एक सीमित ग्रहणशील क्षेत्र के साथ बैग-ऑफ-फीचर्स आर्किटेक्चर के साथ नेटवर्क में इस तरह के निर्णय कैसे किए जाते हैं, इस पर प्रकाश डालने की कोशिश की, जिसकी व्याख्या करना आसान है। और, BagNet और सामान्य गहरे तंत्रिका नेटवर्क के उत्तरों की तुलना करते हुए, हम इस निष्कर्ष पर पहुंचे कि उनमें निर्णय लेने की प्रक्रिया काफी समान है।

दूसरे लेख के लेखकों ने तुलना की कि लोग और तंत्रिका नेटवर्क किस तरह के चित्रों को देखते हैं, जिनमें आकृति और बनावट एक-दूसरे के विपरीत हैं। और उन्होंने अवधारणात्मक मतभेदों को कम करने के लिए एक नए डेटासेट, स्टाइलाइज़्ड इमेजनेट का उपयोग करने का सुझाव दिया। इमेजनेट पर वर्गीकरण की सटीकता में वृद्धि और तीसरे पक्ष के डेटा सेट पर पता लगाने के लिए बोनस के रूप में प्राप्त करना।

मुख्य निष्कर्ष निम्नानुसार बनाया जा सकता है: नेटवर्क जो चित्रों से सीखते हैं, वस्तुओं के उच्च-स्तरीय स्थानिक गुणों को याद रखने की क्षमता रखते हैं, लक्ष्य को प्राप्त करने के लिए एक आसान तरीका पसंद करते हैं - बनावट पर ओवरफिट करने के लिए। यदि जिस पर वे ट्रेन करते हैं, वह डेटासेट इसकी अनुमति देता है।

अकादमिक रुचि के अलावा, टेक्सटाइल ओवरफिटिंग की समस्या हम सभी के लिए महत्वपूर्ण है जो अपने कार्यों में स्थानांतरण सीखने के लिए पूर्व-प्रशिक्षित मॉडल का उपयोग करते हैं।
हमारे लिए इस सब का एक महत्वपूर्ण परिणाम यह है कि आपको उन मॉडलों के वजन पर भरोसा नहीं करना चाहिए जो आमतौर पर ImageNet पर पूर्व-प्रशिक्षित होते हैं, क्योंकि उनमें से अधिकांश के लिए काफी सरल संवर्द्धन का उपयोग किया गया था, जो किसी भी तरह से ओवरफिटिंग से छुटकारा पाने में योगदान नहीं करते हैं। और यह बेहतर है, यदि संभव हो, तो घोंसले में अधिक गंभीर वृद्धि या स्टाइलिज्ड इमेजनेट + इमेजनेट के साथ प्रशिक्षित मॉडल होना चाहिए। हमेशा तुलना करने में सक्षम होने के लिए कि कौन सा हमारे वर्तमान कार्य के लिए सबसे उपयुक्त है।