एआई, व्यावहारिक पाठ्यक्रम। छवि वर्गीकरण के लिए तंत्रिका नेटवर्क का अवलोकन

यह लेख कंफ्यूज़नल न्यूरल नेटवर्क (CNN) का एक सुलभ सैद्धांतिक अवलोकन प्रदान करता है और छवि वर्गीकरण समस्या के लिए उनके आवेदन की व्याख्या करता है।

सामान्य दृष्टिकोण: कोई गहरी शिक्षा नहीं

"इमेज प्रोसेसिंग" शब्द उन कार्यों की एक विस्तृत श्रेणी को संदर्भित करता है जिनके लिए इनपुट डेटा छवियां हैं, और आउटपुट या तो संबंधित विशेषताओं के चित्र या सेट हो सकते हैं। कई विकल्प हैं: वर्गीकरण, विभाजन, एनोटेशन, ऑब्जेक्ट डिटेक्शन, आदि। इस लेख में, हम छवियों के वर्गीकरण की जांच करते हैं, न केवल क्योंकि यह सबसे सरल कार्य है, बल्कि इसलिए भी कि यह कई अन्य कार्यों को रेखांकित करता है।

छवियों के वर्गीकरण के लिए सामान्य दृष्टिकोण में निम्नलिखित दो चरण शामिल हैं:

1. छवि की महत्वपूर्ण विशेषताओं का निर्माण।
2. एक छवि का वर्गीकरण इसकी विशेषताओं के आधार पर।

संचालन का सामान्य क्रम सरल मॉडल जैसे मल्टीलेयर परसेप्ट्रॉन (एमएलपी), सपोर्ट वेक्टर मशीन (एसवीएम), के निकटतम पड़ोसी विधि और मैन्युअल रूप से निर्मित सुविधाओं के शीर्ष पर लॉजिस्टिक रिग्रेशन का उपयोग करता है। विशेषताएँ विभिन्न परिवर्तनों (जैसे, ग्रेस्केल और थ्रेसहोल्ड डिटेक्शन) और डिस्क्रिप्टर, उदाहरण के लिए, हिस्टोग्राम ऑफ़ ओरिएंटेड ग्रैडिएटर्स ( HOG ) या स्केल-इनवेरिएंट फ़ीचर ट्रांसफ़ॉर्म ( SIFT ) ट्रांसफ़ॉर्मेशन और एम। पी।

आम तौर पर स्वीकृत तरीकों की मुख्य सीमा एक विशेषज्ञ की भागीदारी है जो सुविधाओं को बनाने के लिए चरणों का एक सेट और अनुक्रम चुनता है।

समय के साथ, यह देखा गया कि सुविधाओं को उत्पन्न करने के लिए अधिकांश तकनीकों को गुठली (फिल्टर) - छोटे मेट्रिसेस (आमतौर पर 5 × 5 आकार में) का उपयोग करके सामान्य किया जा सकता है, जो मूल चित्रों के संकल्प हैं। बातचीत को क्रमिक दो-चरण प्रक्रिया के रूप में माना जा सकता है:

1. संपूर्ण स्रोत छवि में समान निश्चित कोर पास करें।
2. प्रत्येक चरण पर, कर्नेल के मूल स्थान पर कर्नेल और मूल छवि के स्केलर उत्पाद की गणना करें।

छवि और कर्नेल के दृढ़ीकरण के परिणाम को फीचर मैप कहा जाता है।
एक अधिक गणितीय रूप से कठोर स्पष्टीकरण हाल ही में प्रकाशित पुस्तक डीप लर्निंग के प्रासंगिक अध्याय , आई। गुडफेलो, आई। बेंजियो और ए। कोर्टविल द्वारा दिया गया है।


मूल छवि (हरा) के साथ कोर (गहरे हरे) के दृढ़ीकरण की प्रक्रिया, जिसके परिणामस्वरूप एक फीचर मैप (पीला) प्राप्त होता है।

एक परिवर्तन का एक सरल उदाहरण जो फ़िल्टर के साथ किया जा सकता है वह एक छवि को धुंधला कर रहा है। सभी इकाइयों से मिलकर एक फ़िल्टर लें। यह फिल्टर द्वारा निर्धारित पड़ोस के औसत की गणना करता है। इस मामले में, पड़ोस एक वर्ग खंड है, लेकिन यह क्रूसिफ़ॉर्म या कुछ भी हो सकता है। एवरेजिंग से वस्तुओं की सटीक स्थिति के बारे में जानकारी का नुकसान होता है, इस प्रकार संपूर्ण छवि को धुंधला हो जाता है। किसी भी मैन्युअल रूप से बनाए गए फ़िल्टर के लिए एक समान सहज स्पष्टीकरण दिया जा सकता है।


तीन अलग-अलग कोर के साथ हार्वर्ड विश्वविद्यालय की इमारत की छवि के दृढ़ संकल्प का परिणाम है।

संवादी तंत्रिका नेटवर्क

छवि वर्गीकरण के लिए दृढ़ दृष्टिकोण में कई महत्वपूर्ण कमियां हैं:

• एंड-टू-एंड अनुक्रम के बजाय एक बहु-चरण प्रक्रिया।
• फिल्टर एक महान सामान्यीकरण उपकरण हैं, लेकिन वे निश्चित मैट्रिक्स हैं। फ़िल्टर में वज़न कैसे चुनें?

सौभाग्य से, सीखने योग्य फिल्टर का आविष्कार किया गया है, जो कि सीएनएन के आधारभूत सिद्धांत हैं। सिद्धांत सरल है: हम छवियों के विवरण के लिए लागू किए गए फिल्टर को उनके कार्य को पूरा करने के लिए प्रशिक्षित करेंगे।

CNN के पास एक आविष्कारक नहीं है, लेकिन उनके आवेदन के पहले मामलों में से एक I LeCun और अन्य द्वारा " ग्रैडिएंट-आधारित लर्निंग एप्लाइड टू डॉक्यूमेंट रिकॉग्निशन" में काम करने वाले LeNet-5 * है। लेखकों।

सीएनएन एक पत्थर से दो पक्षियों को मारता है: फिल्टर की प्रारंभिक परिभाषा की कोई आवश्यकता नहीं है, और सीखने की प्रक्रिया अंत-से-अंत हो जाती है। एक विशिष्ट CNN वास्तुकला में निम्नलिखित भाग होते हैं:

• संवादी परतें
• सबमर्सिबल की परतें
• घनी (पूरी तरह से जुड़ी हुई) परतें

आइए प्रत्येक भाग पर अधिक विस्तार से विचार करें।

संवादी परतें

कन्वेन्शन लेयर CNN का मुख्य संरचनात्मक तत्व है। दृढ़ परत में विशेषताओं का एक समूह होता है:
स्थानीय (विरल) कनेक्टिविटी । घने परतों में, प्रत्येक न्यूरॉन पिछली परत के प्रत्येक न्यूरॉन से जुड़ा होता है (इसलिए उन्हें घना कहा जाता था)। दृढ़ परत में, प्रत्येक न्यूरॉन पिछली परत के न्यूरॉन्स के केवल एक छोटे हिस्से से जुड़ा होता है।


एक आयामी तंत्रिका नेटवर्क का एक उदाहरण। (बाएं) एक सामान्य सघन नेटवर्क में न्यूरॉन्स का कनेक्शन, (दाएं) अवक्षेपण परत में निहित स्थानीय कनेक्टिविटी की विशेषता। डी। लर्निंग द्वारा आई। गुडफेलो और अन्य से ली गई छवियां

जिस क्षेत्र से न्यूरॉन जुड़ा होता है, उसके आकार को फ़िल्टर का आकार (एक आयामी डेटा के मामले में फ़िल्टर की लंबाई, उदाहरण के लिए, समय श्रृंखला या दो-आयामी डेटा के मामले में चौड़ाई / ऊँचाई, उदाहरण के लिए, चित्र) कहा जाता है। दाईं ओर की आकृति में, फिल्टर का आकार 3 है। जिस वज़न के साथ कनेक्शन बनाया गया है उसे फ़िल्टर कहा जाता है (एक आयामी डेटा के मामले में एक वेक्टर और दो आयामी डेटा के लिए एक मैट्रिक्स)। चरण डेटा पर फ़िल्टर चाल की दूरी है (दाईं ओर की आकृति में, चरण 1 है)। स्थानीय कनेक्टिविटी का विचार एक कर्नेल से ज्यादा कुछ नहीं है जो एक कदम है। प्रत्येक दृढ़ स्तर का न्यूरॉन मूल छवि के साथ नाभिक के फिसलने की एक विशिष्ट स्थिति का प्रतिनिधित्व करता है और लागू करता है।


दो आसन्न एक आयामी दृढ़ परतों

एक अन्य महत्वपूर्ण संपत्ति तथाकथित संवेदनशीलता क्षेत्र है । यह मूल संकेत के पदों की संख्या को दर्शाता है जो वर्तमान न्यूरॉन "देख" सकते हैं। उदाहरण के लिए, पहली नेटवर्क परत की संवेदनशीलता क्षेत्र, चित्र में दिखाया गया है, फिल्टर 3 के आकार के बराबर है, क्योंकि प्रत्येक न्यूरॉन मूल सिग्नल के केवल तीन न्यूरॉन्स से जुड़ा हुआ है। हालांकि, दूसरी परत पर, संवेदनशीलता क्षेत्र पहले से ही 5 है, चूंकि दूसरी परत का न्यूरॉन पहली परत के तीन न्यूरॉन्स को एकत्र करता है, जिनमें से प्रत्येक में संवेदनशीलता क्षेत्र 3 है। बढ़ती गहराई के साथ, संवेदनशीलता क्षेत्र रैखिक रूप से बढ़ता है।

साझा किए गए पैरामीटर । याद रखें कि शास्त्रीय छवि प्रसंस्करण में, एक ही कोर पूरी छवि में चमकती है। यहां एक ही विचार लागू होता है। हम केवल एक परत के लिए वज़न के फ़िल्टर के आकार को ठीक करते हैं और हम इन वज़न को परत में सभी न्यूरॉन्स पर लागू करेंगे। यह पूरी छवि में एक ही कोर को स्लाइड करने के बराबर है। लेकिन सवाल उठ सकता है: हम इतने कम मापदंडों के साथ कैसे कुछ सीख सकते हैं?


डार्क एरो उसी वज़न का प्रतिनिधित्व करते हैं। (बाएं) नियमित एमएलपी, जहां प्रत्येक भार कारक एक अलग पैरामीटर है, (दाएं) पैरामीटर जुदाई का एक उदाहरण है, जहां कई भार कारक एक ही प्रशिक्षण पैरामीटर को इंगित करते हैं

स्थानिक संरचना । इस प्रश्न का उत्तर सरल है: हम एक परत में कई फिल्टर प्रशिक्षित करेंगे! उन्हें एक दूसरे के समानांतर रखा जाता है, इस प्रकार एक नया आयाम बनता है।

हम थोड़े समय के लिए रुकते हैं और 227 × 227 की दो-आयामी आरजीबी छवि के उदाहरण द्वारा प्रस्तुत विचार की व्याख्या करते हैं। ध्यान दें कि यहां हम तीन-चैनल इनपुट छवि के साथ काम कर रहे हैं, जिसका अर्थ है कि हमारे पास तीन इनपुट चित्र या तीन-आयामी इनपुट डेटा हैं।


इनपुट छवि की स्थानिक संरचना

हम चैनलों के आयामों को छवि की गहराई के रूप में मानेंगे (ध्यान दें कि यह तंत्रिका नेटवर्क की गहराई के समान नहीं है, जो नेटवर्क परतों की संख्या के बराबर है)। सवाल यह है कि इस मामले के लिए कर्नेल का निर्धारण कैसे किया जाए।


द्वि-आयामी कोर का एक उदाहरण, जो अनिवार्य रूप से एक अतिरिक्त गहराई माप के साथ एक तीन-आयामी मैट्रिक्स है। यह फिल्टर छवि के साथ एक दृढ़ विश्वास देता है; यह है, अंतरिक्ष में छवि पर ग्लाइडर, स्केलर उत्पादों की गणना

उत्तर सरल है, हालांकि अभी भी स्पष्ट नहीं है: हम कर्नेल को भी तीन-आयामी बना देंगे। पहले दो आयाम समान (कोर चौड़ाई और ऊंचाई) रहेंगे, और तीसरा आयाम हमेशा इनपुट डेटा की गहराई के बराबर होता है।


एक स्थानिक दृढ़ संकल्प कदम का एक उदाहरण। फ़िल्टर के स्केलर उत्पाद और छवि के एक छोटे हिस्से का परिणाम 5 × 5 × 3 (यानी, 5 × 5 × 5 + 1 = 76, स्केलर उत्पाद + बदलाव का आयाम) एक संख्या है

इस स्थिति में, मूल छवि का पूरा 5 × 5 × 3 खंड एक संख्या में बदल जाता है, और तीन आयामी छवि स्वयं एक सुविधा मानचित्र ( सक्रियण मानचित्र ) में बदल जाएगी। एक फ़ीचर मैप न्यूरॉन्स का एक सेट है, जिनमें से प्रत्येक अपने स्वयं के फ़ंक्शन की गणना करता है, ऊपर चर्चा किए गए दो बुनियादी सिद्धांतों को ध्यान में रखते हुए: स्थानीय कनेक्टिविटी (प्रत्येक न्यूरॉन इनपुट डेटा के केवल एक छोटे हिस्से के साथ जुड़ा हुआ है) और मापदंडों का अलगाव (सभी न्यूरॉन्स एक ही फिल्टर का उपयोग करते हैं)। आदर्श रूप से, यह फीचर मैप वैसा ही होगा जैसा कि आम तौर पर स्वीकृत नेटवर्क के उदाहरण में पहले से ही मौजूद है - यह इनपुट छवि और फिल्टर के दृढ़ संकल्प के परिणामों को संग्रहीत करता है।


सभी स्थानिक पदों के साथ कोर के दृढ़ संकल्प के परिणामस्वरूप फ़ीचर मैप

ध्यान दें कि फीचर मैप की गहराई 1 है, क्योंकि हमने केवल एक फिल्टर का उपयोग किया था। लेकिन कुछ भी हमें अधिक फिल्टर का उपयोग करने से रोकता है; उदाहरण के लिए, 6. वे सभी एक ही इनपुट डेटा के साथ बातचीत करेंगे और एक-दूसरे से स्वतंत्र रूप से काम करेंगे। आइए एक कदम आगे बढ़ें और इन फीचर कार्ड को मिलाएं। उनके स्थानिक आयाम समान हैं क्योंकि फ़िल्टर के आयाम समान हैं। इस प्रकार, एकत्र किए गए फ़ीचर मैप्स को एक नए त्रि-आयामी मैट्रिक्स के रूप में माना जा सकता है, जिसकी गहराई आयाम को विभिन्न कोर से फ़ीचर मैप द्वारा दर्शाया गया है। इस अर्थ में, इनपुट छवि के RGB चैनल तीन मूल फीचर मानचित्रों के अलावा अन्य नहीं हैं।


इनपुट छवि और सक्रियण कार्ड के परिणामस्वरूप सेट के कई फिल्टर के समानांतर आवेदन

फ़ीचर मैप्स और उनके संयोजन की ऐसी समझ बहुत महत्वपूर्ण है, क्योंकि, इस बात का एहसास होने पर, हम नेटवर्क आर्किटेक्चर का विस्तार कर सकते हैं और एक के ऊपर एक, अलंकारिक परतों को स्थापित कर सकते हैं, जिससे संवेदनशीलता क्षेत्र में वृद्धि होगी और हमारे क्लासिफायर को समृद्ध किया जाएगा।


एक दूसरे के ऊपर स्थापित संकरी परतें। प्रत्येक परत में, फ़िल्टर का आकार और उनकी संख्या भिन्न हो सकती है

अब हम समझते हैं कि एक दृढ़ नेटवर्क क्या है। इन परतों का मुख्य लक्ष्य आम तौर पर स्वीकृत दृष्टिकोण के साथ ही है - छवि के महत्वपूर्ण संकेतों का पता लगाने के लिए। और, अगर पहली परत में ये संकेत बहुत सरल हो सकते हैं (ऊर्ध्वाधर / क्षैतिज रेखाओं की उपस्थिति), तो नेटवर्क की गहराई उनके अमूर्त (कुत्ते / बिल्ली / व्यक्ति की उपस्थिति) की डिग्री बढ़ जाती है।

सबमर्सिबल की परतें

संकेंद्रित परतें CNN का मुख्य बिल्डिंग ब्लॉक हैं। लेकिन एक और महत्वपूर्ण और अक्सर उपयोग किया जाने वाला हिस्सा है - ये सबसम्प्लीट लेयर्स हैं। पारंपरिक छवि प्रसंस्करण में, कोई प्रत्यक्ष एनालॉग नहीं है, लेकिन एक उप-प्रकार को एक अन्य प्रकार के कर्नेल के रूप में माना जा सकता है। यह क्या है?


सबसेंम्पलिंग के उदाहरण। (बाएं) डेटा सबटैस के स्थानिक (लेकिन चैनल नहीं!) आकार में एक सबमिशन कैसे बदलता है, (दाएं) एक सबमिशन की मूल योजना कैसे काम करती है

एक सबमिशन एक विशिष्ट एकत्रीकरण फ़ंक्शन के साथ इनपुट डेटा के प्रत्येक पिक्सेल के पड़ोस के एक हिस्से को फ़िल्टर करता है, उदाहरण के लिए, अधिकतम, औसत, आदि। सबसम्प्लिन अनिवार्य रूप से कनविक्शन के समान है, लेकिन पिक्सेल संयोजन फ़ंक्शन स्केलर उत्पाद तक सीमित नहीं है। एक और महत्वपूर्ण अंतर यह है कि सबसम्पलिंग केवल स्थानिक आयाम में काम करता है। सबसैंपलिंग परत की एक विशेषता यह है कि पिच आमतौर पर फिल्टर के आकार के बराबर होती है (विशिष्ट मूल्य 2 है)।

एक सदस्यता के तीन मुख्य उद्देश्य हैं:

• स्थानिक आयाम में कमी, या उप-नमूनाकरण। यह मापदंडों की संख्या को कम करने के लिए किया जाता है।
• संवेदनशीलता क्षेत्र की वृद्धि। बाद की परतों में सबमर्सन न्यूरॉन्स के कारण, इनपुट सिग्नल के अधिक चरण जमा होते हैं
• इनपुट सिग्नल में पैटर्न की स्थिति में छोटे विषमताओं के लिए अनुवाद के विपरीत। इनपुट सिग्नल के छोटे पड़ोस के एकत्रीकरण आंकड़ों की गणना करके, एक सबमप्लम इसमें छोटे स्थानिक विस्थापनों को अनदेखा कर सकता है।

मोटी परत

संकेंद्रित परतें और उप-परतें एक ही उद्देश्य की पूर्ति करती हैं - छवि विशेषताएँ उत्पन्न करना। अंतिम चरण ज्ञात विशेषताओं के आधार पर इनपुट छवि को वर्गीकृत करना है। सीएनएन में, नेटवर्क के शीर्ष पर घनी परतें ऐसा करती हैं। नेटवर्क के इस भाग को वर्गीकरण कहा जाता है । इसमें संपूर्ण संयोजकता के साथ एक दूसरे के ऊपर कई परतें हो सकती हैं, लेकिन आमतौर पर एक बहु-चर लॉजिस्टिक सक्रियण फ़ंक्शन द्वारा सक्रिय सॉफ्टमैक्स श्रेणी की परत के साथ समाप्त होती है, जिसमें ब्लॉक की संख्या कक्षाओं की संख्या के बराबर होती है। इस परत के आउटपुट में इनपुट ऑब्जेक्ट के लिए कक्षा द्वारा संभाव्यता वितरण है। अब छवि को सबसे अधिक संभावना वर्ग चुनकर वर्गीकृत किया जा सकता है।