🤵 🚔 🏴 मास्क आर-सीएनएन: चित्रों में वस्तुओं के विभाजन के लिए एक आधुनिक तंत्रिका नेटवर्क की वास्तुकला 👔 👷🏻 👧🏿

जिस समय कंप्यूटर दृष्टि के सबसे जरूरी कार्यों में से एक था, बिल्लियों की तस्वीरों से कुत्तों की तस्वीरों को अलग करने की क्षमता, पहले से ही अतीत में हैं। फिलहाल, तंत्रिका नेटवर्क छवि प्रसंस्करण के लिए बहुत अधिक जटिल और दिलचस्प कार्य करने में सक्षम हैं। विशेष रूप से, मास्क आर-सीएनएन वास्तुकला के साथ नेटवर्क आपको तस्वीरों में विभिन्न वस्तुओं के आकृति ("मास्क") का चयन करने की अनुमति देता है, भले ही ऐसी कई वस्तुएं हों, उनके अलग-अलग आकार और आंशिक रूप से ओवरलैप होते हैं। नेटवर्क छवि में लोगों के पोज को पहचानने में भी सक्षम है।

इस वर्ष की शुरुआत में, मुझे शैक्षिक उद्देश्यों के लिए कागल में डेटा साइंस बाउल 2018 प्रतियोगिता में भाग लेने का अवसर मिला। शैक्षिक उद्देश्यों के लिए, मैंने उन मॉडलों में से एक का उपयोग किया जो कुछ प्रतिभागियों ने उच्च पदों पर कब्जा कर लिया है। यह हाल ही में फेसबुक रिसर्च द्वारा विकसित एक मास्क आर-सीएनएन न्यूरल नेटवर्क था। (यह ध्यान देने योग्य है कि विजेता टीम ने अभी भी एक अलग वास्तुकला का उपयोग किया है - यू-नेट। जाहिर है, यह बायोमेडिकल कार्यों के लिए अधिक उपयुक्त था, जिसमें डेटा साइंस बाउल 2018 शामिल था)।
चूंकि लक्ष्य दीप लर्निंग के कार्यों से खुद को परिचित करना था, और एक उच्च स्थान पर कब्जा नहीं करना था, प्रतियोगिता के अंत के बाद यह समझने की तीव्र इच्छा थी कि "हुड के तहत" तंत्रिका नेटवर्क का उपयोग कैसे किया जाए। यह आलेख मूल दस्तावेजों से प्राप्त सूचनाओं का संकलन है जो arXiv.org और मीडियम के कई लेखों से लिया गया है। सामग्री प्रकृति में विशुद्ध रूप से सैद्धांतिक है (हालांकि अंत में व्यावहारिक अनुप्रयोग के बारे में लिंक हैं), और इसमें संकेतित स्रोतों में से अधिक शामिल नहीं है। लेकिन रूसी में इस विषय पर बहुत कम जानकारी है, इसलिए शायद यह लेख किसी के लिए उपयोगी होगा।

सभी चित्रण अन्य लोगों के स्रोतों से लिए गए हैं और उनके वास्तविक मालिकों के हैं।

कंप्यूटर विज़न टास्क के प्रकार

आमतौर पर, कंप्यूटर विज़न के आधुनिक कार्यों को चार प्रकारों में विभाजित किया जाता है (रूसी-भाषा स्रोतों में भी उनके नामों के अनुवादों को पूरा करना आवश्यक नहीं था, इसलिए अंग्रेजी में, ताकि भ्रम पैदा न करें):

वर्गीकरण - उस वस्तु के प्रकार से छवि का वर्गीकरण जिसमें यह शामिल है;
सिमेंटिक विभाजन - छवि में एक निश्चित वर्ग या पृष्ठभूमि के सभी पिक्सल की परिभाषा। यदि एक ही वर्ग के कई ऑब्जेक्ट ओवरलैप होते हैं, तो उनके पिक्सेल एक दूसरे से अलग नहीं हो सकते हैं;
ऑब्जेक्ट का पता लगाना - निर्दिष्ट कक्षाओं की सभी वस्तुओं का पता लगाना और उनमें से प्रत्येक के लिए संलग्नक ढांचे का निर्धारण;
उदाहरण विभाजन - अलग-अलग प्रत्येक वर्ग की प्रत्येक वस्तु से संबंधित पिक्सल की परिभाषा;

[9] से गुब्बारों के साथ एक छवि के उदाहरण का उपयोग करते हुए , इसे निम्नानुसार चित्रित किया जा सकता है:

मास्क आर-सीएनएन का विकासवादी विकास

मास्क आर-सीएनएन की अंतर्निहित अवधारणाएं कई मध्यवर्ती तंत्रिका नेटवर्क की वास्तुकला के माध्यम से एक चरणबद्ध विकास से गुजरीं, जो उपरोक्त सूची से विभिन्न कार्यों को हल करती हैं। संभवतः इस नेटवर्क के कामकाज के सिद्धांतों को समझने का सबसे आसान तरीका क्रमिक रूप से इन सभी चरणों पर विचार करना है।

Backpropagation जैसी बुनियादी चीजों पर रहने के बिना, गैर-रेखीय सक्रियण का कार्य, और बहुपरत तंत्रिका नेटवर्क सामान्य रूप से कैसे होता है, इस बात का एक संक्षिप्त विवरण है कि कैसे रूपांतरण तंत्रिका नेटवर्क की परतें अभी भी इसके लायक हैं (R-CNN)।

बातचीत और मैक्सपूलिंग

एक संकेंद्रित परत आपको आसन्न पिक्सल के मूल्यों को संयोजित करने और छवि की अधिक सामान्य विशेषताओं को उजागर करने की अनुमति देती है। ऐसा करने के लिए, तस्वीर को क्रमिक रूप से एक छोटे आकार (3x3, 5x5, 7x7 पिक्सेल, आदि) के वर्गाकार खिड़की से चमकाया जाता है जिसे कर्नेल (कर्नेल) कहा जाता है। प्रत्येक मुख्य तत्व का अपना वजन गुणांक उस छवि के पिक्सेल के मूल्य से कई गुना अधिक होता है, जिस पर वर्तमान में मुख्य तत्व की अधिकता होती है। फिर पूरी विंडो के लिए प्राप्त संख्याओं को जोड़ा जाता है, और यह भारित राशि अगले संकेत का मूल्य देती है।

संपूर्ण छवि की विशेषताओं का एक मैट्रिक्स ("मानचित्र") प्राप्त करने के लिए, कोर को क्रमिक रूप से क्षैतिज और लंबवत स्थानांतरित किया जाता है। निम्नलिखित परतों में, पूर्ववर्ती परतों से प्राप्त विशेषता मानचित्रों पर पहले से ही कनवल्शन ऑपरेशन लागू किया जाता है। आलेखीय रूप से, इस प्रक्रिया को निम्नानुसार चित्रित किया जा सकता है:

एक परत के भीतर एक छवि या फीचर कार्ड को एक नहीं बल्कि कई स्वतंत्र फ़िल्टर द्वारा स्कैन किया जा सकता है, इस प्रकार एक कार्ड नहीं, लेकिन कई (उन्हें "चैनल" भी कहा जाता है)। प्रत्येक फ़िल्टर के वज़न का समायोजन एक ही बैकप्रोपैजेशन प्रक्रिया का उपयोग करके होता है।

जाहिर है, अगर स्कैनिंग के दौरान फ़िल्टर कोर छवि से परे नहीं जाता है, तो फीचर मैप का आयाम मूल छवि से कम होगा। यदि आप समान आकार रखना चाहते हैं, तो तथाकथित पैडिंग्स - मानों को लागू करें जो किनारों पर छवि को पूरक करते हैं और फिर छवि के वास्तविक पिक्सेल के साथ फ़िल्टर द्वारा कैप्चर किए जाते हैं।

पैडिंग्स के अलावा, आयामी परिवर्तन भी स्ट्राइड्स से प्रभावित होते हैं - उस चरण के मान जिसके साथ खिड़की छवि / नक्शे के चारों ओर घूमती है।

पिक्सल के समूह की सामान्यीकृत विशेषता प्राप्त करने का एकमात्र तरीका कन्वेंशन नहीं है। ऐसा करने का सबसे आसान तरीका किसी दिए गए नियम के अनुसार एक पिक्सेल का चयन करना है, उदाहरण के लिए, अधिकतम। यह वही है जो मैक्सपूलिंग परत करता है।

कनवल्शन के विपरीत, मैक्सपूलिंग को आमतौर पर पिक्सेल समूहों को अलग करने के लिए लगाया जाता है।

आर-सीएनएन

आर-सीएनएन (रीजन्स विद सीएनएन) नेटवर्क आर्किटेक्चर को यूसी बर्कले की एक टीम द्वारा एक ऑब्जेक्ट डिटेक्शन कार्य के लिए कन्वेंशन न्यूरल नेटवर्क्स लागू करने के लिए विकसित किया गया था। उस समय मौजूद ऐसी समस्याओं को हल करने के दृष्टिकोण ने उनकी क्षमताओं का अधिकतम लाभ उठाया और उनके प्रदर्शन में उल्लेखनीय सुधार नहीं हुआ।

सीएनएन ने छवियों के वर्गीकरण में अच्छा प्रदर्शन किया, और दिए गए नेटवर्क में वे अनिवार्य रूप से उसी के लिए लागू किए गए थे। ऐसा करने के लिए, पूरी छवि सीएनएन इनपुट को नहीं खिलाई गई थी, लेकिन क्षेत्रों को अलग-अलग तरीके से आवंटित किया गया था, जिस पर कुछ वस्तुओं को माना जाता है। उस समय, ऐसे कई दृष्टिकोण थे, लेखकों ने चयनात्मक खोज को चुना, हालांकि वे संकेत देते हैं कि वरीयता के लिए कोई विशेष कारण नहीं हैं।

एक तैयार आर्किटेक्चर का उपयोग सीएनएन नेटवर्क - कैफनेट (एलेक्सनेट) के रूप में भी किया गया था। इस तरह के तंत्रिका नेटवर्क, इमेजनेट छवि सेट के लिए दूसरों की तरह, 1000 वर्गों में वर्गीकृत करते हैं। आर-सीएनएन को छोटी संख्या की कक्षाओं (एन = 20 या 200) की वस्तुओं का पता लगाने के लिए डिज़ाइन किया गया था, इसलिए कैफ़ेनेट की अंतिम वर्गीकरण परत को एन + 1 आउटपुट (पृष्ठभूमि के लिए एक अतिरिक्त वर्ग के साथ) के साथ एक परत द्वारा बदल दिया गया था।

चयनात्मक खोज ने विभिन्न आकारों और पहलू अनुपात के लगभग 2,000 क्षेत्रों को लौटाया, लेकिन CaffeNet इनपुट के रूप में 227x227 पिक्सेल के एक निश्चित आकार की छवियों को स्वीकार करता है, इसलिए आपको नेटवर्क इनपुट के लिए क्षेत्रों को प्रस्तुत करने से पहले उन्हें संशोधित करना था। इसके लिए, इस क्षेत्र की छवि को सबसे छोटे फैले हुए वर्ग में संलग्न किया गया था। जिस (छोटे) किनारे के साथ खेत बने थे, उस छवि के कई "प्रासंगिक" (क्षेत्र के आसपास) पिक्सेल जोड़े गए थे, बाकी क्षेत्र कुछ भी नहीं भरा था। परिणामी वर्ग को 227x227 के आकार तक बढ़ाया गया और कैफनेट के इनपुट को खिलाया गया।

इस तथ्य के बावजूद कि सीएनएन ने एन + 1 कक्षाओं को मान्यता देने के लिए प्रशिक्षित किया था, अंत में इसका उपयोग केवल एक निश्चित 4096-आयामी सुविधा वेक्टर निकालने के लिए किया गया था। एन रैखिक एसवीएम छवि में ऑब्जेक्ट के प्रत्यक्ष निर्धारण में लगे हुए थे, जिनमें से प्रत्येक ने अपनी प्रकार की वस्तुओं के अनुसार एक द्विआधारी वर्गीकरण किया था, यह निर्धारित करते हुए कि हस्तांतरित क्षेत्र में ऐसा कुछ था या नहीं। मूल दस्तावेज में, पूरी प्रक्रिया निम्नलिखित योजना द्वारा दर्शाई गई है:

लेखकों का तर्क है कि एसवीएम में वर्गीकरण प्रक्रिया बहुत ही उत्पादक है, अनिवार्य रूप से सिर्फ मैट्रिक्स ऑपरेशन है। CNN से प्राप्त फीचर वैक्टर को सभी क्षेत्रों में 2000x4096 मैट्रिक्स में संयोजित किया जाता है, जिसे तब SVM वेट के साथ 4096xN मैट्रिक्स से गुणा किया जाता है।

यह ध्यान दिया जाना चाहिए कि चयनात्मक खोज का उपयोग करने वाले क्षेत्रों में केवल कुछ ऑब्जेक्ट हो सकते हैं, और इस तथ्य को नहीं कि वे उन्हें अपनी संपूर्णता में रखते हैं। किसी वस्तु से युक्त क्षेत्र पर विचार करना या न करना संघ (IoU) मेट्रिक से अधिक अंतर द्वारा निर्धारित किया गया था। यह मीट्रिक एक आयताकार प्रत्याशी क्षेत्र के आयत के चौराहे के क्षेत्र का अनुपात है जो वास्तव में इन आयतों के मिलन के क्षेत्र में वस्तु को सम्मिलित करता है। यदि अनुपात पूर्वनिर्धारित सीमा मूल्य से अधिक है, तो उम्मीदवार क्षेत्र को वांछित वस्तु माना जाता है।

IoU का उपयोग किसी विशेष वस्तु (गैर-अधिकतम दमन) वाले क्षेत्रों की एक अत्यधिक संख्या को फ़िल्टर करने के लिए भी किया गया था। यदि किसी क्षेत्र का IoU एक ही वस्तु के लिए अधिकतम परिणाम प्राप्त करने वाले क्षेत्र के साथ एक सीमा से ऊपर था, तो पहले क्षेत्र को केवल त्याग दिया गया था।

त्रुटि विश्लेषण प्रक्रिया के दौरान, लेखकों ने एक विधि भी विकसित की है जो ऑब्जेक्ट के एन्कोडिंग फ्रेम - बाउंडिंग-बॉक्स रिग्रेशन के चयन की त्रुटि को कम करने की अनुमति देता है। उम्मीदवार क्षेत्र की सामग्री को वर्गीकृत करने के बाद, CNN - (dx, dy, dw, dh) की विशेषताओं के आधार पर रैखिक प्रतिगमन का उपयोग करके चार मापदंडों का निर्धारण किया गया था। उन्होंने वर्णन किया कि एक्स और वाई द्वारा क्षेत्र के फ्रेम के केंद्र को कितना स्थानांतरित किया जाना चाहिए, और मान्यता प्राप्त वस्तु को और अधिक सटीक रूप से कवर करने के लिए इसकी चौड़ाई और ऊंचाई को कितना बदलना है।

इस प्रकार, आर-सीएनएन नेटवर्क द्वारा वस्तुओं का पता लगाने की प्रक्रिया को निम्नलिखित चरणों में विभाजित किया जा सकता है:

चयनात्मक खोज का उपयोग करके उम्मीदवार क्षेत्रों को हाइलाइट करें।
CNN CaffeNet द्वारा स्वीकृत आकार में एक क्षेत्र परिवर्तित करना।
सुविधाओं के CNN 4096-आयामी वेक्टर का उपयोग कर प्राप्त करना।
एन रैखिक एसवीएम का उपयोग करके प्रत्येक सुविधा वेक्टर के एन बाइनरी वर्गीकरण का संचालन करना।
अधिक सटीक वस्तु कवरेज के लिए क्षेत्र फ्रेम मापदंडों का रैखिक प्रतिगमन

लेखकों ने कहा कि उनके द्वारा विकसित की गई वास्तुकला ने सिमेंटिक विभाजन समस्या में भी अच्छा प्रदर्शन किया।

फास्ट आर-सीएनएन

अच्छे परिणामों के बावजूद, आर-सीएनएन का प्रदर्शन अभी भी कम था, खासकर कैफनेट नेटवर्क (जैसे वीजीजी 16) की तुलना में अधिक गहरा। इसके अलावा, बाउंडिंग बॉक्स रेजिस्टर और एसवीएम के लिए प्रशिक्षण के लिए डिस्क पर बड़ी संख्या में विशेषताओं को सहेजना आवश्यक था, इसलिए यह भंडारण आकार के संदर्भ में महंगा था।

फास्ट आर-सीएनएन के लेखकों ने कुछ संशोधनों के कारण प्रक्रिया में तेजी लाने का प्रस्ताव दिया:

सीएनएन के माध्यम से पारित करने के लिए 2000 उम्मीदवारों में से प्रत्येक अलग से नहीं, बल्कि पूरी छवि। प्रस्तावित क्षेत्रों को तब परिणामी सामान्य सुविधा के नक्शे पर रखा जाता है;
तीन मॉडलों (CNN, SVM, bbox regressor) के स्वतंत्र प्रशिक्षण के बजाय सभी प्रशिक्षण प्रक्रियाओं को एक में मिलाएं।

Roipooling प्रक्रिया का उपयोग करके विभिन्न क्षेत्रों में एक निश्चित आकार में आने वाले संकेतों का रूपांतरण किया गया था। चौड़ाई w और ऊँचाई h की एक क्षेत्र विंडो को एक ग्रिड में विभाजित किया गया था जिसमें आकार H / H × w / W की H × W कोशिकाएँ थीं। (दस्तावेज़ के लेखकों ने डब्ल्यू = एच = 7 का इस्तेमाल किया)। इस तरह के प्रत्येक सेल के लिए, मैक्स पूलिंग को केवल एक मूल्य का चयन करने के लिए किया गया था, इस प्रकार परिणामस्वरूप एच × डब्ल्यू सुविधा मैट्रिक्स।

बाइनरी एसवीएम का उपयोग नहीं किया गया था, इसके बजाय, चयनित सुविधाओं को एक पूरी तरह से जुड़ी हुई परत में स्थानांतरित किया गया था, और फिर दो समानांतर परतों में: K + 1 आउटपुट के साथ सॉफ्टमैक्स (पृष्ठभूमि के लिए प्रत्येक वर्ग + 1 के लिए एक) और बाउंडिंग बॉक्स रेजिस्टर।

सामान्य नेटवर्क वास्तुकला इस तरह दिखता है:

सॉफ्टमैक्स क्लासिफायर और बीबॉक्स रेजिस्टर के संयुक्त प्रशिक्षण के लिए, संयुक्त हानि फ़ंक्शन का उपयोग किया गया था:

$L (p, u, t ^ u, v) = L_ {cls} (p, u) + \ lambda [u \ ge1] L_ {loc} (t ^ u, v)$

यहां:

य ू

$यू$ - वास्तव में उम्मीदवार क्षेत्र में चित्रित वस्तु का वर्ग;

$L_ {cls} (p, u) = - \ log (p_ {u})$ - क्लास यू के लिए लॉग नुकसान;

$v = (v_ {x}, v_ {y}, v_ {w}, v_ {h})$ - वस्तु के अधिक सटीक कवरेज के लिए क्षेत्र के ढांचे में वास्तविक परिवर्तन;

$t ^ u = (t_ {x} ^ u, t_ {y} ^ u, t_ {w} ^ u, t_ {h} ^ u)$ - क्षेत्र के ढांचे में अनुमानित परिवर्तन;

$L_ {loc}$ - पूर्वानुमानित और वास्तविक फ्रेम परिवर्तनों के बीच हानि कार्य;

$[u \ ge1]$ - जब 1 के बराबर सूचक कार्य

$u \ ge1$ , और 0 जब इसके विपरीत। वर्ग

य ू

$यू = 0$ पृष्ठभूमि को इंगित किया गया है (अर्थात क्षेत्र में वस्तुओं की अनुपस्थिति)।

$\ lambda$ - गुणांक को समग्र परिणाम के लिए दोनों नुकसान-कार्यों के योगदान को संतुलित करने के लिए डिज़ाइन किया गया है। दस्तावेज़ के लेखकों के सभी प्रयोगों में, हालांकि, यह 1 के बराबर था।

लेखकों ने यह भी उल्लेख किया है कि उन्होंने पूरी तरह से जुड़े परत में गणना को गति देने के लिए वजन मैट्रिक्स के ट्रंकेटेड एसवीडी अपघटन का उपयोग किया।

तेजी से आर-एनएन

फास्ट आर-सीएनएन में किए गए सुधारों के बाद, तंत्रिका नेटवर्क की अड़चन उम्मीदवार क्षेत्रों को उत्पन्न करने के लिए तंत्र बन गई। 2015 में, Microsoft अनुसंधान की एक टीम इस कदम को काफी तेज करने में सक्षम थी। उन्होंने क्षेत्रों की गणना मूल छवि से नहीं, बल्कि फिर से सीएनएन से प्राप्त सुविधाओं के मानचित्र से करने का सुझाव दिया। इसके लिए, क्षेत्र प्रस्ताव नेटवर्क (RPN) नामक एक मॉड्यूल जोड़ा गया था। संपूर्ण वास्तुकला इस प्रकार है:

आरपीएन के ढांचे के भीतर, सीएनएन निकाले जाने के अनुसार, वे एक छोटे (3x3) विंडो के साथ "मिनी-न्यूरल नेटवर्क" में स्लाइड करते हैं। इसकी सहायता से प्राप्त मूल्यों को दो समानांतर पूरी तरह से जुड़ी परतों में स्थानांतरित किया जाता है: बॉक्स-रिग्रेशन परत (reg) और बॉक्स-वर्गीकरण परत (क्लैक्शन)। इन परतों के आउटपुट तथाकथित एंकर पर आधारित हैं: स्लाइडिंग विंडो की प्रत्येक स्थिति के लिए k फ्रेम, जिसमें विभिन्न आकार और पहलू अनुपात हैं। ऐसे प्रत्येक एंकर के लिए रेग-लेयर 4 निर्देशांक का उत्पादन करता है, जो एन्कोडिंग फ्रेम की स्थिति को सही करता है; Cls- लेयर दो नंबर का उत्पादन करती है - संभावना यह है कि फ्रेम में कम से कम कुछ ऑब्जेक्ट शामिल है या यह नहीं है। दस्तावेज़ में, यह निम्नलिखित योजना द्वारा दर्शाया गया है:

सीखने की प्रक्रिया reg और cls लेयर्स संयुक्त; उनके पास सामान्य रूप से एक हानि-कार्य है, जो संतुलन गुणांक के साथ उनमें से प्रत्येक के नुकसान-कार्यों का योग है।

दोनों आरपीएन परतें केवल उम्मीदवार क्षेत्रों के लिए ऑफ़र प्रदान करती हैं। वे जो किसी वस्तु को शामिल करने की अत्यधिक संभावना रखते हैं, उन्हें वस्तु पहचान और शोधन मॉड्यूल पर पारित किया जाता है, जिसे अभी भी फास्ट आर-सीएनएन के रूप में लागू किया जाता है।

आरपीएन और डिटेक्शन मॉड्यूल के बीच सीएनएन में प्राप्त सुविधाओं को साझा करने के लिए, पूरे नेटवर्क की प्रशिक्षण प्रक्रिया को कई चरणों का उपयोग करके बनाया गया है:

आरपीएन भाग को उम्मीदवार क्षेत्रों की पहचान करने के लिए आरंभिक और प्रशिक्षित किया जाता है।
प्रस्तावित आरपीएन क्षेत्रों का उपयोग करते हुए, फास्ट आर-सीएनएन भाग को फिर से प्रशिक्षित किया जाता है।
RPNs के लिए वज़न को आरंभ करने के लिए एक प्रशिक्षित पहचान नेटवर्क का उपयोग किया जाता है। हालांकि, सामान्य दृढ़ीकरण परतें तय की जाती हैं और केवल RPN के लिए विशिष्ट परतें फिर से देख ली जाती हैं।
फिक्स्ड कनवल्शन लेयर के साथ, फास्ट आर-सीएनएन को आखिरकार ट्यून किया जाता है।

प्रस्तावित योजना केवल एक ही नहीं है, और यहां तक कि इसके वर्तमान स्वरूप में भी इसे और अधिक पुनरावृत्त चरणों द्वारा जारी रखा जा सकता है, लेकिन मूल अध्ययन के लेखकों ने इस तरह के प्रशिक्षण के ठीक बाद प्रयोगों का आयोजन किया।

मास्क आर-सीएनएन

मास्क आर-सीएनएन एक और शाखा को जोड़कर फास्टर आर-सीएनएन आर्किटेक्चर विकसित करता है जो कि पाया वस्तु को कवर करने वाले मास्क की स्थिति की भविष्यवाणी करता है, और इस तरह से इंस्टेंस विभाजन समस्या हल करता है। मुखौटा केवल एक आयताकार मैट्रिक्स है, जिसमें 1 किसी स्थिति में इसका मतलब है कि संबंधित पिक्सेल किसी दिए गए वर्ग के ऑब्जेक्ट से संबंधित है, 0 - कि पिक्सेल वस्तु से संबंधित नहीं है।

स्रोत चित्रों पर बहुरंगी मुखौटे का दृश्य रंगीन चित्र दे सकता है:

दस्तावेज़ के लेखक सशर्त रूप से विकसित वास्तुकला को छवि विशेषताओं के लिए सीएनएन नेटवर्क में विभाजित करते हैं, जिसे रीढ़ की हड्डी कहा जाता है, और सिर - लिफाफे के फ्रेम की भविष्यवाणी करने, ऑब्जेक्ट को वर्गीकृत करने और इसके मुखौटा का निर्धारण करने के लिए जिम्मेदार भागों का संघ। हानि समारोह उनके लिए आम है और इसमें तीन घटक शामिल हैं:

ब ॉ क ् स म ा स ् क

$L = L_ {cls} + L_ {बॉक्स} + L_ {मास्क}$

मास्क निष्कर्षण एक वर्ग-अज्ञेय शैली में होता है: मास्क को प्रत्येक वर्ग के लिए अलग-अलग भविष्यवाणी की जाती है, बिना पूर्व ज्ञान के कि क्षेत्र में क्या दर्शाया गया है, और फिर स्वतंत्र क्लासिफायर जीतने वाले वर्ग का मुखौटा बस चुना जाता है। यह तर्क दिया जाता है कि इस तरह का दृष्टिकोण वर्ग के प्राथमिक ज्ञान पर निर्भर होने से अधिक प्रभावी है।

मास्क की भविष्यवाणी करने की आवश्यकता से उत्पन्न होने वाले मुख्य संशोधनों में से एक RoIPool प्रक्रिया में परिवर्तन है (जो उम्मीदवार क्षेत्र के लिए फीचर मैट्रिक्स की गणना करता है) तथाकथित RoIAlign के लिए । तथ्य यह है कि सीएनएन से प्राप्त फीचर मैप में मूल छवि की तुलना में छोटा आकार होता है, और छवि में पिक्सेल की पूर्णांक संख्या को कवर करने वाले क्षेत्र को नक्शे के आनुपातिक क्षेत्र में पूर्णांक संख्या के साथ प्रदर्शित नहीं किया जा सकता है:

RoIPool में, पूर्णांकों को भिन्न मानों को गोल करके समस्या को हल किया गया था। संलग्नक फ्रेम का चयन करते समय यह दृष्टिकोण ठीक काम करता है, लेकिन इस तरह के डेटा के आधार पर गणना की गई मुखौटा बहुत गलत है।

इसके विपरीत, RoIAlign गोलाई का उपयोग नहीं करता है, सभी संख्याएं मान्य रहती हैं, और चार निकटतम पूर्णांक बिंदुओं पर बिलिनियर प्रक्षेप विशेषता विशेषताओं की गणना करने के लिए उपयोग किया जाता है।

मूल दस्तावेज में, अंतर इस प्रकार बताया गया है:

यहाँ, हैटेड मैप एक फीचर मैप को दर्शाता है, और निरंतर - मूल तस्वीर से उम्मीदवार क्षेत्र के फीचर मैप पर डिस्प्ले। चित्रा में डॉट्स द्वारा इंगित 4 विशेषताओं के साथ अधिकतम पूलिंग के लिए इस क्षेत्र में 4 समूह होने चाहिए। RoIPool प्रक्रिया के विपरीत, जो पूर्णांक के कारण इस क्षेत्र को पूर्णांक निर्देशांक के साथ संरेखित करेगा, RoIAlign अपने वर्तमान स्थानों में अंक छोड़ता है, लेकिन उनमें से प्रत्येक के मूल्यों की गणना चार निकटतम संकेतों के अनुसार बिलिनियर प्रक्षेप से करती है।

बिलिनियर इंटरपोलेशन

दो चरों के कार्य के बिलिनियर प्रक्षेप को रैखिक प्रक्षेप को लागू करके किया जाता है, पहले एक निर्देशांक की दिशा में, फिर दूसरे में।
फ़ंक्शन के मूल्य को प्रक्षेपित करने के लिए आवश्यक होने दें

च

$च (x, y)$ आसपास के बिंदुओं पर फ़ंक्शन के ज्ञात मूल्यों के साथ बिंदु P पर

Q_ {11} = (x_ {1}, y_ {1}), Q_ {12} = (x_ {1}, y_ {2}), Q_ {21} = (x_ {2}, y_ 1})। ), Q_ {22} = (x_ {2}, y_ {2})

$Q_ {11} = (x_ {1}, y_ {1}), Q_ {12} = (x_ {1}, y_ {2}), Q_ {21} = (x_ {2}, y_ 1})। ), Q_ {22} = (x_ {2}, y_ {2})$ (नीचे चित्र देखें) ऐसा करने के लिए, पहले सहायक अंक आर 1 और आर 2 के मान प्रक्षेपित होते हैं, और फिर बिंदु पी पर मान उनके आधार पर प्रक्षेपित होता है।

$R_ {1} = (x, y_ {1})$

$R_ {2} = (x, y_ {2})$

$f (R_ {1}) (\ frac {(x_ {2} -x)} {(x_ {2} -x_ {1})} f (Q_ {11}) + \ frac {(x-x_ {) 1})} {(x_ {2} -x_ {1})} f (Q_ {21})$

$f (R_ {2}) (\ frac {(x_ {2} -x)} {(x_ {2} -x_ {1})} f (Q_ {12}) + \ frac {(x-x_ {) 1})} {(x_ {2} -x_ {1})} f (Q_ {22})$

$f(P)≈\frac{(y_{2}-y)}{(y_{2}-y_{1})} f(R_{1})+\frac{(y-y_{1})}{(y_{2}-y_{1})} f(R_{2})$

( — , )

उदाहरण सेगमेंटेशन और ऑब्जेक्ट डिटेक्शन के कार्यों में उच्च परिणामों के अलावा, मास्क आर-सीएनएन फोटोग्राफी में लोगों की मुद्रा (मानव मुद्रा अनुमान) निर्धारित करने के लिए उपयुक्त साबित हुआ। यहां मुख्य बिंदु मुख्य बिंदुओं (की-पॉइंट्स) का चयन है, जैसे कि बाएं कंधे, दाहिनी कोहनी, दाहिना घुटना, आदि, जिसके द्वारा आप किसी व्यक्ति की स्थिति का एक ढांचा तैयार कर सकते हैं:

संदर्भ बिंदुओं को निर्धारित करने के लिए, तंत्रिका नेटवर्क को इस तरह से प्रशिक्षित किया जाता है कि यह मास्क को बाहर निकालता है, जिनमें से केवल एक पिक्सेल (एक ही बिंदु) का मूल्य 1 था, और बाकी - 0 (एक-गर्म मुखौटा)। इसी समय, नेटवर्क K को ऐसे एकल-पिक्सेल मास्क जारी करने का प्रशिक्षण दे रहा है, जो प्रत्येक प्रकार के संदर्भ बिंदु के लिए है।

फ़ीचर पिरामिड नेटवर्क

मास्क आर-सीएनएन पर प्रयोगों के साथ-साथ सामान्य सीएनएन रेसनेट -50 / 101 एक रीढ़ के रूप में, फ़ीचर पिरामिड नेटवर्क (एफपीएन) का उपयोग करने की व्यवहार्यता पर भी अध्ययन किया गया था। उन्होंने दिखाया कि बैकपोन में एफपीएन का उपयोग करने से मास्क आर-सीएनएन को सटीकता और प्रदर्शन दोनों में वृद्धि मिलती है। यह इस तरह से सुधार का वर्णन करने के लिए उपयोगी बनाता है, इस तथ्य के बावजूद कि एक अलग दस्तावेज़ इसके लिए समर्पित है और विचाराधीन लेखों की श्रृंखला के साथ बहुत कम है।
फ़ीचर पिरामिड्स का उद्देश्य, छवि पिरामिडों की तरह, वस्तुओं की पहचान की गुणवत्ता में सुधार करना, उनके संभावित आकारों की एक विस्तृत श्रृंखला को ध्यान में रखना है।

फ़ीचर पिरामिड नेटवर्क में, घटते आयामों के साथ क्रमिक CNN परतों द्वारा निकाले गए फ़ीचर मैप्स को किसी प्रकार का पदानुक्रमित "पिरामिड" माना जाता है जिसे बॉटम-अप पाथवे कहा जाता है। इसके अलावा, पिरामिड के निचले और ऊपरी दोनों स्तरों के संकेतों के मानचित्रों के अपने फायदे और नुकसान हैं: पूर्व में उच्च संकल्प है, लेकिन कम अर्थ, सामान्यीकरण की क्षमता; दूसरा - इसके विपरीत:

FPN आर्किटेक्चर आपको ऊपरी-नीचे वाले मार्ग और पार्श्व कनेक्शन जोड़कर ऊपरी और निचली परतों के लाभों को संयोजित करने की अनुमति देता है। इसके लिए, प्रत्येक अतिव्यापी परत का नक्शा अंतर्निहित एक के आकार तक बढ़ जाता है और उनकी सामग्री को तत्व द्वारा जोड़ा जाता है। अंतिम भविष्यवाणियों में, सभी स्तरों के परिणामी कार्ड का उपयोग किया जाता है।

योजनाबद्ध रूप से, इसे निम्नानुसार दर्शाया जा सकता है:

शीर्ष-स्तरीय मानचित्र (अपसमप्लिंग) का आकार बढ़ाना सबसे सरल विधि से किया जाता है - निकटतम पड़ोसी, अर्थात् लगभग इस तरह:

उपयोगी लिंक

मूल अनुसंधान पत्र arXiv.org पर:

1. आर-सीएनएन: https://arxiv.org/abs/1311.2524

2. फास्ट आर-सीएनएन: https://arxiv.org/abs/1504.08083

3. तेज़ आर-सीएनएन : https://arxiv.org/abs/1506.01497

4. मास्क R-CNN: https://arxiv.org/abs/1703.06870

5. फ़ीचर पिरामिड नेटवर्क: https://arxiv.org/abs/1612.03144

माध्यम से। मास्क आर-सीएनएन के विषय पर कॉम बहुत सारे लेख हैं, उन्हें ढूंढना आसान है। संदर्भ के रूप में मैं केवल उन लोगों को लाता हूं जो मैं पढ़ता हूं:

6. मास्क आरसीएनएन की सरल समझ - परिणामस्वरूप वास्तुकला के सिद्धांतों का एक संक्षिप्त सारांश।

7. छवि विभाजन में सीएनएन का संक्षिप्त इतिहास: आर-सीएनएन से मास्क आर-सीएनएन तक- इस लेख में उसी कालानुक्रमिक क्रम में नेटवर्क के विकास का इतिहास।

8. आर-सीएनएन से मास्क आर-सीएनएन विकास के चरणों का एक और विचार है।

9। स्पलैश ऑफ़ कलर: इंस्टेंस सेगमेंटेशन विद मास्क आर-सीएनएन एंड टेंसॉरफ्लो - मैटरपोर्ट से ओपेंसेर्स लाइब्रेरी में एक न्यूरल नेटवर्क का कार्यान्वयन।

आखिरी लेख, मास्क आर-सीएनएन के सिद्धांतों का वर्णन करने के अलावा, नेटवर्क को व्यवहार में आजमाने का अवसर प्रदान करता है: काले और सफेद चित्रों पर विभिन्न रंगों में गुब्बारे रंगने के लिए।

इसके अलावा, आप उस मॉडल पर तंत्रिका नेटवर्क के साथ अभ्यास कर सकते हैं जो मैंने डेटा साइंस बाउल 2018 के कागल प्रतियोगिता में उपयोग किया था (लेकिन न केवल इस मॉडल के साथ, आप कर्नेल और चर्चा अनुभागों में बहुत सारी दिलचस्प चीजें पा सकते हैं:

10. मास्क आर- हेंग चेरेंग द्वारा PyTorch में CNN। कार्यान्वयन में तैनाती चरणों की एक श्रृंखला शामिल है; लेखक निर्देश प्रदान करता है। मॉडल को PyTorch 0.4.0 की आवश्यकता है, GPU कंप्यूटिंग के लिए समर्थन, NVIDIA CUDA। यदि मेरा अपना सिस्टम आवश्यकताओं को पूरा नहीं करता है, तो मैं अमेज़ॅन वर्चुअल मशीनों के लिए डीप लर्निंग एएमआई छवियों की सिफारिश कर सकता हूं (उदाहरण के लिए प्रति घंटा बिलिंग के साथ, न्यूनतम उपयुक्त आकार, जाहिरा तौर पर, P2.xlarge है)।

मैं हब पर यहां भी आया, व्यंजन के साथ छवि प्रसंस्करण में मैटरपोर्ट से नेटवर्क का उपयोग करने के बारे में एक लेख (स्रोत के बिना यद्यपि)। मुझे उम्मीद है कि लेखक केवल अतिरिक्त उल्लेख के साथ खुश होगा:

11. कन्वेंशन। मास्क आर-सीएनएन का उपयोग करके एक परियोजना का प्रोटोटाइप

मास्क आर-सीएनएन: चित्रों में वस्तुओं के विभाजन के लिए एक आधुनिक तंत्रिका नेटवर्क की वास्तुकला