ConvNets। मास्क आर-सीएनएन का उपयोग करके एक परियोजना का प्रोटोटाइप

नमस्कार, हेब्र! अंत में, हमने अपने बिग डेटा स्पेशलिस्ट और डीप लर्निंग प्रोग्राम्स के स्नातक से सामग्री की श्रृंखला के एक और हिस्से की प्रतीक्षा की, सिरिल डैनिलुक, मास्क आर-सीएनएन, वर्तमान में लोकप्रिय तंत्रिका नेटवर्क का उपयोग करने के बारे में, चित्रण के लिए एक प्रणाली के भाग के रूप में, अर्थात्। सेंसर से डेटासेट का उपयोग करके तैयार पकवान की गुणवत्ता का आकलन करना।

पिछले लेख में सड़क के संकेतों की छवियों से युक्त खिलौना डेटासेट की जांच करने के बाद, अब हम उस समस्या को हल करने के लिए आगे बढ़ सकते हैं जो मुझे वास्तविक जीवन में सामना करना पड़ा था: “क्या यह डीप लर्निंग एल्गोरिदम को लागू करना संभव है, जो एक समय में खराब व्यंजनों से उच्च गुणवत्ता वाले व्यंजनों को अलग कर सकता है? तस्वीरें? " । संक्षेप में, व्यवसाय यही चाहता था:

_{जब मशीन सीखने के बारे में सोचता है तो एक व्यवसाय क्या दर्शाता है:}

यह एक गलत तरीके से पेश की गई समस्या का एक उदाहरण है: इस मामले में यह निर्धारित करना असंभव है कि क्या कोई समाधान मौजूद है, चाहे वह अद्वितीय और स्थिर हो। इसके अलावा, समस्या का विवरण बहुत ही अस्पष्ट है, इसके समाधान के कार्यान्वयन का उल्लेख नहीं है। बेशक, यह लेख संचार या परियोजना प्रबंधन की प्रभावशीलता के लिए समर्पित नहीं है, लेकिन यह ध्यान रखना महत्वपूर्ण है: कभी भी उन परियोजनाओं पर न लें जिसमें अंतिम परिणाम परिभाषित नहीं किया गया है और काम के बयान में दर्ज किया गया है। इस तरह की अनिश्चितता से निपटने के सबसे विश्वसनीय तरीकों में से एक पहले प्रोटोटाइप का निर्माण करना है, और फिर, नए ज्ञान का उपयोग करते हुए, शेष कार्य को तैयार करना। यही हमने किया।

समस्या का बयान

मेरे प्रोटोटाइप में, मैंने मेनू से एक डिश - आमलेट पर ध्यान केंद्रित किया और एक स्केलेबल पाइपलाइन का निर्माण किया, जो आउटपुट पर ऑमलेट की "गुणवत्ता" निर्धारित करता है। इसे और अधिक विस्तार से इस प्रकार वर्णित किया जा सकता है:

• समस्या का प्रकार: 6 असतत गुणवत्ता वर्गों के साथ बहुस्तरीय वर्गीकरण: अच्छी (अच्छी), टूटी हुई (जर्दी के साथ, जर्दी के साथ), अतिप्रवाहित ( ओवरकुक की गई ), दो_गेज (दो अंडे), चार_गेज (चार अंडे), गलत जगह (प्लेट पर बिखरे हुए टुकड़े)। ।
• डेटासेट: 351 मैन्युअल रूप से विभिन्न आमलेट की तस्वीरें एकत्र की हैं। प्रशिक्षण / सत्यापन / परीक्षण के नमूने: 139/32/180 मिश्रित तस्वीरें।
• कक्षा लेबल: प्रत्येक तस्वीर आमलेट की गुणवत्ता के व्यक्तिपरक मूल्यांकन के अनुरूप एक वर्ग लेबल से मेल खाती है।
• मीट्रिक: श्रेणीगत क्रॉस-एन्ट्रॉपी।
• न्यूनतम डोमेन ज्ञान: एक "गुणवत्ता" ऑमलेट इस तरह दिखना चाहिए: इसमें तीन अंडे, बेकन की एक छोटी मात्रा, केंद्र में एक अजमोद का पत्ता, यॉल्क्स और ओवरकुक के टुकड़े नहीं होते हैं। इसके अलावा, समग्र रचना को "अच्छा दिखना चाहिए", अर्थात, टुकड़े पूरे प्लेट में बिखरे हुए नहीं होने चाहिए।
• पूर्णता मानदंड: प्रोटोटाइप के विकास के दो सप्ताह बाद सभी के बीच परीक्षण नमूने में क्रॉस-एन्ट्रापी का सबसे अच्छा मूल्य।
• अंतिम विज़ुअलाइज़ेशन की विधि: एक छोटे आयाम के डेटा स्थान पर टी-एसएनई।

_{इनपुट चित्र}

पाइप लाइन का मुख्य लक्ष्य कई प्रकार के संकेतों (उदाहरण के लिए, विभिन्न कोणों से चित्र, एक हीटमैप आदि) को संयोजित करना सीखना है, उनमें से प्रत्येक का पूर्व-संकुचित प्रतिनिधित्व प्राप्त करना और अंतिम भविष्यवाणी के लिए तंत्रिका नेटवर्क-क्लासिफायर के माध्यम से इन सुविधाओं को पारित करना है। इसलिए, हम अपने प्रोटोटाइप को महसूस कर सकते हैं और इसे आगे के काम में व्यावहारिक रूप से लागू कर सकते हैं। नीचे प्रोटोटाइप में उपयोग किए जाने वाले कुछ संकेत दिए गए हैं:

• प्रमुख अवयवों के मास्क (मास्क आर-सीएनएन): सिग्नल नंबर 1 ।
• फ़्रेम पर प्रमुख सामग्री की संख्या।, सिग्नल नंबर 2 ।
• पृष्ठभूमि के बिना आमलेट के साथ प्लेटों की आरजीबी फसल। सादगी के लिए, मैंने उन्हें अभी तक मॉडल में नहीं जोड़ने का फैसला किया, हालांकि वे सबसे स्पष्ट संकेत हैं: भविष्य में, आप वर्गीकरण के लिए दृढ़ तंत्रिका नेटवर्क को कुछ पर्याप्त ट्रिपल हानि फ़ंक्शन का उपयोग करके प्रशिक्षित कर सकते हैं, छवि एम्बेडिंग की गणना कर सकते हैं और वर्तमान से 2 मीटर की दूरी काट सकते हैं। सही करने के लिए छवियाँ। दुर्भाग्य से, मुझे इस परिकल्पना का परीक्षण करने का अवसर नहीं मिला, क्योंकि परीक्षण के नमूने में केवल 139 ऑब्जेक्ट शामिल थे।

पाइप लाइन का सामान्य दृश्य

मैं ध्यान देता हूं कि मुझे कुछ महत्वपूर्ण चरणों को छोड़ना होगा, जैसे कि खोजपूर्ण डेटा विश्लेषण, एक मूल क्लासिफायरियर और सक्रिय लेबलिंग का निर्माण (मेरा प्रस्तावित शब्द, जिसका अर्थ है वस्तुओं का अर्ध-स्वचालित एनोटेशन, जो बहुभुज-आरएनएन डेमो वीडियो द्वारा प्रेरित है। मास्क आर-सीएनएन के लिए पाइपलाइन) यह अगले पदों में)।

पूरी पाइपलाइन को सामान्य रूप से देखें:


_{इस लेख में, हम मास्क आर-सीएनएन के चरणों और पाइपलाइन के भीतर वर्गीकरण में रुचि रखते हैं।}

अगला, हम तीन चरणों पर विचार करेंगे: 1) ऑमलेट सामग्री के मास्क के निर्माण के लिए मास्क आर-सीएनएन का उपयोग करना; 2) केरेस के आधार पर कॉन्वनेट क्लासिफायरियर 3) टी-एसएनई का उपयोग करके परिणामों का दृश्य।

स्टेज 1: मास्क आर-सीएनएन और बिल्डिंग मास्क

मास्क आर-सीएनएन (MRCNN) हाल ही में लोकप्रियता के चरम पर है। मूल फेसबुक लेख से शुरू होकर कागले में डेटा साइंस बाउल 2018 के साथ समाप्त होने पर, मास्क आर-सीएनएन ने खुद को उदाहरण विभाजन के लिए एक शक्तिशाली वास्तुकला के रूप में स्थापित किया है (यानी, न केवल पिक्सेल-बाय-पिक्सेल छवि विभाजन, बल्कि एक ही वर्ग से संबंधित कई वस्तुओं का अलगाव भी )। इसके अलावा, केरस में मैटरपोर्ट से एमआरसीएनएन के कार्यान्वयन के साथ काम करना खुशी की बात है । कोड अच्छी तरह से संरचित है, अच्छा प्रलेखन है, और बॉक्स के ठीक बाहर काम करता है, यद्यपि अपेक्षा से अधिक धीरे-धीरे।

व्यवहार में, विशेष रूप से एक प्रोटोटाइप विकसित करते समय, एक पूर्व-प्रशिक्षित दृढ़ नेटवर्क तंत्रिका नेटवर्क होना महत्वपूर्ण है। ज्यादातर मामलों में, डेटा वैज्ञानिक के टैग किए गए डेटासेट बहुत सीमित या बिल्कुल नहीं होते हैं, जबकि कन्वर्सेशन को कनवर्जेन्स प्राप्त करने के लिए बहुत सारे टैग किए गए डेटा की आवश्यकता होती है (उदाहरण के लिए, इमेजनेट डेटासेट में 1.2 मिलियन टैग की गई छवियां होती हैं)। यहां ट्रांसफर लर्निंग बचाव के लिए आता है: हम दृढ़ परतों के वजन को ठीक कर सकते हैं और केवल क्लासिफायरियर को वापस कर सकते हैं। छोटे डेटासेट के लिए कंसॉलिडेटेड लेयर्स को फिक्स करना महत्वपूर्ण है, क्योंकि यह तकनीक रिट्रेनिंग को रोकती है।

यहाँ है जो मुझे पहले दौर के बाद मिला है:


_{ऑब्जेक्ट विभाजन परिणाम: सभी प्रमुख सामग्री मान्यता प्राप्त हैं}

पाइपलाइन के अगले चरण में ( क्लासिफायर के लिए प्रोसेस इंफ़र्स्ड डेटा ), इस प्लेट के प्रत्येक घटक के लिए प्लेट में शामिल छवि के भाग को काटना और दो आयामी बाइनरी मास्क को निकालना आवश्यक है:


_{बाइनरी मास्क के रूप में प्रमुख सामग्री के साथ फसली छवि।}

इन बाइनरी मास्क को तब 8-चैनल छवि में जोड़ा जाता है (क्योंकि मैंने MRCNN के लिए 8 मास्क कक्षाएं परिभाषित की हैं), और हमें सिग्नल नंबर 1 मिलता है:


_{सिग्नल नंबर 1 : 8-चैनल छवि जिसमें बाइनरी मास्क शामिल हैं। बेहतर दृश्य के लिए रंग में।}

सिग्नल नंबर 2 प्राप्त करने के लिए, मैंने गिना कि प्रत्येक घटक प्लेट की फसल पर पाया जाता है और फीचर वैक्टर का एक सेट मिला है, जिनमें से प्रत्येक इसकी फसल से मेल खाता है।

स्टेज 2: करैस में कॉन्वेंटनेट क्लासिफायर

सीएनएन क्लासिफायर को केरस का उपयोग करके खरोंच से लागू किया गया था। मैं कई सिग्नल ( सिग्नल नंबर 1 और सिग्नल नंबर 2 , साथ ही भविष्य में डेटा के संभावित जोड़) को संयोजित करना चाहता था और तंत्रिका नेटवर्क का उपयोग उन्हें डिश की गुणवत्ता के बारे में पूर्वानुमान बनाने के लिए करता था। नीचे प्रस्तुत वास्तुकला परीक्षण और आदर्श से बहुत दूर है:



क्लासिफायरियर की वास्तुकला के बारे में कुछ शब्द:

• मल्टीस्केल कंफ्यूज़नल मॉड्यूल : मैंने शुरू में कंटेक्शनल लेयर्स के लिए 5x5 फ़िल्टर चुना, लेकिन इससे केवल संतोषजनक परिणाम मिला। विभिन्न फ़िल्टर के साथ कई परतों में एवरपूलिंग 2 डी लगाने से सुधार प्राप्त हुए: 3x3, 5x5, 7x7, 11x11। आयाम को कम करने के लिए प्रत्येक परत के सामने एक अतिरिक्त 1x1 दृढ़ परत को जोड़ा गया था। यह घटक एक इंसेप्शन मॉड्यूल की तरह एक सा है, हालाँकि मैंने बहुत गहरे नेटवर्क बनाने की योजना नहीं बनाई है।
• बड़े फिल्टर : मैंने बड़े फिल्टर का उपयोग किया, क्योंकि वे आसानी से इनपुट छवि से बड़े संकेतों को निकालने में मदद करते हैं (जो स्वयं अनिवार्य रूप से 8 फिल्टर के साथ एक सक्रियण परत है - प्रत्येक घटक का मुखौटा एक अलग फिल्टर के रूप में माना जा सकता है)।
• संकेतों का संयोजन : मेरे भोले कार्यान्वयन में, केवल एक परत का उपयोग किया गया था जो दो सेट विशेषताओं से जुड़ा हुआ था: संसाधित बाइनरी मास्क ( सिग्नल नंबर 1 ) और गिने हुए अवयव ( सिग्नल नंबर 2 )। हालांकि, इसकी सादगी के बावजूद, सिग्नल नंबर 2 के अतिरिक्त ने क्रॉस-एन्ट्रापी मीट्रिक को 0.8 से [0.7, 0.72] तक कम करना संभव बना दिया।
• लॉगिट्स : TensorFlow के संदर्भ में, logit एक परत है जिस पर tf.nn.softmax_cross_entropy_with_logits बैच हानि की गणना करने के लिए लागू किया जाता है।

चरण 3: टी-एसएनई का उपयोग करके परिणामों का दृश्य

परीक्षण डेटा पर क्लासिफायर के परिणामों की कल्पना करने के लिए, मैंने टी-एसएनई का उपयोग किया - एक एल्गोरिथ्म जो आपको स्रोत डेटा को निचले आयाम के स्थान पर स्थानांतरित करने की अनुमति देता है (एल्गोरिथ्म के सिद्धांत को समझने के लिए, मैं मूल लेख पढ़ने की सलाह देता हूं, यह अत्यंत जानकारीपूर्ण और अच्छी तरह से लिखा गया है)।

विज़ुअलाइज़ेशन से पहले, मैंने परीक्षण छवियां लीं, क्लासिफ़ायर की लॉगाइट परत निकाली और इस डेटासेट में t-SNE एल्गोरिथम लागू किया। हालाँकि, मैंने पेप्लेक्सिटी पैरामीटर के विभिन्न मूल्यों की कोशिश नहीं की है, फिर भी परिणाम बहुत अच्छा दिखता है:


_{क्लासीफायर भविष्यवाणियों के साथ टेस्ट डेटा पर टी-एसएनई का परिणाम}

बेशक, यह दृष्टिकोण अपूर्ण है, लेकिन यह काम करता है। इसमें कुछ संभावित सुधार हो सकते हैं:

• अधिक डेटा। रूपांतरण नेटवर्क के लिए बहुत अधिक डेटा की आवश्यकता होती है, और मेरे पास प्रशिक्षण के लिए केवल 139 चित्र थे। डेटा संवर्द्धन जैसी तकनीकें ठीक काम करती हैं (मैंने डी 4 या सममितीय डायहेड्रल वृद्धि का उपयोग किया, जिसके परिणामस्वरूप 2 हजार से अधिक चित्र हैं), लेकिन अधिक वास्तविक डेटा होना अभी भी बेहद महत्वपूर्ण है।
• अधिक उपयुक्त नुकसान समारोह। सादगी के लिए, मैंने श्रेणीबद्ध क्रॉस-एंट्रोपी का उपयोग किया, जो अच्छा है क्योंकि यह बॉक्स से बाहर सही काम करता है। सबसे अच्छा विकल्प नुकसान फ़ंक्शन का उपयोग करना होगा, जो वर्गों के भीतर खाते की विविधता में लेता है, उदाहरण के लिए, ट्रिपल लॉस फ़ंक्शन ( फेसनेट लेख देखें )।
• क्लासिफायरियर आर्किटेक्चर में सुधार। वर्तमान क्लासिफायर मूल रूप से एक प्रोटोटाइप है, जिसका एकमात्र उद्देश्य द्विआधारी मास्क का निर्माण करना और एकल पाइपलाइन बनाने के लिए सुविधाओं के कई सेटों को संयोजित करना है।
• बेहतर छवि लेआउट। मैं मैन्युअल रूप से छवियों को चिह्नित करते समय बहुत मैला था: क्लासिफायर ने एक दर्जन परीक्षण छवियों पर यह काम मुझसे बेहतर किया।

निष्कर्ष। अंत में यह माना जाना चाहिए कि व्यवसाय में न तो डेटा है, न ही स्पष्टीकरण, और न ही अधिक स्पष्ट रूप से निर्धारित कार्य है जिसे हल करने की आवश्यकता है। और यह अच्छा है (अन्यथा, उन्हें आपकी आवश्यकता क्यों है?), क्योंकि आपका काम कंपनी में अतिरिक्त मूल्य बनाने के लिए विभिन्न उपकरणों, मल्टी-कोर प्रोसेसर, पूर्व-प्रशिक्षित मॉडल और तकनीकी और व्यावसायिक विशेषज्ञता का मिश्रण है।

छोटे से शुरू करें: एक कामकाजी प्रोटोटाइप कोड के कई खिलौना ब्लॉकों से बनाया जा सकता है, और यह कंपनी प्रबंधन के साथ आगे की बातचीत की उत्पादकता में काफी वृद्धि करेगा। यह एक डेटा वैज्ञानिक का काम है - व्यापार के नए दृष्टिकोण और विचारों की पेशकश करने के लिए।

---

20 सितंबर, 2018 को, "बिग डेटा स्पेशलिस्ट 9.0" शुरू होता है, जहां, अन्य बातों के अलावा, आप सीखेंगे कि डेटा की कल्पना कैसे करें और इस या उस कार्य के पीछे व्यावसायिक तर्क को समझें, जो सहकर्मियों और प्रबंधन को आपके काम के परिणामों को अधिक प्रभावी ढंग से प्रस्तुत करने में मदद करेगा।