डीप लर्निंग: इमेज में दृश्यों और लैंडमार्क को पहचानना

मशीन लर्निंग पर अच्छी रूसी-भाषा की रिपोर्टों के गुल्लक को फिर से भरने का समय! सूअर का बच्चा बैंक खुद को फिर से भरना नहीं होगा!

इस बार हम दृश्य पहचान के बारे में आंद्रेई बोयारोव की आकर्षक कहानी से परिचित होंगे। एंड्री एक कंप्यूटर विज़न रिसर्चर है जो Mail.Ru Group में मशीन विज़न में लगा हुआ है।

दृश्य मान्यता मशीन दृष्टि के व्यापक रूप से उपयोग किए जाने वाले क्षेत्रों में से एक है। यह कार्य वस्तुओं की अध्ययन की गई मान्यता से अधिक जटिल है: दृश्य एक अधिक जटिल और कम औपचारिक अवधारणा है, यह सुविधाओं को भेद करना अधिक कठिन है। दर्शनीय स्थलों को पहचानने का कार्य दृश्य मान्यता से होता है: आपको फोटो में ज्ञात स्थानों को उजागर करने की आवश्यकता है, जिससे सकारात्मक सकारात्मकता का स्तर कम हो।

यह स्मार्ट डेटा 2017 सम्मेलन से 30 मिनट का वीडियो है। वीडियो घर पर और जाने पर देखने के लिए सुविधाजनक है। उन लोगों के लिए जो स्क्रीन पर इतना बैठने के लिए तैयार नहीं हैं, या जो पाठ के रूप में जानकारी को देखना पसंद करते हैं, हम एक पूर्ण पाठ डिक्रिप्शन लागू करते हैं, जिसे हॉर्स्टा के रूप में डिज़ाइन किया गया है।



मैं Mail.ru पर मशीन विजन करता हूं। आज मैं इस बारे में बात करूंगा कि हम दृश्यों और आकर्षणों की छवियों को पहचानने के लिए गहन शिक्षण का उपयोग कैसे करते हैं।

कंपनी को उपयोगकर्ता छवियों द्वारा टैगिंग और खोज करने की आवश्यकता उत्पन्न हुई, और इसके लिए हमने अपना कंप्यूटर विज़न एपीआई बनाने का निर्णय लिया, जिसका एक हिस्सा एक टैगिंग टूल होगा। इस उपकरण के परिणामस्वरूप, हम नीचे दी गई तस्वीर में दिखाए गए कुछ को प्राप्त करना चाहते हैं: उपयोगकर्ता एक अनुरोध करता है, उदाहरण के लिए, "कैथेड्रल", और कैथेड्रल के साथ अपने सभी फ़ोटो प्राप्त करता है।



कंप्यूटर विजन-समुदाय में, छवियों में ऑब्जेक्ट मान्यता के विषय का काफी अच्छी तरह से अध्ययन किया गया है। एक प्रसिद्ध इमेजनेट प्रतियोगिता है जो कई वर्षों से आयोजित की जाती है और जिसका मुख्य भाग वस्तु मान्यता है।



हमें मूल रूप से किसी वस्तु को स्थानीय बनाने और उसे वर्गीकृत करने की आवश्यकता है। दृश्यों के साथ, कार्य कुछ अधिक जटिल है, क्योंकि दृश्य अधिक जटिल वस्तु है, इसमें बड़ी संख्या में अन्य ऑब्जेक्ट होते हैं और संदर्भ उन्हें एकजुट करते हैं, इसलिए कार्य अलग-अलग होते हैं।



इंटरनेट पर अन्य कंपनियों से उपलब्ध सेवाएं हैं जो इस तरह की कार्यक्षमता को लागू करती हैं। विशेष रूप से, यह Google विज़न API या Microsoft कंप्यूटर विज़न API है, जो छवियों में दृश्य खोज सकता है।





हमने मशीन लर्निंग की मदद से इस समस्या को हल किया, इसलिए इसके लिए हमें डेटा की आवश्यकता है। अब खुली पहुंच में दृश्य पहचान के लिए दो मुख्य आधार हैं। उनमें से पहला 2013 में दिखाई दिया - यह प्रिंसटन यूनिवर्सिटी से SUN बेस है। इस आधार में सैकड़ों हजारों छवियां और 397 कक्षाएं हैं।

दूसरा आधार जिस पर हमने प्रशिक्षण दिया था वह MIT से Places2 आधार है। वह 2013 में दो संस्करणों में दिखाई दीं। पहला स्थान 2-स्टैंडआर्ट है, जो 1.8 मिलियन छवियों और 365 वर्गों के साथ एक अधिक संतुलित आधार है। दूसरा विकल्प - Places2-Challenge में आठ मिलियन छवियां और 365 कक्षाएं शामिल हैं, लेकिन कक्षाओं के बीच छवियों की संख्या संतुलित नहीं है। 2016 की इमेजनेट प्रतियोगिता में, दृश्य मान्यता अनुभाग में Places2-Challenge शामिल था, और विजेता ने लगभग 9% का सर्वश्रेष्ठ टॉप -5 वर्गीकरण त्रुटि परिणाम दिखाया।



हमने Places2 के आधार पर प्रशिक्षण दिया। यहां से एक उदाहरण छवि है: यह एक घाटी, रनवे, रसोई, सॉकर क्षेत्र है। ये पूरी तरह से अलग-अलग जटिल वस्तुएं हैं जिन पर हमें पहचानना सीखना होगा।





अध्ययन करने से पहले, हमने उन आधारों को अनुकूलित किया, जिन्हें हमें अपनी आवश्यकताओं के अनुरूप बनाना है। ऑब्जेक्ट रिकग्निशन के लिए एक ट्रिक है जब ImageNet के बजाय छोटे CIFAR-10 और CIFAR-100 ठिकानों पर मॉडल के साथ प्रयोग किया जाता है, और उसके बाद ही सबसे अच्छा ImageNet पर प्रशिक्षण होता है।

हमने उसी तरह जाने का फैसला किया, SUN डेटाबेस लिया, इसे कम किया, ट्रेन में 89 कक्षाएं, 50 हजार छवियां और सत्यापन के बाद 10 हजार छवियां प्राप्त कीं। परिणामस्वरूप, Places2 पर प्रशिक्षण से पहले, हमने प्रयोग किए और SUN के आधार पर अपने मॉडल का परीक्षण किया। इसके लिए प्रशिक्षण, स्थान 2 पर कई दिनों के विपरीत, केवल 6-10 घंटे लगते हैं, जिसने बहुत अधिक प्रयोगों का संचालन करने और इसे अधिक प्रभावी बनाने की अनुमति दी।

हमने स्वयं Places2 डेटाबेस को भी देखा और महसूस किया कि हमें कुछ कक्षाओं की आवश्यकता नहीं है। या तो उत्पादन के कारणों के कारण, या क्योंकि उन पर बहुत कम डेटा है, हम कक्षाओं को काट देते हैं, उदाहरण के लिए, एक एक्वाडक्ट, एक ट्री हाउस, एक खलिहान दरवाजा।



नतीजतन, सभी जोड़तोड़ के बाद, हमें Places2 डेटाबेस मिला, जिसमें लगभग 7.5 मिलियन छवियों के चैलेंज संस्करण में 314 कक्षाएं और एक आधा मिलियन छवियां (इसके मानक संस्करण में) हैं। हमने इन ठिकानों पर प्रशिक्षण का निर्माण किया।

इसके अलावा, शेष कक्षाओं को देखने पर, हमें पता चला कि उनमें से बहुत सारे उत्पादन के लिए हैं, वे बहुत विस्तृत हैं। और इसके लिए, हमने सीन मैपिंग मैकेनिज्म लागू किया जब कुछ वर्गों को एक आम में जोड़ा जाता है। उदाहरण के लिए, हमने जंगलों से जुड़ी हर चीज को एक जंगल में, अस्पतालों से जुड़ी हर चीज - एक अस्पताल में, होटलों के साथ - एक होटल में जोड़ा।

हम केवल परीक्षण के लिए और अंतिम उपयोगकर्ता के लिए दृश्य मानचित्रण का उपयोग करते हैं, क्योंकि यह अधिक सुविधाजनक है। प्रशिक्षण में, हम सभी मानक 314 कक्षाओं का उपयोग करते हैं। हमने परिणामी आधार स्थल को दरार कहा।

दृष्टिकोण, समाधान

अब उन दृष्टिकोणों पर विचार करें जिनका उपयोग हमने इस समस्या को हल करने के लिए किया था। दरअसल, इस तरह के कार्य शास्त्रीय दृष्टिकोण के साथ जुड़े हुए हैं - गहन दृढ़ तंत्रिका नेटवर्क।

नीचे दी गई छवि पहले क्लासिक नेटवर्क में से एक दिखाती है, लेकिन इसमें पहले से ही मुख्य बिल्डिंग ब्लॉक हैं जो आधुनिक नेटवर्क में उपयोग किए जाते हैं।



ये दृढ़ परतें हैं, ये परतों को खींच रही हैं, पूरी तरह से जुड़ी हुई परतें हैं। वास्तुकला को निर्धारित करने के लिए, हमने ImageNet और Places2 प्रतियोगिताओं में सबसे ऊपर की जाँच की।



हम कह सकते हैं कि मुख्य अग्रणी आर्किटेक्चर को दो परिवारों में विभाजित किया जा सकता है: इंसेप्शन और रेसनेट परिवार (अवशिष्ट नेटवर्क)। प्रयोगों के दौरान, हमें पता चला कि ResNet परिवार हमारे कार्य के लिए बेहतर अनुकूल है, और हमने इस परिवार पर अगला प्रयोग किया।



रेसनेट एक गहरा नेटवर्क है जिसमें बड़ी संख्या में अवशिष्ट ब्लॉक होते हैं। यह इसका मुख्य बिल्डिंग ब्लॉक है, जिसमें वज़न और शॉर्टकट कनेक्शन के साथ कई परतें हैं। इस डिजाइन के परिणामस्वरूप, यह इकाई सीखती है कि इनपुट सिग्नल x आउटपुट f (x) से कितना भिन्न है। नतीजतन, हम ऐसे ब्लॉकों के नेटवर्क का निर्माण कर सकते हैं, और प्रशिक्षण के दौरान, अंतिम परतों में नेटवर्क वजन को शून्य के करीब बना सकते हैं।

इस प्रकार, हम कह सकते हैं कि नेटवर्क खुद तय करता है कि कुछ कार्यों को हल करने के लिए कितना गहरा होना चाहिए। इस वास्तुकला के लिए धन्यवाद, बहुत बड़ी संख्या में परतों के साथ बहुत बड़ी गहराई के नेटवर्क का निर्माण करना संभव है। ImageNet 2014 के विजेता में केवल 22 परतें थीं, ResNet ने इस परिणाम को पार कर लिया और पहले से ही 152 परतें शामिल थीं।

रेसनेट का मुख्य शोध एक अवशिष्ट ब्लॉक को सुधारना और ठीक से बनाना है। नीचे दी गई छवि एक अनुभवजन्य और गणितीय रूप से ध्वनि संस्करण दिखाती है जो सबसे अच्छा परिणाम देता है। ब्लॉक का ऐसा निर्माण आपको गहरी सीखने की मूलभूत समस्याओं में से एक से निपटने की अनुमति देता है - एक लुप्त होती ढाल।



अपने नेटवर्क को प्रशिक्षित करने के लिए, हमने इसकी लचीलेपन और गति के कारण लुआ में लिखे मशाल ढांचे का उपयोग किया, और ResNet के लिए हमने फेसबुक से ResNet के कार्यान्वयन को रोक दिया । नेटवर्क की गुणवत्ता को मान्य करने के लिए, हमने तीन परीक्षणों का उपयोग किया।

पहला स्थान वैल परीक्षण, कई स्थानों पर सेट करने की मान्यता है। दूसरा परीक्षण सीन मैपिंग का उपयोग करते हुए स्थानों की दरार है, और तीसरा मुकाबला स्थिति के निकटतम क्लाउड परीक्षण है। क्लाउड से लिए गए कर्मचारियों की छवियां और मैन्युअल रूप से लेबल की गई हैं। नीचे दी गई तस्वीर में ऐसी छवियों के दो उदाहरण हैं।



हमने नेटवर्क को मापना और प्रशिक्षित करना शुरू किया, उनकी आपस में तुलना की। पहला ResNet-152 बेंचमार्क है, जो Places2 के साथ आता है, दूसरा ResNet-50 है, जिसे हमने ImageNet पर प्रशिक्षित किया और इसे अपने आधार पर प्रशिक्षित किया, परिणाम पहले से बेहतर था। फिर उन्होंने ResNet-200 लिया, ImageNet पर भी प्रशिक्षित किया, और इसने अंत में सबसे अच्छा परिणाम दिखाया।



नीचे काम के उदाहरण हैं। यह एक ResNet-152 बेंचमार्क है। अनुमानित उन मूल लेबल हैं जो नेटवर्क देता है। मैप किए गए लैब्स वो लेबल होते हैं जो सीन मैपिंग के बाद आते हैं। यह देखा जा सकता है कि परिणाम बहुत अच्छा नहीं है। यानी वह केस पर कुछ दे रही है, लेकिन बहुत अच्छी तरह से नहीं।



अगला उदाहरण ResNet-200 का संचालन है। पहले से ही बहुत पर्याप्त है।

Resnet एन्हांसमेंट

हमने अपने नेटवर्क को बेहतर बनाने की कोशिश करने का फैसला किया, और सबसे पहले हमने सिर्फ नेटवर्क की गहराई बढ़ाने की कोशिश की, लेकिन इसके बाद इसे प्रशिक्षित करना बहुत मुश्किल हो गया। यह एक ज्ञात समस्या है, पिछले साल इस विषय पर कई लेख प्रकाशित किए गए थे, जो कहते हैं कि वास्तव में, रेसनेट बड़ी संख्या में विभिन्न गहराई के सामान्य नेटवर्क का एक समूह है।



रेस-ब्लॉक, जो ग्रिड के अंत में हैं, अंतिम परिणाम के निर्माण में एक छोटा सा योगदान करते हैं। यह नेटवर्क की गहराई को बढ़ाने के लिए अधिक आशाजनक लगता है, लेकिन इसकी चौड़ाई, अर्थात, रेस ब्लॉक के अंदर फिल्टर की संख्या।

यह विचार वाइड रेजिडेंशियल नेटवर्क द्वारा कार्यान्वित किया गया है, जो 2016 में सामने आया था। हमने WRN-50-2 का उपयोग करके समाप्त किया, जो कि सामान्य रेनेटनेट -50 है, जो आंतरिक टोंटी 3x3 कनवल्शन में दो बार फिल्टर की संख्या के साथ है।



नेटवर्क ResNet-200 के साथ ImageNet पर समान परिणाम दिखाता है, जिसे हम पहले ही उपयोग कर चुके हैं, लेकिन, महत्वपूर्ण बात, यह लगभग दोगुना है। यहां मशाल पर अवशिष्ट ब्लॉक के दो कार्यान्वयन हैं, जो पैरामीटर दोगुना है, उसे उज्ज्वल रूप से हाइलाइट किया गया है। यह आंतरिक कनवल्शन में फिल्टर की संख्या है।



ये ResNet-200 ImageNet परीक्षण पर माप हैं। पहले तो हमने WRN-22-6 लिया, इसने खराब परिणाम दिखाया। फिर उन्होंने WRN-50-2-ImageNet लिया, उसे प्रशिक्षित किया, WRN-50-2 लिया, ImageNet पर प्रशिक्षित किया, और उसे Places2-Challenge पर प्रशिक्षित किया, और उन्होंने सबसे अच्छा परिणाम दिखाया।



यहां WRN-50-2 का एक उदाहरण दिया गया है - हमारे चित्रों में काफी पर्याप्त परिणाम जो आपने पहले ही देखा है।



और यह मुकाबला तस्वीरों में काम करने का एक उदाहरण है, सफलतापूर्वक भी।



बेशक, बहुत सफल काम नहीं हैं। पेरिस में अलेक्जेंडर III के पुल को एक पुल के रूप में मान्यता नहीं दी गई थी।

मॉडल में सुधार

हमने सोचा कि इस मॉडल को कैसे बेहतर बनाया जाए। ResNet परिवार में सुधार जारी है, नए लेख सामने आ रहे हैं। विशेष रूप से, 2016 में एक दिलचस्प लेख पिरामिडडैमनेट प्रकाशित किया गया था, जिसने CIFAR-10/100 और ImageNet पर आशाजनक परिणाम दिखाए।



विचार तेजी से अवशिष्ट-ब्लॉक की चौड़ाई बढ़ाने के लिए नहीं है, बल्कि इसे धीरे-धीरे करने के लिए है। हमने इस नेटवर्क के लिए कई विकल्पों को प्रशिक्षित किया, लेकिन, दुर्भाग्य से, इसने हमारे मुकाबला मॉडल की तुलना में थोड़ा खराब परिणाम दिखाया।

2018 के वसंत में, रेसनेक्स्ट मॉडल जारी किया गया था, यह भी एक आशाजनक विचार था: अवशिष्ट-ब्लॉक को छोटे आकार, छोटे चौड़ाई के कई समानांतर ब्लॉकों में विभाजित करना। यह Inception के विचार के समान है, हमने इसके साथ भी प्रयोग किया। लेकिन, दुर्भाग्य से, उसने हमारे मॉडल से भी बदतर परिणाम दिखाए।



हमने अपने मॉडलों को बेहतर बनाने के लिए विभिन्न "रचनात्मक" तरीकों के साथ प्रयोग किया। विशेष रूप से, हमने क्लास सक्रियण मानचित्रण (CAM) का उपयोग करने की कोशिश की, अर्थात, ये ऐसी वस्तुएं हैं, जो छवि को वर्गीकृत करते समय नेटवर्क को देखती हैं।



हमारा विचार यह था कि एक ही दृश्य के उदाहरणों में CAM वर्ग के समान या समान वस्तुएं होनी चाहिए। हमने इस दृष्टिकोण का उपयोग करने की कोशिश की। सबसे पहले उन्होंने दो नेटवर्क लिए। एक है इमेजनेट प्रशिक्षित, दूसरा हमारा मॉडल, जिसे हम सुधारना चाहते हैं।



हम छवि लेते हैं, नेटवर्क 2 के माध्यम से चलाते हैं, परत के लिए सीएएम को जोड़ते हैं, फिर इसे नेटवर्क 1 के इनपुट को खिलाते हैं। नेटवर्क 1 के माध्यम से चलाएँ, परिणामों को नेटवर्क 2 के नुकसान फ़ंक्शन में जोड़ें, इसे नए नुकसान कार्यों के साथ जारी रखें।



दूसरा विकल्प यह है कि हम नेटवर्क 2 के माध्यम से छवि को चलाते हैं, सीएएम को लेते हैं, इसे नेटवर्क 1 के इनपुट पर फ़ीड करते हैं, और फिर इस डेटा पर हम नेटवर्क 1 को प्रशिक्षित करते हैं और नेटवर्क 1 और नेटवर्क 2 के परिणामों से कलाकारों की टुकड़ी का उपयोग करते हैं।



हमने WRN-50-2 पर अपने मॉडल को वापस ले लिया, क्योंकि नेटवर्क 1 के रूप में हमने ResNet-50 ImageNet का उपयोग किया था, लेकिन यह किसी भी तरह से हमारे मॉडल की गुणवत्ता को बढ़ाने के लिए संभव नहीं था।

लेकिन हम अपने परिणामों को बेहतर बनाने के लिए अनुसंधान जारी रखते हैं: हम नए CNN आर्किटेक्चर को प्रशिक्षित कर रहे हैं, विशेष रूप से ResNet परिवार को। हम सीएएम के साथ प्रयोग करने और छवि पैच के अधिक बुद्धिमान प्रसंस्करण के साथ विभिन्न तरीकों पर विचार करने की कोशिश करते हैं - यह हमें लगता है कि यह दृष्टिकोण काफी आशाजनक है।

मील का पत्थर पहचान

हमारे पास दृश्यों को पहचानने के लिए एक अच्छा मॉडल है, लेकिन अब हम कुछ प्रतिष्ठित स्थानों, यानी दर्शनीय स्थलों का पता लगाना चाहते हैं। इसके अलावा, उपयोगकर्ता अक्सर उनकी तस्वीरें लेते हैं या उनकी पृष्ठभूमि के खिलाफ तस्वीरें लेते हैं।

हम चाहते हैं कि परिणाम न केवल कैथेड्रल हो, जैसा कि स्लाइड पर छवि में है, लेकिन कहने के लिए प्रणाली: "नोट्रे डेम डे पेरिस और प्राग में कैथेड्रल हैं।"

जब हमने इस समस्या को हल किया, तो हमें कुछ कठिनाइयों का सामना करना पड़ा।

1. इस विषय पर व्यावहारिक रूप से कोई अध्ययन नहीं हैं और सार्वजनिक डोमेन में कोई तैयार डेटा नहीं हैं।
   
2. प्रत्येक आकर्षण के लिए सार्वजनिक डोमेन में "स्वच्छ" छवियों की एक छोटी संख्या।
   
3. यह पूरी तरह से स्पष्ट नहीं है कि इमारतों से एक मील का पत्थर क्या है। उदाहरण के लिए, Sq पर टावरों के साथ एक घर। पीटर्सबर्ग में लियो टॉल्स्टॉय, ट्रिपएडवाइजर आकर्षण पर विचार नहीं करता है, लेकिन Google मानता है।
   

हमने एक डेटाबेस इकट्ठा करके शुरू किया, 100 शहरों की सूची तैयार की, और फिर इन शहरों से ब्याज के बिंदुओं के लिए JSON डेटा डाउनलोड करने के लिए Google Places API का उपयोग किया।

डेटा को फ़िल्टर और पार्स किया गया था, और सूची के अनुसार हमने प्रत्येक आकर्षण के लिए Google खोज से 20 छवियां डाउनलोड कीं। संख्या 20 अनुभवजन्य विचारों से ली गई है। नतीजतन, हमें 2827 आकर्षण और लगभग 56 हजार छवियों का आधार मिला। यह वह आधार है जिस पर हमने अपने मॉडल को प्रशिक्षित किया। हमारे मॉडल को मान्य करने के लिए, हमने दो परीक्षणों का उपयोग किया।

क्लाउड परीक्षण - ये हमारे कर्मचारियों के चित्र हैं, जिन्हें मैन्युअल रूप से लेबल किया गया है। इसमें 15 शहरों में 200 तस्वीरें और बिना आकर्षण के 10 हजार चित्र हैं। दूसरा है सर्च टेस्ट। यह Mail.ru खोज का उपयोग करके बनाया गया था, जिसमें प्रत्येक आकर्षण के लिए 3 से 10 चित्र शामिल हैं, लेकिन, दुर्भाग्य से, यह परीक्षण गंदा है।

हमने पहले मॉडलों को प्रशिक्षित किया, लेकिन उन्होंने मुकाबला तस्वीरों में क्लाउड परीक्षण पर खराब परिणाम दिखाए।

यहां उस छवि का एक उदाहरण है जिस पर हमें प्रशिक्षित किया गया था, और लड़ाकू फोटोग्राफी का एक उदाहरण। लोगों में समस्या यह है कि वे अक्सर दर्शनीय स्थलों की पृष्ठभूमि के खिलाफ फोटो खिंचवाते हैं। उन छवियों में जो हमें खोज से मिलीं, कोई लोग नहीं थे।



इससे निपटने के लिए, हमने प्रशिक्षण के दौरान "मानव" वृद्धि को जोड़ा। यही है, हमने मानक दृष्टिकोण का उपयोग किया: यादृच्छिक घुमाव, छवि के भाग का यादृच्छिक रूप से काटना, और इसी तरह। लेकिन सीखने की प्रक्रिया में भी, हमने कुछ लोगों को यादृच्छिक रूप से कुछ छवियों में जोड़ा।



इस दृष्टिकोण ने हमें लोगों के साथ समस्या को हल करने और एक स्वीकार्य गुणवत्ता मॉडल प्राप्त करने में मदद की।

ठीक ट्यूनिंग दृश्य मॉडल

हमने मॉडल को कैसे प्रशिक्षित किया: कुछ प्रशिक्षण आधार है, लेकिन यह काफी छोटा है। लेकिन हम जानते हैं कि एक पर्यटक आकर्षण दृश्य का एक विशेष मामला है। और हमारे पास एक बहुत अच्छा दृश्य मॉडल है। हमने उसे स्थलों के लिए प्रशिक्षित करने का फैसला किया। ऐसा करने के लिए, हमने नेटवर्क के शीर्ष पर पूरी तरह से जुड़े और बीएन परतों को जोड़ा, उन्हें प्रशिक्षित किया और शीर्ष तीन अवशिष्ट ब्लॉक। बाकी नेटवर्क को फ्रीज कर दिया गया।



इसके अलावा, प्रशिक्षण के लिए, हम गैर-मानक केंद्र हानि फ़ंक्शन का उपयोग करते हैं। प्रशिक्षण के दौरान, केंद्र का नुकसान विभिन्न वर्गों के प्रतिनिधियों को "अलग-अलग" करने की कोशिश करता है, जैसा कि चित्र में दिखाया गया है।



प्रशिक्षण में, हमने एक और वर्ग जोड़ा "एक पर्यटक आकर्षण नहीं"। और इस वर्ग के लिए केंद्र के नुकसान को लागू नहीं किया गया था। इस तरह के मिश्रित नुकसान समारोह पर, प्रशिक्षण आयोजित किया गया था।

नेटवर्क को प्रशिक्षित करने के बाद, हमने उसमें से अंतिम वर्गीकरण परत को काट दिया, और जब छवि नेटवर्क से गुजरती है, तो यह एक संख्यात्मक वेक्टर में बदल जाता है जिसे एम्बेडिंग कहा जाता है।



आगे एक मील का पत्थर मान्यता प्रणाली बनाने के लिए, हमने प्रत्येक वर्ग के लिए संदर्भ वैक्टर बनाए। हमने भीड़ से आकर्षण के प्रत्येक वर्ग को लिया और छवियों को नेटवर्क के माध्यम से चलाया। उन्होंने एम्बेडिंग प्राप्त की और अपने मध्य वेक्टर को लिया, जिसे वर्ग संदर्भ वेक्टर कहा जाता था।



फोटो में जगहें निर्धारित करने के लिए, हम नेटवर्क के माध्यम से इनपुट छवि चलाते हैं, और इसकी एम्बेडिंग की तुलना प्रत्येक वर्ग के संदर्भ वेक्टर के साथ की जाती है। यदि तुलना का परिणाम सीमा से कम है, तो हम मानते हैं कि छवि में कोई रुचि नहीं है। अन्यथा, हम उच्चतम तुलना मूल्य के साथ वर्ग लेते हैं।

परीक्षण के परिणाम

• क्लाउड परीक्षण में, स्थलों की सटीकता 0.616 थी, न कि जगहें - 0.981
• खोज परीक्षण पर 0.669 की औसत सटीकता प्राप्त की गई थी, और औसत पूर्णता 0.576 थी।

खोज पर, उन्हें बहुत अच्छे परिणाम नहीं मिले, लेकिन इस तथ्य से समझाया गया है कि पहला काफी "गंदा" है, और दूसरे में विशेषताएं हैं - उन आकर्षणों में विभिन्न वनस्पति उद्यान हैं जो सभी शहरों में समान हैं।

पहले नेटवर्क को प्रशिक्षित करने के लिए दृश्य पहचान के लिए एक विचार था, जो दृश्य मास्क को निर्धारित करेगा, अर्थात, इसमें से अग्रभूमि से वस्तुओं को हटा दें, और फिर इसे मॉडल में ही फ़ीड करें, जो इन क्षेत्रों के बिना छवि दृश्यों को पहचानता है, जहां पृष्ठभूमि बाधित है। लेकिन यह बहुत स्पष्ट नहीं है कि सामने की परत से वास्तव में क्या निकालने की जरूरत है, किस मुखौटा की जरूरत है।

यह एक बल्कि जटिल और स्मार्ट चीज होगी, क्योंकि हर कोई यह नहीं समझता है कि कौन सी वस्तुएं दृश्य से संबंधित हैं और कौन सी अतिशयोक्तिपूर्ण हैं। उदाहरण के लिए, एक रेस्तरां में लोगों की आवश्यकता हो सकती है। यह एक गैर-तुच्छ निर्णय है, हमने कुछ ऐसा ही करने की कोशिश की, लेकिन इसने अच्छे परिणाम नहीं दिए।

यहां मुकाबला तस्वीरों में काम करने का एक उदाहरण है।

सफल काम के उदाहरण:





लेकिन असफल नौकरी: कोई जगहें नहीं मिलीं। फिलहाल हमारे मॉडल की मुख्य समस्या यह नहीं है कि नेटवर्क दर्शनीय स्थलों को भ्रमित करता है, लेकिन यह उन्हें फोटो में नहीं मिलता है।



भविष्य में, हम और भी बड़ी संख्या में शहरों के लिए एक आधार इकट्ठा करने की योजना बनाते हैं, इस कार्य के लिए नेटवर्क को प्रशिक्षित करने के लिए नए तरीके खोजते हैं, और नेटवर्क को दोबारा बनाए बिना कक्षाओं की संख्या बढ़ाने की संभावनाओं को निर्धारित करते हैं।

निष्कर्ष

आज हम:

• हमने देखा कि दृश्य पहचान के लिए कौन से डेटा सेट उपलब्ध हैं;
  
• हमने देखा कि वाइड रेजिडेंशियल नेटवर्क सबसे अच्छा मॉडल है;
  
• इस मॉडल की गुणवत्ता बढ़ाने के लिए आगे की संभावनाओं पर चर्चा की;
  
• हमने दर्शनीय स्थलों को पहचानने के कार्य को देखा, क्या कठिनाइयाँ उत्पन्न हुईं;
  
• हमने आकर्षण को पहचानने के लिए मॉडल के आधार और शिक्षण विधियों को इकट्ठा करने के लिए एल्गोरिदम का वर्णन किया।
  

मैं कह सकता हूं कि कार्य दिलचस्प हैं, लेकिन समुदाय में बहुत कम अध्ययन किए गए हैं। उनके साथ व्यवहार करना दिलचस्प है, क्योंकि आप गैर-मानक दृष्टिकोण लागू कर सकते हैं जो वस्तुओं की सामान्य मान्यता में लागू नहीं होते हैं।

विज्ञापन का मिनट। अगर आपको स्मार्टडाटा सम्मेलन की यह रिपोर्ट पसंद आई, तो कृपया ध्यान दें कि स्मार्टडाटा 2018 15 अक्टूबर को सेंट पीटर्सबर्ग में आयोजित किया जाएगा, जो मशीन लर्निंग, विश्लेषण और डेटा प्रोसेसिंग की दुनिया में डूबे हुए लोगों के लिए एक सम्मेलन है। कार्यक्रम में बहुत सारी दिलचस्प चीजें होंगी, साइट पर पहले से ही अपने स्पीकर और रिपोर्ट हैं।