मोबाइल फोन में उच्च गुणवत्ता वाले कैमरों के आगमन के साथ, हम अपने जीवन के उज्ज्वल और महत्वपूर्ण क्षणों के वीडियो की शूटिंग कर रहे हैं। हम में से बहुत से फोटो अभिलेखागार हैं जो दसियों साल पुराने हैं और हजारों तस्वीरें हैं, जिनमें नेविगेट करना कठिन होता जा रहा है। याद रखें कि कई साल पहले सही फोटो ढूंढने में कितना समय लगता था।

Mail.ru Cloud के लक्ष्यों में से एक आपके फ़ोटो और वीडियो संग्रह में सबसे सुविधाजनक पहुंच और खोज प्रदान करना है। ऐसा करने के लिए, हम, Mail.ru मशीन विज़न टीम ने स्मार्ट फोटो प्रोसेसिंग सिस्टम बनाए और कार्यान्वित किए हैं: ऑब्जेक्ट्स, दृश्यों, चेहरों, आदि द्वारा खोज। ऐसी ही एक और आकर्षक तकनीक दर्शनीय स्थलों की पहचान है। और आज मैं इस बारे में बात करूँगा कि कैसे हमने डीप लर्निंग की मदद से इस समस्या को हल किया।

स्थिति की कल्पना करें: आप छुट्टी पर गए और फ़ोटो का एक गुच्छा लेकर आए। और दोस्तों के साथ बातचीत में, उन्होंने आपको यह दिखाने के लिए कहा कि आप एक महल, महल, पिरामिड, मंदिर, झील, झरना, पहाड़, आदि कैसे गए थे। आप फ़ोटो के साथ फ़ोल्डर के माध्यम से घर्षण करना शुरू करते हैं, सही खोजने की कोशिश कर रहे हैं। सबसे अधिक संभावना है, आप इसे सैकड़ों छवियों के बीच नहीं पाते हैं, और कहते हैं कि आप बाद में दिखाएंगे।

हम कस्टम फ़ोटो को एल्बम में समूहित करके इस समस्या को हल करते हैं। इससे कुछ ही क्लिक में सही चित्रों को ढूंढना आसान हो जाता है। अब हमारे पास चेहरों, वस्तुओं और दृश्यों के साथ-साथ आकर्षण पर भी एल्बम हैं।

स्थलों के साथ तस्वीरें महत्वपूर्ण हैं क्योंकि वे अक्सर हमारे जीवन के महत्वपूर्ण क्षणों को प्रदर्शित करते हैं (उदाहरण के लिए, यात्रा)। ये कुछ वास्तु संरचना की पृष्ठभूमि या मनुष्य द्वारा अछूते प्रकृति के एक कोने में तस्वीरें हो सकती हैं। इसलिए, हमें इन तस्वीरों को खोजने और उपयोगकर्ताओं को उनके लिए आसान और त्वरित पहुंच प्रदान करने की आवश्यकता है।

सुविधा मान्यता

लेकिन एक बारीकियों है: आप स्थलों को पहचानने के लिए बस कुछ मॉडल नहीं ले सकते हैं और प्रशिक्षित कर सकते हैं, बहुत सारी कठिनाइयां हैं।

• सबसे पहले, हम स्पष्ट रूप से वर्णन नहीं कर सकते हैं कि "लैंडमार्क" क्या है। हम यह नहीं कह सकते कि एक इमारत एक मील का पत्थर क्यों है, और इसके बगल में खड़ा नहीं है। यह एक औपचारिक अवधारणा नहीं है, जो मान्यता समस्या के निर्माण को जटिल बनाती है।
  
• दूसरे, जगहें बेहद विविध हैं। यह ऐतिहासिक या सांस्कृतिक इमारतें हो सकती हैं - मंदिर, महल, महल। ये सबसे विविध स्मारक हो सकते हैं। यह प्राकृतिक वस्तुएं हो सकती हैं - झीलें, घाटी, झरने। और एक मॉडल को इन सभी आकर्षणों को खोजने में सक्षम होना चाहिए।
  
• तीसरा, दर्शनीय स्थलों के साथ बहुत कम चित्र हैं, हमारी गणना के अनुसार, वे केवल 1-3% उपयोगकर्ता फ़ोटो में पाए जाते हैं। इसलिए, हम खुद को पहचान में गलतियों की अनुमति नहीं दे सकते हैं, क्योंकि यदि हम किसी व्यक्ति को बिना ब्याज के एक फोटो दिखाते हैं, तो यह तुरंत ध्यान देने योग्य होगा और इससे घबराहट और नकारात्मक प्रतिक्रिया होगी। या, इसके विपरीत, हमने उस व्यक्ति को न्यूयॉर्क में एक लैंडमार्क के साथ एक फोटो दिखाया, और वह कभी अमेरिका नहीं गया था। इसलिए मान्यता मॉडल में कम FPR (झूठी सकारात्मक दर) होना चाहिए।
  
• चौथा, लगभग 50% उपयोगकर्ता, या इससे भी अधिक, फोटो खींचते समय भू-सूचना के भंडारण को बंद कर देते हैं। हमें इसे ध्यान में रखना होगा और पूरी तरह से छवि से जगह का निर्धारण करना होगा। अधिकांश सेवाएं जो आज किसी भी तरह से रुचि के स्थानों के साथ काम करने का प्रबंधन करती हैं, यह जियोडाटा के लिए धन्यवाद। हमारी शुरुआती आवश्यकताएं कठिन थीं।
  

मैं अब उदाहरणों के साथ दिखाऊंगा।

यहां समान वस्तुएं हैं, तीन फ्रांसीसी गोथिक कैथेड्रल। बायीं ओर अमीन्स कैथेड्रल है, रिम्स कैथेड्रल के बीच में, दाईं ओर नोट्रे डेम डे पेरिस है।



यहां तक ​​कि एक व्यक्ति को उन्हें देखने और समझने के लिए कुछ समय की आवश्यकता है कि ये अलग-अलग कैथेड्रल हैं, और मशीन को भी इसके साथ सामना करने में सक्षम होना चाहिए, और एक व्यक्ति की तुलना में तेजी से।

और यहां एक और कठिनाई का एक उदाहरण है: स्लाइड पर तीन तस्वीरें नोट्रे डेम डी पेरिस हैं, जो विभिन्न कोणों से ली गई हैं। तस्वीरें बहुत अलग निकलीं, लेकिन उन्हें पहचानने और ढूंढने की जरूरत है।



प्राकृतिक वस्तुएं वास्तुशिल्प से पूरी तरह से अलग हैं। बाईं ओर इजरायल में कैसरिया है, दाईं ओर म्यूनिख में इंग्लिश पार्क है।



इन तस्वीरों में बहुत कम विशिष्ट विवरण हैं जिनके लिए मॉडल "पकड़" सकता है।

हमारी विधि

हमारी विधि पूरी तरह से गहरे संवेदी तंत्रिका नेटवर्क पर आधारित है। सीखने के दृष्टिकोण के रूप में, उन्होंने तथाकथित पाठ्यक्रम सीखने - कई चरणों में सीखने को चुना। जियोडेटा की उपस्थिति और उसके अभाव में अधिक कुशलता से काम करने के लिए, हमने एक विशेष निष्कर्ष (निष्कर्ष) बनाया। मैं आपको प्रत्येक चरण के बारे में अधिक विस्तार से बताऊंगा।

डाटासेट

मशीन लर्निंग का ईंधन डेटा है। और सबसे पहले, हमें मॉडल प्रशिक्षण के लिए डेटासेट एकत्र करने की आवश्यकता है।

हमने दुनिया को 4 क्षेत्रों में विभाजित किया है, जिनमें से प्रत्येक का उपयोग प्रशिक्षण के विभिन्न चरणों में किया जाता है। फिर, देशों को प्रत्येक क्षेत्र में ले जाया गया, प्रत्येक देश के लिए शहरों की एक सूची तैयार की गई और उनके आकर्षण की तस्वीरों का एक डेटाबेस संकलित किया गया। डेटा के उदाहरण नीचे प्रस्तुत किए गए हैं।



सबसे पहले, हमने अपने मॉडल को परिणामस्वरूप आधार पर प्रशिक्षित करने का प्रयास किया। नतीजे बुरे थे। उन्होंने विश्लेषण करना शुरू किया, और यह पता चला कि डेटा बहुत "गंदा" है। प्रत्येक आकर्षण में बड़ी मात्रा में कचरा था। क्या करें? मैन्युअल रूप से डेटा की पूरी बड़ी मात्रा की समीक्षा करना महंगा, कमज़ोर और बहुत स्मार्ट नहीं है। इसलिए, हमने आधार की एक स्वचालित सफाई की, जिसके दौरान मैनुअल प्रोसेसिंग का उपयोग केवल एक कदम पर किया जाता है: प्रत्येक आकर्षण के लिए, हमने मैन्युअल रूप से 3-5 संदर्भ तस्वीरों का चयन किया है जिसमें सटीक आकर्षण अधिक या कम सही परिप्रेक्ष्य में होता है। यह बहुत जल्दी बदल जाता है, क्योंकि इस तरह के संदर्भ डेटा की मात्रा पूरे डेटाबेस के सापेक्ष छोटी है। फिर, गहरी अवक्षेपण तंत्रिका नेटवर्क पर आधारित स्वचालित सफाई पहले से ही की जाती है।

आगे मैं "एम्बेडिंग" शब्द का उपयोग करूंगा, जिसके द्वारा मैं निम्नलिखित को समझूंगा। हमारे पास एक सजातीय तंत्रिका नेटवर्क है, हमने इसे वर्गीकरण के लिए प्रशिक्षित किया, अंतिम वर्गीकरण परत को काट दिया, कुछ छवियां लीं, नेटवर्क के माध्यम से चलाई और आउटपुट पर एक संख्यात्मक वेक्टर प्राप्त किया। मैं इसे एम्बेडिंग कहूंगा।

जैसा कि मैंने कहा, हमारे प्रशिक्षण को हमारे डेटाबेस के कुछ हिस्सों के अनुरूप कई चरणों में किया गया था। इसलिए, पहले हम या तो पिछले चरण से एक तंत्रिका नेटवर्क लेते हैं, या एक प्रारंभिक नेटवर्क।

हम नेटवर्क के माध्यम से दर्शनीय स्थलों की तस्वीरें चलाते हैं और कई एम्बेडिंग प्राप्त करते हैं। अब आप आधार को साफ कर सकते हैं। हम इस आकर्षण के लिए डेटासेट से सभी तस्वीरें लेते हैं, और हम नेटवर्क के माध्यम से प्रत्येक चित्र भी चलाते हैं। हमें एम्बेडिंग का एक समूह मिलता है और उनमें से प्रत्येक के लिए हम मानकों के एम्बेडिंग के लिए दूरी पर विचार करते हैं। फिर हम औसत दूरी की गणना करते हैं, और यदि यह एक निश्चित सीमा से अधिक है, जो एल्गोरिथ्म का पैरामीटर है, तो हम मानते हैं कि यह एक पर्यटक आकर्षण नहीं है। यदि औसत दूरी सीमा से कम है, तो हम इस तस्वीर को छोड़ देते हैं।



नतीजतन, हमें एक डेटाबेस मिला जिसमें दुनिया के 70 देशों के 500 से अधिक शहरों से 11 हजार से अधिक आकर्षण हैं - 2.3 मिलियन से अधिक तस्वीरें। अब यह याद रखने का समय है कि अधिकांश तस्वीरों में आकर्षण बिल्कुल नहीं है। यह जानकारी किसी भी तरह हमारे मॉडल के साथ साझा करने की आवश्यकता है। इसलिए, हमने अपने डेटाबेस में स्थलों के बिना 900 हज़ार फ़ोटो जोड़े, और परिणामी डेटासेट पर हमारे मॉडल को प्रशिक्षित किया।

प्रशिक्षण की गुणवत्ता को मापने के लिए, हमने एक ऑफ़लाइन परीक्षण पेश किया। इस तथ्य के आधार पर कि केवल 1-3% तस्वीरों में जगहें पाई जाती हैं, हमने मैन्युअल रूप से 290 तस्वीरों के एक सेट को संकलित किया है जो जगहें दिखाते हैं। ये विभिन्न कोणों से लिए गए बड़ी संख्या में वस्तुओं के साथ अलग-अलग, काफी जटिल तस्वीरें हैं, ताकि मॉडल के लिए परीक्षण जितना संभव हो उतना मुश्किल हो। उसी सिद्धांत से, हमने बिना दर्शनीय स्थलों के 11 हज़ार तस्वीरों का चयन किया, जो काफी जटिल भी हैं, और हमने उन वस्तुओं को खोजने की कोशिश की, जो हमारे डेटाबेस में उपलब्ध स्थलों से बहुत मिलती-जुलती हैं।

प्रशिक्षण की गुणवत्ता का आकलन करने के लिए, हम अपने मॉडल की सटीकता को तस्वीरों के साथ और बिना स्थलों के मापते हैं। ये हमारे दो मुख्य मैट्रिक्स हैं।

मौजूदा दृष्टिकोण

वैज्ञानिक साहित्य में दृष्टि मान्यता पर अपेक्षाकृत कम जानकारी है। अधिकांश समाधान स्थानीय सुविधाओं पर आधारित हैं। विचार यह है कि हमारे पास एक निश्चित अनुरोध चित्र और डेटाबेस से एक चित्र है। इन चित्रों में हमें स्थानीय संकेत मिलते हैं - प्रमुख बिंदु और उनकी तुलना। यदि मैचों की संख्या पर्याप्त है, तो हमें लगता है कि हमें रुचि का बिंदु मिल गया है।

आज तक, सबसे अच्छी विधि Google की प्रस्तावित विधि, DELF (गहरी स्थानीय विशेषताएं) है, जिसमें स्थानीय सुविधाओं की तुलना को गहन सीखने के साथ जोड़ा जाता है। कनवल्शन नेटवर्क के माध्यम से इनपुट छवि को चलाने से, हमें कुछ DELF- संकेत मिलते हैं।



कैसे होती है आकर्षण की मान्यता? हमारे पास तस्वीरों का एक डेटाबेस और एक इनपुट छवि है, और हम यह समझना चाहते हैं कि इस पर पर्यटक आकर्षण है या नहीं। हम DELF के माध्यम से सभी चित्रों को चलाते हैं, हमें आधार और इनपुट छवि के लिए संबंधित संकेत मिलते हैं। फिर हम निकटतम पड़ोसियों की पद्धति का उपयोग करके एक खोज करते हैं और आउटपुट में हमें संकेतों के साथ उम्मीदवार चित्र मिलते हैं। हम ज्यामितीय सत्यापन की मदद से इन संकेतों की तुलना करते हैं: यदि वे इसे सफलतापूर्वक पास करते हैं, तो हम मानते हैं कि तस्वीर में रुचि है।

संवादी तंत्रिका नेटवर्क

डीप लर्निंग के लिए, पूर्व प्रशिक्षण महत्वपूर्ण है। इसलिए, हमने दृश्यों का आधार लिया और इसे हमारे तंत्रिका नेटवर्क पर पूर्व-प्रशिक्षित किया। ऐसा क्यों? एक दृश्य एक जटिल वस्तु है जिसमें बड़ी संख्या में अन्य ऑब्जेक्ट शामिल हैं। और आकर्षण दृश्य का एक विशेष मामला है। इस तरह के आधार पर एक पूर्व-प्रशिक्षण मॉडल, हम मॉडल को कुछ निम्न-स्तरीय विशेषताओं का विचार दे सकते हैं जो तब आकर्षण की सफल मान्यता के लिए सामान्यीकृत हो सकते हैं।

एक मॉडल के रूप में, हमने अवशिष्ट नेटवर्क परिवार से एक तंत्रिका नेटवर्क का उपयोग किया। उनकी मुख्य विशेषता यह है कि वे एक अवशिष्ट ब्लॉक का उपयोग करते हैं, जिसमें एक स्किप कनेक्शन शामिल होता है, जो सिग्नल को भार के साथ परतों में पाए बिना स्वतंत्र रूप से पारित करने की अनुमति देता है। इस वास्तुकला के साथ, आप गुणात्मक रूप से गहरे नेटवर्क को प्रशिक्षित कर सकते हैं और ढाल धब्बा के प्रभाव से निपट सकते हैं, जो सीखने के दौरान बहुत महत्वपूर्ण है।

हमारा मॉडल वाइड रेसनेट 50-2 है, रेसनेट 50 का एक संशोधन है, जिसमें आंतरिक अड़चन ब्लॉक में दृढ़ संकल्पों की संख्या दोगुनी है।



नेटवर्क बहुत कुशल है। हमने अपने दृश्य डेटाबेस पर परीक्षण किए और यही हमें मिला:


वाइड रेस्नेट लगभग बड़े नेटनेट 200 नेटवर्क की तुलना में लगभग दोगुना है। और ऑपरेशन की गति ऑपरेशन के लिए बहुत महत्वपूर्ण है। इन परिस्थितियों की समग्रता के आधार पर, हमने अपने मुख्य तंत्रिका नेटवर्क के रूप में वाइड रेनेट 50-2 लिया।

ट्रेनिंग

नेटवर्क को प्रशिक्षित करने के लिए, हमें नुकसान (हानि फ़ंक्शन) की आवश्यकता होती है। इसे चुनने के लिए, हमने मीट्रिक सीखने के दृष्टिकोण का उपयोग करने का फैसला किया: एक तंत्रिका नेटवर्क को प्रशिक्षित किया जाता है ताकि एक ही वर्ग के प्रतिनिधियों को एक क्लस्टर में एक साथ खींचा जाए। इसी समय, विभिन्न वर्गों के लिए क्लस्टर यथासंभव अलग होना चाहिए। आकर्षण के लिए, हमने सेंटर लॉस का इस्तेमाल किया, जो एक ही क्लास के पॉइंट्स को एक निश्चित सेंटर तक खींचता है। इस दृष्टिकोण की एक महत्वपूर्ण विशेषता यह है कि इसे नकारात्मक नमूने की आवश्यकता नहीं होती है, जो प्रशिक्षण के बाद के चरणों में एक कठिन प्रक्रिया है।



आपको याद दिला दूं कि हमारे पास आकर्षण का एक वर्ग है और "आकर्षण नहीं" का एक और वर्ग, इसके लिए केंद्र के नुकसान का उपयोग नहीं किया जाता है। हमारा मतलब है कि एक मील का पत्थर एक और एक ही वस्तु है, और इसमें एक संरचना है, इसलिए इसके लिए एक केंद्र पर विचार करना उचित है। लेकिन एक पर्यटक आकर्षण कुछ भी नहीं हो सकता है, और उसके लिए केंद्र पर विचार करना अनुचित है।

फिर हमने यह सब एक साथ रखा और प्रशिक्षण के लिए एक मॉडल प्राप्त किया। इसमें तीन मुख्य भाग होते हैं:

• दृश्यों के आधार पर पूर्व-प्रशिक्षित, विस्तृत तंत्रिका नेटवर्क वाइड रेसनेट 50-2;
  
• एक पूरी तरह से जुड़े परत और एक बैच मानक परत से मिलकर एम्बेड करने के कुछ हिस्सों;
  
• एक क्लासिफायर, जो पूरी तरह से जुड़ा हुआ परत है, उसके बाद सॉफ्टमैक्स लॉस और सेंटर लॉस की एक जोड़ी है।
  

जैसा कि आपको याद है, हमारा आधार दुनिया के क्षेत्र से 4 भागों में विभाजित है। हम इन 4 भागों को पाठ्यक्रम के प्रतिमान के भाग के रूप में उपयोग करते हैं। प्रत्येक चरण में, हमारे पास वर्तमान डेटासेट हैं, हम इसमें दुनिया का एक और हिस्सा जोड़ते हैं और हमें एक नया प्रशिक्षण डेटासेट मिलता है।

मॉडल में तीन भाग होते हैं, और उनमें से प्रत्येक के लिए हम प्रशिक्षण में अपने स्वयं के सीखने की दर का उपयोग करते हैं। यह आवश्यक है ताकि नेटवर्क न केवल हमारे द्वारा जोड़े गए डेटासेट के नए भाग से जगहें सीख सके, बल्कि यह भी कि यह पहले से ही सीखे गए डेटा को न भूलें। कई प्रयोगों के बाद, यह दृष्टिकोण सबसे प्रभावी निकला।

इसलिए, हमने मॉडल को प्रशिक्षित किया। आपको यह समझने की आवश्यकता है कि यह कैसे काम करता है। आइए वर्ग सक्रियण मानचित्र का उपयोग करके देखें कि छवि का कौन सा भाग हमारे तंत्रिका नेटवर्क के लिए सबसे अधिक उत्तरदायी है। नीचे दी गई तस्वीर में, पहली पंक्ति में, इनपुट चित्र, और दूसरे में वे ग्रिड से सुपरिंपोज्ड क्लास एक्टिवेशन मैप हैं, जिसे हमने पिछले चरण में प्रशिक्षित किया था।



हीटमैप दिखाता है कि नेटवर्क के किन हिस्सों पर ध्यान दिया जाता है। वर्ग सक्रियण मानचित्र से यह देखा जा सकता है कि हमारे तंत्रिका नेटवर्क ने आकर्षण की अवधारणा को सफलतापूर्वक सीखा है।

अनुमान

अब आपको परिणाम प्राप्त करने के लिए किसी तरह इस ज्ञान का उपयोग करने की आवश्यकता है। चूंकि हमने प्रशिक्षण के लिए केंद्र के नुकसान का इस्तेमाल किया है, इसलिए यह आकर्षण के लिए टेसरोटॉइड की गणना करने के लिए काफी तार्किक है।

इसके लिए, हम किसी प्रकार के आकर्षण के लिए प्रशिक्षण सेट से छवियों का हिस्सा लेते हैं, उदाहरण के लिए, कांस्य घुड़सवार के लिए। हम उन्हें नेटवर्क के माध्यम से चलाते हैं, एम्बेडिंग प्राप्त करते हैं, औसत और एक सेंट्रोइड प्राप्त करते हैं।



लेकिन सवाल उठता है: एक आकर्षण के लिए कितने सेंट्रोइड्स की गणना करने के लिए यह समझ में आता है? सबसे पहले, जवाब स्पष्ट और तार्किक लगता है: एक सेंट्रोइड। लेकिन ऐसा नहीं हुआ। सबसे पहले, हमने एक सेंट्रोइड बनाने का फैसला किया और एक बहुत अच्छा परिणाम मिला। तो आपको कुछ सेंट्रोइड लेने की आवश्यकता क्यों है?

सबसे पहले, हमारा डेटा पूरी तरह से साफ नहीं है। यद्यपि हमने डेटासेट साफ किया, हमने केवल एकमुश्त कचरा निकाला। और हमारे पास ऐसी छवियां हो सकती हैं जिन्हें कचरा नहीं माना जा सकता है, लेकिन जो परिणाम को खराब करता है।

उदाहरण के लिए, मेरे पास एक विंटर पैलेस लैंडमार्क क्लास है। मैं उसके लिए एक सेंट्रोइड गिनना चाहता हूं। लेकिन सेट में पैलेस स्क्वायर और जनरल स्टाफ बिल्डिंग के आर्क के साथ कई तस्वीरें शामिल थीं। यदि हम सभी छवियों में केन्द्रक पर विचार करते हैं, तो यह स्थिर नहीं होगा। यह आवश्यक है कि किसी तरह उनके एम्बेडिंग को क्लस्टर किया जाए, जो एक साधारण ग्रिड से प्राप्त होते हैं, केवल सेंट्रोइड लेते हैं जो विंटर पैलेस के लिए जिम्मेदार है, और इन आंकड़ों के अनुसार औसत की गणना करें।



दूसरे, तस्वीरों को विभिन्न कोणों से लिया जा सकता है।

मैं ब्रुगेस में बेलफोर्ट घंटी टॉवर को इस व्यवहार के दृष्टांत के रूप में उद्धृत करूंगा। दो सेंट्रोइड्स उसके लिए गिने जाते हैं। छवि की ऊपरी पंक्ति में वे फ़ोटो हैं जो पहली सेंट्रोइड के करीब हैं, और दूसरी पंक्ति में - वे जो दूसरे सेंट्रोइड के करीब हैं:



ब्रुसेज़ मार्केट स्क्वायर से ली गई अधिक "स्मार्ट" क्लोज़-अप तस्वीरों के लिए पहला सेंट्रोइड जिम्मेदार है। और दूसरा सेंट्रोइड आसन्न सड़कों से दूर से ली गई तस्वीरों के लिए जिम्मेदार है।

यह पता चला है कि ब्याज के एक बिंदु के प्रति वर्ग के कई सेंट्रोइड्स की गणना करके, हम इस बिंदु के ब्याज के विभिन्न कोणों को अनुमान में प्रदर्शित कर सकते हैं।

तो, हम इन सेटों को सेंट्रोइड्स की गणना करने के लिए कैसे पाते हैं? हम हित के प्रत्येक बिंदु के लिए डेटासेट में श्रेणीबद्ध क्लस्टरिंग लागू करते हैं - पूर्ण लिंक। इसकी मदद से, हमें मान्य क्लस्टर मिलते हैं जिनके द्वारा हम सेंट्रोइड्स की गणना करेंगे। मान्य क्लस्टरों से हमारा मतलब है कि क्लस्टरिंग के परिणामस्वरूप, कम से कम 50 तस्वीरें शामिल हैं। शेष समूहों को छोड़ दिया जाता है। नतीजतन, यह पता चला कि लगभग 20% स्थलों में एक सेंटीमीटर से अधिक है।

अब इंट्रेंस। हम इसे दो चरणों में परिकलित करते हैं: पहला, हम इनपुट इमेज को अपने कनवेन्शनल न्यूरल नेटवर्क के माध्यम से चलाते हैं और एम्बेडिंग प्राप्त करते हैं, और फिर स्केलर उत्पाद का उपयोग करके हम सेंटीरोइड के साथ एम्बेडिंग की तुलना करते हैं। यदि छवियों में जियोडेटा है, तो हम खोज को सेंट्रोइड्स तक सीमित कर देते हैं, जो शूटिंग स्थान से 1 प्रति 1 किमी के वर्ग में स्थित आकर्षण से संबंधित है। यह आपको अधिक सटीक खोज करने की अनुमति देता है, बाद की तुलना के लिए कम सीमा चुनें। यदि प्राप्त दूरी थ्रेशोल्ड से अधिक है, जो एल्गोरिथ्म का एक पैरामीटर है, तो हम कहते हैं कि फोटो में स्केलर उत्पाद के अधिकतम मूल्य के साथ ब्याज का एक बिंदु है। यदि कम है, तो यह एक पर्यटक आकर्षण नहीं है।



मान लीजिए कि फोटो में एक लैंडमार्क है। यदि हमारे पास जियोडेटा है, तो हम उनका उपयोग करते हैं और उत्तर प्रदर्शित करते हैं। यदि कोई जियोडेटा नहीं है, तो हम एक अतिरिक्त जांच करते हैं। जब हमने डाटासेट को साफ किया, तो हमने प्रत्येक वर्ग के आकर्षण के लिए संदर्भ चित्रों का एक समूह बनाया। उनके लिए, हम एम्बेडिंग की गणना कर सकते हैं, और फिर हम उनसे अनुरोध चित्र की एम्बेडिंग की औसत दूरी की गणना करते हैं। यदि यह कुछ सीमा से अधिक है, तो सत्यापन पारित किया जाता है, हम मेटाडेटा को शामिल करते हैं और परिणाम प्रदर्शित करते हैं। यह ध्यान रखना महत्वपूर्ण है कि हम कई आकर्षण के लिए ऐसी प्रक्रिया कर सकते हैं जो छवि में पाए गए थे।

परीक्षण के परिणाम

हमने अपने मॉडल की तुलना DELF से की, जिसके लिए हमने उन मापदंडों को लिया, जिन पर इसने हमारे परीक्षण के सर्वोत्तम परिणाम दिखाए। परिणाम लगभग समान थे।


: ( 100 ), 87 % , . : 85,3 %. 46 %, — .


/B- . 10 %, 3 %, 13 %.

DELF. GPU DELF 7 , 7 , 1 . CPU DELF . CPU 15 . , .

:

. .



, . «», «», «». , . , .



: , , . Instagram , , — .

.

1. . , . .
   
2. deep metric learning, .
   
3. curriculum learning — . . inference , .
   

, — . , , . - . !