चित्रों को पहचानने की गहरी सीख

नमस्कार, हेब्र! आज मैं इस बारे में बात करना चाहता हूं कि गहरी शिक्षा हमें कला को बेहतर ढंग से समझने में मदद करती है। हमारे द्वारा हल किए गए कार्यों के अनुसार लेख को भागों में विभाजित किया गया है:

1. डेटाबेस में एक तस्वीर के लिए एक मोबाइल फोन द्वारा ली गई तस्वीर से खोज;
2. चित्र की शैली और शैली का निर्धारण जो डेटाबेस में नहीं है।

यह सब आर्थी डेटाबेस सेवा और उसके मोबाइल अनुप्रयोगों का हिस्सा बनना था।

चित्रों की पहचान करने का कार्य डेटाबेस में मोबाइल एप्लिकेशन से आने वाली छवि से संबंधित चित्र को ढूंढना था, इस पर एक सेकंड से कम समय खर्च करना। पूरी तरह से मोबाइल डिवाइस में प्रसंस्करण पूर्व-डिजाइन अध्ययन चरण में बाहर रखा गया था। इसके अलावा, यह पता चला है कि वास्तविक शूटिंग स्थितियों में पृष्ठभूमि से चित्र को अलग करने के लिए मोबाइल डिवाइस पर गारंटीकृत रूप से प्रदर्शन करना असंभव है। इसलिए, हमने फैसला किया कि हमारी सेवा पूरी तस्वीर को मोबाइल फोन से इनपुट के रूप में स्वीकार करेगी, सभी विकृतियों, शोर और संभावित आंशिक ओवरलैप के साथ।

क्या हम दशा को 200,000 से अधिक चित्रों के डेटाबेस में इन चित्रों को खोजने में मदद करेंगे?

ऑर्थिव आर्ट बेस में विभिन्न मेटाडेटा के साथ लगभग 250,000 चित्र शामिल हैं। आधार लगातार अपडेट किया जाता है - प्रति दिन दसियों से सैकड़ों छवियां। यहां तक ​​कि एक सीमित रिज़ॉल्यूशन (अधिकांश पक्षों पर 1400 पिक्सल से अधिक नहीं) के साथ पंप किया गया है, 80 से अधिक गीगाबाइट पर छवियां व्याप्त हैं। दुर्भाग्य से, डेटाबेस "गंदा" है: टूटी हुई या बहुत छोटी फाइलें हैं, बिना आकार की और अप्रमाणित छवियां, डुप्लिकेट छवियां। हालाँकि, कुल मिलाकर यह अच्छा डेटा है।

चित्रों की तुलना

आइए देखें कि डेटाबेस में चित्र कैसे दिखते हैं:

मार्क रोथको नारंगी, लाल, पीला

इल्या रेपिन मठवासिनी

डेविड बर्लिउक उष्णकटिबंधीय से महिलाएं

मूल रूप से, डेटाबेस में छवियों को संरेखित किया जाता है, कैनवास की सीमाओं के लिए क्रॉप किया जाता है, रंगों को संरक्षित किया जाता है।

और यहाँ मोबाइल उपकरणों से अनुरोध कैसे दिख सकता है:

रंग लगभग हमेशा विकृत होते हैं - जटिल प्रकाश पाया जाता है, चकाचौंध मौजूद है, यहां तक ​​कि कांच में अन्य चित्रों के प्रतिबिंब भी पाए जाते हैं। छवियां स्वयं विकृत हैं, आंशिक रूप से फसली जा सकती हैं या इसके विपरीत, तस्वीर के आधे से कम हिस्से पर कब्जा कर सकती हैं, उदाहरण के लिए, लोगों द्वारा आंशिक रूप से बंद किया जा सकता है।

चित्रों को पहचानने के लिए, आपको डेटाबेस में मौजूद छवियों से प्रश्नों की तुलना करने में सक्षम होना चाहिए।

परिप्रेक्ष्य विरूपण और रंग विरूपण के लिए प्रवण छवियों की तुलना करने के लिए, हम कुंजी बिंदु मिलान का उपयोग करते हैं। ऐसा करने के लिए, हम छवियों पर वर्णनकर्ताओं के साथ प्रमुख बिंदु पाते हैं, उनके पत्राचार को पाते हैं, और फिर RANSAC विधि का उपयोग करके संबंधित बिंदुओं को भौगोलिक रूप से प्रदर्शित करते हैं। यह आमतौर पर उसी तरह से किया जाता है जैसा कि ओपनसीवी उदाहरण में वर्णित है। यदि RANSAC द्वारा पाए जाने वाले "इनबिल्ट" बिंदुओं की संख्या काफी बड़ी है, और पाया गया कि भौगोलिक परिवर्तन प्रशंसनीय है (मजबूत स्केलिंग या घुमाव नहीं है), तो हम मान सकते हैं कि वांछित चित्र एक हैं और एक ही चित्र परिप्रेक्ष्य विकृतियों के अधीन हैं। ।

मुख्य बिंदुओं की मैपिंग का एक उदाहरण:

बेशक, मुख्य बिंदुओं की खोज आमतौर पर एक धीमी प्रक्रिया है, लेकिन डेटाबेस को खोजने के लिए आप सभी चित्रों के प्रमुख बिंदुओं को पहले से ढूंढ सकते हैं और उनमें से कुछ को बचा सकते हैं। हमारे प्रयोगों में, हम इस निष्कर्ष पर पहुंचे कि चित्रों के लिए एक विश्वसनीय खोज के लिए 1000 से कम अंक पर्याप्त हैं। 1024 बिंदुओं के भंडारण के लिए 64 बाइट्स प्रति पॉइंट (निर्देशांक + AKAZE डिस्क्रिप्टर) का उपयोग करते समय, प्रति छवि 64 kbytes या लगभग 15 जीबी प्रति बेस पर्याप्त है।

हमारे मामले में मुख्य बिंदुओं द्वारा चित्रों की तुलना करने में लगभग 15 एमएस लगे, यानी 250,000 चित्रों के डेटाबेस की पूरी गणना के लिए, इसमें लगभग 1 घंटे का समय लगता है। यह बहुत कुछ है।

दूसरी ओर, यदि हम सबसे संभावित उम्मीदवारों के कई (कहते हैं, 100) पूरे डेटाबेस से जल्दी से चयन करना सीखते हैं, तो हम प्रति सेकंड 1 सेकंड के लक्ष्य समय को पूरा करेंगे।

समानता रैंकिंग

डीप कनवल्शन नेटवर्क ने खुद को एक समान छवियों के लिए खोज करने के लिए एक अच्छे तरीके के रूप में स्थापित किया है। नेटवर्क का उपयोग सुविधाओं को निकालने और उनके विवरण के आधार पर गणना करने के लिए किया जाता है जिसमें एक संपत्ति होती है जो समान छवियों के विवरणकों के बीच की दूरी (यूक्लिडियन, कोसाइन या अन्य) अलग-अलग छवियों के लिए की तुलना में कम होगी।

आप नेटवर्क को इस तरह से प्रशिक्षित कर सकते हैं कि आधार से चित्र की छवि और फोटो से इसकी विकृत छवि के लिए, यह करीबी विवरणकों का उत्पादन करता है, और विभिन्न चित्रों के लिए - अधिक दूर वाले। इसके अलावा, इस तरह के नेटवर्क का उपयोग डेटाबेस में सभी छवियों के विवरणों और अनुरोधों में फोटो विवरणकों की गणना करने के लिए किया जाता है। आप जल्दी से निकटतम छवियों का चयन कर सकते हैं और उन्हें वर्णनकर्ताओं के बीच की दूरी के अनुसार व्यवस्थित कर सकते हैं।

एक वर्णनकर्ता की गणना करने के लिए एक नेटवर्क को प्रशिक्षित करने का मूल तरीका स्याम देश के नेटवर्क का उपयोग करना है।

$$$ए, बी$- इनपुट चित्र
$$$y = 1$अगर $$$एक$और $$$ब$- एक वर्ग $$$0$अगर अलग है
$$$f (a), f (b) D \ _ R ^ d $ मे$- छवि विवरणक
$$$d (ए, बी) = डी (एफ (ए), एफ (बी))$- फ़ीचर वैक्टर की एक जोड़ी के बीच की दूरी
$$$हानि = y \ cdot d (a, b) + (1 - y) \ cdot अधिकतम (0, मार्जिन - d (a, b))$- उद्देश्य समारोह

ऐसी वास्तुकला का निर्माण करने के लिए, एक नेटवर्क जो एक डिस्क्रिप्टर (फ़ीचर एक्सट्रैक्टर) की गणना करता है, सामान्य भार के साथ मॉडल में 2 बार उपयोग किया जाता है। छवियों के एक जोड़े को नेटवर्क इनपुट के लिए खिलाया जाता है। फ़ीचर एक्सट्रैक्टर नेटवर्क छवि विवरणकों की गणना करता है, फिर नेटवर्क निर्दिष्ट मीट्रिक के अनुसार दूरी की गणना करता है (आमतौर पर यूक्लिडियन या कोसाइन दूरी का उपयोग किया जाता है)। नेटवर्क प्रशिक्षण का लक्ष्य फ़ंक्शन इस तरह से बनाया गया है कि सकारात्मक जोड़े (एक तस्वीर की छवियों) के लिए दूरी कम हो जाती है, और नकारात्मक (विभिन्न चित्रों की छवियां) के लिए यह बढ़ जाती है। नकारात्मक जोड़े के प्रभाव को कम करने के लिए, उनके बीच की दूरी मार्जिन मूल्य द्वारा सीमित है।

इस प्रकार, हम कह सकते हैं कि सीखने की प्रक्रिया में, नेटवर्क एक हाइपरसर्फर के अंदर समान छवियों के विवरणों की गणना करना चाहता है, जिसमें मार्जिन की त्रिज्या होती है, और अलग-अलग लोगों के विवरण - इस क्षेत्र से बाहर धकेलने के लिए।

उदाहरण के लिए, यह एमएनआईएसटी डेटासेट पर सियामी नेटवर्क का उपयोग करके द्वि-आयामी विवरणक को प्रशिक्षित करने जैसा लग सकता है।

सियामी नेटवर्क को प्रशिक्षित करने के लिए, आपको चित्रों के जोड़े और एक लेबल की आवश्यकता होती है जो कि 1 के बराबर है यदि चित्र एक ही वर्ग के हैं, या 0 यदि भिन्न हैं। सकारात्मक और नकारात्मक जोड़े के अनुपात को चुनने की समस्या है। आदर्श रूप से, निश्चित रूप से, प्रशिक्षण सेट से जोड़े के सभी संभावित संयोजनों को नेटवर्क प्रशिक्षण के लिए प्रस्तुत करना आवश्यक होगा, लेकिन यह तकनीकी रूप से असंभव है। और इस मामले में नकारात्मक जोड़े की संख्या सकारात्मक लोगों की संख्या से अधिक है, जो सीखने की प्रक्रिया पर भी बहुत अच्छा प्रभाव नहीं डालेगी।

प्रशिक्षण के लिए जोड़े के अनुपात को चुनने के साथ समस्या का हिस्सा ट्रिपल आर्किटेक्चर का उपयोग करके हल किया गया है।

$$$ए, पी, एन$- इनपुट चित्र: $$$ए, पी$- एक तस्वीर, $$$एन$- एक और
$$$नुकसान = अधिकतम (डी (ए, पी) - डी (ए, एन) + मार्जिन, 0)$- उद्देश्य समारोह

ऐसे नेटवर्क के इनपुट पर, 3 चित्र तुरंत बनते हैं, जो एक सकारात्मक और नकारात्मक जोड़ी बनाते हैं।

इसके अलावा, लगभग सभी शोधकर्ता इस बात से सहमत हैं कि नकारात्मक जोड़े की पसंद नेटवर्क सीखने के लिए महत्वपूर्ण है। कई नमूनों का उद्देश्य फ़ंक्शन (सियामीज़ के लिए जोड़े, ट्रिपलेट के लिए जोड़े) 0 हो जाता है यदि वे मार्जिन सीमा का उल्लंघन नहीं करते हैं, इसलिए, ऐसे नमूने नेटवर्क के प्रशिक्षण में भाग नहीं लेते हैं। समय के साथ, सीखने की प्रक्रिया और भी धीमी हो जाती है, क्योंकि वस्तुनिष्ठ फ़ंक्शन के गैर-मान के साथ कम और कम नमूने होते हैं। इस समस्या को हल करने के लिए, नकारात्मक जोड़े को संयोग से नहीं, बल्कि कठिन मामलों की खोज करके चुना जाता है। व्यवहार में, इसके लिए कई नकारात्मक उम्मीदवारों का चयन किया जाता है, जिनमें से प्रत्येक के लिए नेटवर्क वेट के नवीनतम संस्करण (पिछले युग से या वर्तमान से भी) का उपयोग करके एक विवरणक की गणना की जाती है। एक डिस्क्रिप्टर होने से, आप प्रत्येक तीन में एक नकारात्मक का चयन कर सकते हैं जो एक ज्ञात गैर-शून्य हानि पैदा करता है।

समान छवियों की खोज करने के लिए, फ़ीचर एक्सट्रैक्टर को नेटवर्क से अलग किया जाता है और इसका उपयोग विवरणों की गणना के लिए किया जाता है। डेटाबेस में छवियों के लिए, विवरणकों की गणना अग्रिम में की जाती है जब उन्हें जोड़ा जाता है। इस प्रकार, समान छवियों को खोजने का कार्य क्वेरी में छवि विवरणक की गणना करना और डेटाबेस में दिए गए मीट्रिक के निकटतम विवरणों की खोज करना है।

हमारा नेटवर्क फ़ीचर एक्सट्रैक्टर इनसेप्शन v3 आर्किटेक्चर पर आधारित है। मध्यवर्ती परतों में से एक को प्रयोगात्मक रूप से चुना गया था, जिसके उत्पादन के आधार पर 512 वास्तविक संख्याओं के एक विवरणक की गणना की जाती है।

डेटा ऑगमेंटेशन

यह अच्छा होगा यदि हम प्रत्येक तस्वीर को अलग-अलग फ्रेम पर, अलग-अलग दीवारों पर रख सकें और हर बार अलग-अलग फोन पर अलग-अलग कोण से चित्र ले सकें। व्यवहार में, यह, ज़ाहिर है, असंभव है। इसलिए, प्रशिक्षण डेटा उत्पन्न करना आवश्यक है।

डेटा उत्पन्न करने के लिए, विभिन्न प्रकाश व्यवस्था की परिस्थितियों में विभिन्न पृष्ठभूमि वाले विभिन्न चित्रों की लगभग 500 तस्वीरें एकत्र की गईं। प्रत्येक तस्वीर के लिए, चित्र के कैनवास के कोनों के अनुरूप 4 अंक चुने गए थे। चार बिंदुओं के लिए, हम मनमाने ढंग से किसी भी तस्वीर को फ्रेम में फिट कर सकते हैं, जिससे छवि की जगह और डेटाबेस से तस्वीर का लगभग यादृच्छिक परिप्रेक्ष्य विरूपण हो सकता है। यादृच्छिक फसल, शोर और रंग विकृति के साथ इस प्रक्रिया को लागू करते हुए, हमें चित्रों की नकल करने वाली पूरी तरह से उपयुक्त छवियां उत्पन्न करने का अवसर मिलता है।

एक तस्वीर को एक पृष्ठभूमि से अलग करना

चित्रों की पहचान के लिए काम और मॉडल की गुणवत्ता, और शैलियों / शैलियों को वर्गीकृत करने के लिए मॉडल, काफी हद तक इस बात पर निर्भर करता है कि चित्र पृष्ठभूमि से कितना अलग है। आदर्श रूप से, किसी चित्र को किसी मॉडल में खिलाने से पहले, आपको उसके कैनवास के 4 कोनों को खोजने की जरूरत है और एक वर्ग में परिप्रेक्ष्य को प्रदर्शित करना चाहिए। व्यवहार में, यह एक एल्गोरिथ्म को लागू करने के लिए बहुत मुश्किल हो गया जो इसकी गारंटी देगा। एक ओर, पृष्ठभूमि, फ्रेम और वस्तुओं की एक महत्वपूर्ण विविधता है जो चित्र के पास फ्रेम में गिर सकती हैं। दूसरी ओर, ऐसी पेंटिंग्स हैं जिनके अंदर आयताकार आकृतियों (खिड़कियां, भवन का निर्माण, चित्र-में-चित्र) की काफी ध्यान देने योग्य रूपरेखा हैं। नतीजतन, यह कहना बहुत मुश्किल है कि तस्वीर कहाँ समाप्त होती है और इसका वातावरण शुरू होता है।

अंत में, हम कंप्यूटर विज़न के शास्त्रीय तरीकों (बॉर्डर डिटेक्शन + मॉर्फोलॉजिकल फ़िल्टरिंग + कनेक्टेड कंपोनेंट्स का विश्लेषण) के आधार पर एक सरल कार्यान्वयन पर बसे, जो आपको मोनोफोनिक बैकग्राउंड को आत्मविश्वास से काटने की अनुमति देता है, लेकिन कुछ चित्र नहीं खोता है।

काम की गति

क्वेरी प्रसंस्करण एल्गोरिथ्म में निम्नलिखित मुख्य चरण होते हैं:

1. तैयारी - वास्तव में, तस्वीर का एक सरल डिटेक्टर लागू किया जाता है, जो अच्छी तरह से काम करता है अगर छवि में एक सादे पृष्ठभूमि होती है;
2. एक गहरे नेटवर्क का उपयोग करके एक चित्र विवरणक की गणना करना;
3. डेटाबेस में वर्णनकर्ताओं के लिए दूरी द्वारा चित्रों की रैंकिंग;
4. चित्र में मुख्य बिंदुओं की खोज;
5. रैंकिंग क्रम में उम्मीदवारों की जाँच करना।

हमने 200 अनुरोधों पर नेटवर्क गति का परीक्षण किया, प्रत्येक चरण के लिए निम्नलिखित प्रसंस्करण समय प्राप्त किया गया था (सेकंड में समय):

मंच	मिनट	मैक्स	औसत
तैयारी (चित्र खोज)	0.008	0.011	0.016
डिस्क्रिप्टिव गणना (GPU)	0.082	0.092	0.088
KNN (k <500, सीपीयू, जानवर बल)	0.199	0.820	0.394
मुख्य बिंदु खोज	0.031	0.432	0.156
मुख्य बिंदुओं की जाँच करें	0.007	9844	2.585
कुल अनुरोध समय	0.358	10,386	3.239

चूंकि उम्मीदवारों का सत्यापन तुरंत बंद हो जाता है, क्योंकि तस्वीर पर्याप्त आत्मविश्वास के साथ पाई जाती है, हम मान सकते हैं कि अनुरोधों का न्यूनतम प्रसंस्करण समय पहले उम्मीदवारों के बीच पाए गए चित्रों से मेल खाता है। चित्रों के लिए अधिकतम अनुरोध समय प्राप्त होता है जो बिल्कुल नहीं मिला - 500 उम्मीदवारों के बाद चेक बंद हो जाता है।

यह देखा जा सकता है कि अधिकांश समय उम्मीदवारों के चयन और उनके सत्यापन पर खर्च किया जाता है। यह ध्यान देने योग्य है कि इन चरणों के कार्यान्वयन को बहुत गैर-इष्टतम बनाया गया है और त्वरण के लिए काफी संभावनाएं हैं।

डुप्लिकेट खोज

चित्रों के आधार का पूर्ण सूचकांक बनाने के बाद, हमने इसका उपयोग डेटाबेस में डुप्लिकेट की खोज के लिए किया। डेटाबेस को देखने के लगभग 3 घंटे के बाद, यह पाया गया कि कम से कम 13657 चित्र दो बार (और कुछ तीन) डेटाबेस में दोहराए गए हैं।

इसके अलावा, बहुत दिलचस्प मामले पाए गए जो डुप्लिकेट नहीं हैं।

एक , दो । ऐसा लगता है कि ये एक ही काम के दो चरण हैं।



एक , दो , तीन । नाम पर ध्यान न दें - तीनों चित्र अलग-अलग हैं।

साथ ही प्रमुख बिंदुओं द्वारा झूठी सकारात्मक पहचान का एक उदाहरण है।



एक , दो ।

एक निष्कर्ष के बजाय

सामान्य तौर पर, हम सेवा के परिणाम से संतुष्ट हैं।

परीक्षण सेट पर, 80% से अधिक की पहचान सटीकता प्राप्त की जाती है। व्यवहार में, यह अक्सर पता चलता है कि अगर तस्वीर पहली बार नहीं मिली है, तो यह एक अलग कोण से तस्वीर लेने के लिए पर्याप्त है, और यह स्थित है। गलत छवि मिलने पर त्रुटियाँ, लगभग कभी नहीं होती हैं।

सभी एक साथ, समाधान को एक डॉक कंटेनर में लपेटा गया और ग्राहक को दिया गया। अब तस्वीरों द्वारा चित्रों की पहचान ऑर्थिव सेवा का उपयोग करके अनुप्रयोगों में उपलब्ध है, उदाहरण के लिए, प्ले मार्केट पर उपलब्ध पुश्किन संग्रहालय (हालांकि, यह पृष्ठभूमि से पेंटिंग को अलग कर देता है, जिसके लिए पृष्ठभूमि को हल्का होना आवश्यक है, जो कभी-कभी फोटोग्राफी को कठिन बना देता है)।