क्यों और कैसे हम Avito विज्ञापनों में कार लाइसेंस प्लेट छिपाते हैं

नमस्कार। पिछले वर्ष के अंत में, हमने स्वचालित रूप से एविटो घोषणा कार्डों में तस्वीरों पर लाइसेंस प्लेट संख्या छिपाने के लिए शुरू किया। इस बारे में हमने ऐसा क्यों किया, और इस तरह की समस्याओं को हल करने के तरीके क्या हैं, लेख पढ़ें।

कार्य

2018 में Avito पर, 2.5 मिलियन कारें बेची गईं। यह एक दिन में लगभग 7000 है। बिक्री के लिए सभी विज्ञापनों में एक चित्र - एक कार की तस्वीर की आवश्यकता होती है। लेकिन उस पर राज्य संख्या से आप कार के बारे में बहुत सारी अतिरिक्त जानकारी पा सकते हैं। और हमारे कुछ उपयोगकर्ता अपने आप ही लाइसेंस प्लेट को बंद करने का प्रयास करते हैं।

उपयोगकर्ता जिन कारणों से लाइसेंस प्लेट नंबर छिपाना चाहते हैं वे अलग हो सकते हैं। हमारे भाग के लिए, हम उनके डेटा की सुरक्षा में उनकी मदद करना चाहते हैं। और हम उपयोगकर्ताओं के लिए बिक्री और खरीद की प्रक्रियाओं को बेहतर बनाने का प्रयास करते हैं। उदाहरण के लिए, एक अनाम संख्या सेवा लंबे समय से हमारे साथ काम कर रही है: जब आप एक कार बेचते हैं, तो आपके लिए एक अस्थायी सेलुलर नंबर बनाया जाता है। खैर, लाइसेंस प्लेटों पर डेटा की सुरक्षा के लिए, हम तस्वीरों को गुमनाम करते हैं।

समाधान अवलोकन

उपयोगकर्ता फ़ोटो की सुरक्षा की प्रक्रिया को स्वचालित करने के लिए, आप लाइसेंस प्लेट के साथ बहुभुज का पता लगाने के लिए दृढ़ तंत्रिका नेटवर्क का उपयोग कर सकते हैं।
अब, वस्तुओं का पता लगाने के लिए, दो समूहों के आर्किटेक्चर का उपयोग किया जाता है: दो-चरण नेटवर्क, उदाहरण के लिए, फास्टर आरसीएनएन और मास्क आरसीएनएन; एकल-चरण (एकल) - एसएसडी, योलो, रेटिनानेट। किसी वस्तु का पता लगाना आयत के चार निर्देशांकों की व्युत्पत्ति है जिसमें ब्याज की वस्तु को अंकित किया जाता है।



ऊपर वर्णित नेटवर्क चित्रों में विभिन्न वर्गों की बहुत सी वस्तुओं को खोजने में सक्षम हैं, जो लाइसेंस प्लेट खोज समस्या को हल करने के लिए पहले से ही बेमानी है, क्योंकि हमारे पास आमतौर पर तस्वीरों में केवल एक कार होती है (अपवाद हैं जब लोग अपनी बेची गई कार और उसके यादृच्छिक पड़ोसी की तस्वीरें लेते हैं। , लेकिन यह बहुत कम ही होता है, इसलिए इसे उपेक्षित किया जा सकता है)।

इन नेटवर्कों की एक और विशेषता यह है कि डिफ़ॉल्ट रूप से वे समन्वयित अक्षों के समानांतर पक्षों के साथ एक बाउंडिंग बॉक्स का उत्पादन करते हैं। ऐसा इसलिए होता है क्योंकि लंगर बक्से नामक पूर्व-प्रकार के आयताकार फ्रेम के एक सेट का पता लगाने के लिए उपयोग किया जाता है। अधिक सटीक रूप से, पहले एक कन्वेन्शनल नेटवर्क (उदाहरण के लिए, resnet34) का उपयोग करके, विशेषताओं का एक मैट्रिक्स चित्र से प्राप्त किया जाता है। फिर, स्लाइडिंग विंडो का उपयोग करके प्राप्त विशेषताओं के प्रत्येक सबसेट के लिए, एक वर्गीकरण होता है: क्या कश्मीर एंकर बॉक्स के लिए एक ऑब्जेक्ट है या नहीं, और फ्रेम के चार निर्देशांक में एक प्रतिगमन किया जाता है, जो इसकी स्थिति को समायोजित करता है।
इसके बारे में यहाँ और पढ़ें।



उसके बाद, दो और सिर हैं:



ऑब्जेक्ट को वर्गीकृत करने के लिए एक (कुत्ता / बिल्ली / पौधा, आदि),
दूसरा (bbox regressor) - फ्रेम के क्षेत्र के लिए वस्तु के क्षेत्र के अनुपात को बढ़ाने के लिए पिछले चरण में प्राप्त फ्रेम के निर्देशांक के प्रतिगमन के लिए।

घुमाए गए बॉक्सिंग फ्रेम की भविष्यवाणी करने के लिए, आपको बॉक्स रेजिस्टर को बदलने की आवश्यकता है ताकि आपको फ्रेम के रोटेशन का कोण भी मिल सके। अगर ऐसा नहीं किया जाता है, तो यह किसी भी तरह निकल जाएगा।



दो-चरण के फास्टर आर-सीएनएन के अलावा, एक-चरण डिटेक्टर हैं, जैसे रेटिनानेट। यह पिछली वास्तुकला से अलग है कि यह तुरंत वर्ग और फ्रेम की भविष्यवाणी करता है, चित्र के प्रस्तावित चरणों के प्रारंभिक चरण के बिना जिसमें ऑब्जेक्ट हो सकते हैं। घुमाए गए मास्क की भविष्यवाणी करने के लिए, आपको बॉक्स सबनेट का सिर भी बदलना होगा।



घुमाए गए बाउंडिंग बॉक्स की भविष्यवाणी के लिए मौजूदा आर्किटेक्चर का एक उदाहरण DRBOX है। यह नेटवर्क क्षेत्र के प्रस्ताव के प्रारंभिक चरण का उपयोग नहीं करता है, जैसा कि तेज़ RCNN में; इसलिए, यह एक-चरण विधियों का एक संशोधन है। इस नेटवर्क को प्रशिक्षित करने के लिए, K को कुछ कोणों पर बाउंडिंग बॉक्स (rbox) में घुमाया जाता है। नेटवर्क K Rbox में से प्रत्येक के लिए लक्ष्य वस्तु, निर्देशांक, बॉक्स आकार और रोटेशन कोण सम्‍मिलित करने की संभावनाओं की भविष्यवाणी करता है।



आर्किटेक्चर को संशोधित करना और घुमाए गए बाउंडिंग बॉक्स के साथ डेटा पर विचार किए गए नेटवर्क में से एक को फिर से प्रशिक्षित करना एक वास्तविक कार्य है। लेकिन हमारा लक्ष्य अधिक आसानी से प्राप्त किया जा सकता है, क्योंकि हमारे पास नेटवर्क का दायरा बहुत कम है - केवल लाइसेंस प्लेटों को छिपाने के लिए।
इसलिए, हमने संख्या के चार बिंदुओं की भविष्यवाणी के लिए एक सरल नेटवर्क के साथ शुरुआत करने का फैसला किया, और बाद में वास्तुकला को जटिल करना संभव होगा।

डेटा

डेटासेट की असेंबली को दो चरणों में विभाजित किया गया है: कारों की तस्वीरों को इकट्ठा करने और उन पर लाइसेंस प्लेट के साथ क्षेत्र को चिह्नित करने के लिए। पहला कार्य हमारे बुनियादी ढांचे में पहले से ही हल किया गया है: हम ध्यान से उन सभी विज्ञापनों को संग्रहीत करते हैं जो कभी भी एविटो पर रखे गए हैं। दूसरी समस्या को हल करने के लिए, हम टोलोका का उपयोग करते हैं। Toloka.yandex.ru/requester पर हम एक कार्य बनाते हैं:

टास्क में कार की तस्वीर दी गई है। एक चतुर्भुज का उपयोग करके कार की लाइसेंस प्लेट को उजागर करना आवश्यक है। इस मामले में, राज्य संख्या को यथासंभव सटीक रूप से आवंटित किया जाना चाहिए।

टॉलोका का उपयोग करना, आप डेटा को चिह्नित करने के लिए कार्य बना सकते हैं। उदाहरण के लिए, खोज परिणामों की गुणवत्ता का मूल्यांकन करें, विभिन्न वर्गों की वस्तुओं (ग्रंथों और चित्रों) को चिह्नित करें, वीडियो को चिह्नित करें, आदि। आपके द्वारा लिए जाने वाले शुल्क के लिए उन्हें टोलाका उपयोगकर्ताओं द्वारा प्रदर्शन किया जाएगा। उदाहरण के लिए, हमारे मामले में, फोटो में कार के लाइसेंस प्लेट नंबर के साथ tolokers को लैंडफिल को उजागर करना होगा। सामान्य तौर पर, बड़े डेटासेट को चिह्नित करने के लिए यह बहुत सुविधाजनक है, लेकिन उच्च गुणवत्ता प्राप्त करना काफी कठिन है। भीड़ में बहुत सारे बॉट होते हैं, जिनमें से कार्य यादृच्छिक रूप से उत्तर देकर या किसी प्रकार की रणनीति का उपयोग करके आपसे धन प्राप्त करना है। इन बॉट्स का मुकाबला करने के लिए नियमों और जाँचों की एक प्रणाली है। मुख्य जांच नियंत्रण प्रश्नों का मिश्रण है: आप मैन्युअल रूप से तोलोकी इंटरफ़ेस का उपयोग करके कार्यों का हिस्सा चिह्नित करते हैं, और फिर उन्हें मुख्य कार्य में मिलाते हैं। यदि मार्कअप को अक्सर नियंत्रण प्रश्नों पर गलत किया जाता है, तो आप इसे रोकते हैं और मार्कअप को ध्यान में नहीं रखते हैं।

वर्गीकरण कार्य के लिए, यह निर्धारित करना बहुत सरल है कि अंकन गलत है या नहीं, और किसी क्षेत्र को उजागर करने की समस्या के लिए, यह इतना सरल नहीं है। क्लासिक तरीका IoU की गिनती करना है।



यदि यह अनुपात कई कार्यों के लिए एक निश्चित सीमा से कम है, तो ऐसा उपयोगकर्ता अवरुद्ध है। हालांकि, दो मनमाने चतुर्भुजों के लिए, IoU की गणना करना इतना सरल नहीं है, खासकर जब से टोलोक में जावास्क्रिप्ट में इसे लागू करना आवश्यक है। हमने एक छोटी सी हैक की है, और हम मानते हैं कि उपयोगकर्ता को गलत नहीं किया गया था यदि एक छोटे से पड़ोस में स्रोत बहुभुज के प्रत्येक बिंदु के लिए एक मुंशी के साथ चिह्नित बिंदु है। प्रतिक्रिया देने वाले उपयोगकर्ताओं को बहुत तेज़ी से ब्लॉक करने के लिए एक त्वरित प्रतिक्रिया नियम भी है, कैप्चा, बहुमत की राय के साथ विसंगति, आदि। इन नियमों को स्थापित करने से, आप बहुत अच्छे मार्कअप की उम्मीद कर सकते हैं, लेकिन अगर आपको वास्तव में उच्च गुणवत्ता और जटिल मार्कअप की आवश्यकता है, तो आपको विशेष रूप से फ्रीलांसरों-स्क्राइबर्स को किराए पर लेने की आवश्यकता है। नतीजतन, हमारे डेटासेट में 4k चिह्नित चित्र होते हैं, और यह सब तोलोक में $ 28 का खर्च आता है।

आदर्श

अब चलो क्षेत्र के चार बिंदुओं की भविष्यवाणी करने के लिए एक नेटवर्क बनाते हैं। हम resnet18 (resnet34 के लिए 21.8M मापदंडों के 11.7M पैरामीटर) का उपयोग करके संकेत प्राप्त करेंगे, फिर हम चार बिंदुओं (आठ निर्देशांक) के प्रतिगमन के लिए एक सिर बनाते हैं और वर्गीकरण के लिए एक सिर है कि तस्वीर में लाइसेंस प्लेट है या नहीं। दूसरे प्रमुख की जरूरत है, क्योंकि कारों की बिक्री के विज्ञापनों में, कारों के साथ सभी तस्वीरें नहीं हैं। फोटो कार का एक विवरण हो सकता है।



हमारे समान, ज़ाहिर है, यह पता लगाने के लिए आवश्यक नहीं है।

हम एक ही समय में दो गोलों का प्रशिक्षण करते हैं, जिसमें एक बाउंडिंग बॉक्स (0,0,0,0,0,0,0,0,0) लक्ष्य के साथ लाइसेंस प्लेट के बिना एक फोटो को डाटासेट में जोड़कर और क्लासिफायर के लिए एक मूल्य "लाइसेंस प्लेट के साथ / बिना चित्र" - (0) 1)।

फिर आप निम्नलिखित नुकसानों के योग के रूप में दोनों लक्ष्यों के लिए एकल हानि फ़ंक्शन बना सकते हैं। लाइसेंस प्लेट बहुभुज के निर्देशांक के प्रतिगमन के लिए हम एक चिकनी L1 नुकसान का उपयोग करते हैं।



इसे L1 और L2 के संयोजन के रूप में समझा जा सकता है, जो L1 की तरह व्यवहार करता है जब तर्क का निरपेक्ष मान बड़ा होता है और L2 के रूप में जब तर्क का मूल्य शून्य के करीब होता है। वर्गीकरण के लिए, हम सॉफ्टमैक्स और क्रॉसेंट्रोपी हानि का उपयोग करते हैं। फीचर एक्सट्रैक्टर resnet18 है, हम इमेजनेट पर पहले से प्रशिक्षित वेट का उपयोग करते हैं, फिर हम एक्सट्रैक्टर और हेड्स को अपने डेटासेट से प्रशिक्षित करेंगे। इस समस्या में, हमने mxnet फ्रेमवर्क का उपयोग किया, क्योंकि यह Avito में कंप्यूटर दृष्टि के लिए मुख्य है। सामान्य तौर पर, माइक्रोसैस आर्किटेक्चर आपको एक विशिष्ट ढांचे से बंधे नहीं होने की अनुमति देता है, लेकिन जब आपके पास एक बड़ा कोड आधार होता है, तो इसका उपयोग करना बेहतर होता है और उसी कोड को फिर से लिखना नहीं होता है।

हमारे डेटासेट पर स्वीकार्य गुणवत्ता प्राप्त करने के बाद, हमने Avito लोगो के साथ हमें एक लाइसेंस प्लेट प्राप्त करने के लिए डिजाइनरों की ओर रुख किया। पहले तो हमने इसे खुद करने की कोशिश की, बेशक, लेकिन यह बहुत सुंदर नहीं थी। अगला, आपको Avito लाइसेंस प्लेट की चमक को लाइसेंस प्लेट के साथ मूल क्षेत्र की चमक में बदलने की आवश्यकता है और आप छवि पर लोगो को ओवरले कर सकते हैं।

ठेस में लॉन्च

परिणाम, समर्थन और परियोजनाओं के विकास के प्रतिलिपि प्रस्तुत करने योग्यता की समस्या, बैकेंड- और फ्रंटेंड-डेवलपमेंट की दुनिया में कुछ त्रुटि के साथ हल की गई है, अभी भी जहां मशीन सीखने के मॉडल का उपयोग करना आवश्यक है, वहां खुला है। आपको शायद विरासत कोड मॉडल को समझना था। यदि रीडमे के पास लेख या ओपन सोर्स रिपॉजिटरी के लिंक हैं, जिस पर समाधान आधारित था, तो यह अच्छा है। मुकरना शुरू करने की पटकथा त्रुटियों के साथ विफल हो सकती है, उदाहरण के लिए, कॉडन संस्करण बदल गया है, और टेंसोफ़्लो का वह संस्करण अब कॉडन के इस संस्करण के साथ काम नहीं करता है, और न्यूडिन ड्राइवरों के इस संस्करण के साथ कॉडन काम नहीं करता है। शायद प्रशिक्षण के लिए हमने डेटा के अनुसार एक पुनरावृत्ति का उपयोग किया, और उत्पादन में परीक्षण के लिए। यह काफी समय तक जारी रह सकता है। सामान्य तौर पर, प्रतिलिपि प्रस्तुत करने योग्य समस्याएं मौजूद हैं।

हम उन्हें प्रशिक्षण मॉडल के लिए एनवीडिया-डोकर वातावरण का उपयोग करके निकालने की कोशिश करते हैं, इसमें क्यूडा के लिए सभी आवश्यक निर्भरताएं हैं, और हम वहां अजगर के लिए निर्भरता भी स्थापित करते हैं। प्रशिक्षण, प्रयोग चरण और उत्पादन के लिए डेटा, संवर्द्धन, और अनुमान मॉडल के अनुसार एक इट्रेटर के साथ पुस्तकालय का संस्करण आम है। इस प्रकार, नए डेटा पर मॉडल को प्रशिक्षित करने के लिए, आपको सर्वर पर रिपॉजिटरी को पंप करने की आवश्यकता है, शेल स्क्रिप्ट चलाएं जो डॉक पर्यावरण को इकट्ठा करेगा, जिसके अंदर ज्यूपिटर नोटबुक उठेगा। अंदर, आपके पास प्रशिक्षण और परीक्षण के लिए सभी नोटबुक होंगे, जो निश्चित रूप से पर्यावरण के कारण त्रुटि के साथ विफल नहीं होंगे। यह बेहतर है कि बेशक, एक ट्रेनकैम फाइल होना चाहिए, लेकिन अभ्यास से पता चलता है कि आपको हमेशा अपनी आंखों से देखना होगा कि मॉडल क्या देता है और सीखने की प्रक्रिया में कुछ परिवर्तन करता है, इसलिए अंत में आप अभी भी जयुपर चलाएंगे।

मॉडल वेट को git lfs में संग्रहित किया जाता है - यह एक बड़ी फाइल को git में संग्रहीत करने के लिए एक विशेष तकनीक है। इससे पहले, हमने कलाकृतियों का उपयोग किया था, लेकिन git lfs का उपयोग करना अधिक सुविधाजनक है, क्योंकि सेवा के साथ रिपॉजिटरी को डाउनलोड करने पर, आपको तुरंत तराजू का वर्तमान संस्करण प्राप्त होता है, जैसे उत्पादन में। ऑटोटेस्ट्स को मॉडल इंट्रेंस के लिए लिखा जाता है, इसलिए आप ऐसी सेवा को वेट के साथ रोल आउट करने में सक्षम नहीं होंगे जो उन्हें पारित नहीं करती है। यह सेवा स्वयं कर्करनेट क्लस्टर पर माइक्रोसर्विस इन्फ्रास्ट्रक्चर के अंदर डॉक में शुरू की गई है। प्रदर्शन की निगरानी के लिए, हम ग्राफ्टाना का उपयोग करते हैं। रोलिंग के बाद, हम धीरे-धीरे एक नए मॉडल के साथ सेवा उदाहरणों पर लोड बढ़ाते हैं। जब एक नई सुविधा शुरू होती है, तो हम सांख्यिकीय परीक्षणों के आधार पर / b परीक्षण बनाते हैं और फीचर के भविष्य के भाग्य पर निर्णय जारी करते हैं।

परिणामस्वरूप: हमने निजी व्यापारियों के लिए ऑटो श्रेणी में विज्ञापनों पर संख्याओं की चमक को लॉन्च किया, संख्या को छिपाने के लिए एक छवि के प्रसंस्करण समय का 95 वां प्रतिशत 250 एमएस है।