लिप लेबल के लिए मशीन लेबलिंग - सिलेंडर विरूपण प्रोग्राम का विस्तारपूर्वक करें

हमारे आवेदन में एक विशेषता है, मेरी माँ की प्रेमिका के बेटे की तरह - एक तस्वीर से शराब की परिभाषा। हुड के तहत - सबसे उपयुक्त लेबल, Google विज़न का निर्धारण करने के लिए तृतीय-पक्ष सेवाओं का उपयोग, Tineye - उस पर पाठ पढ़ने के लिए। सही उत्पाद को स्पष्ट करने के लिए उत्तरार्द्ध आवश्यक है, क्योंकि छवि खोज कुछ क्षेत्रों के महत्व को ध्यान में नहीं रखती है, एक नियम के रूप में - यह शाब्दिक जानकारी है - वर्ष और शराब का प्रकार।

हालांकि, दोनों सेवाओं की सटीकता इस तथ्य के कारण कम है कि लेबल एक बेलनाकार सतह द्वारा विकृत है।

यह Google विज़न के साथ विशेष रूप से ध्यान देने योग्य है - लेबल के मध्य भाग के बाहर कोई भी पाठ व्यावहारिक रूप से अपठनीय है, हालांकि कोई व्यक्ति आसानी से इसे पहचान लेता है। इस लेख में, मैं वर्णन करूंगा कि विकृति को कैसे रिवर्स किया जाए और उत्पाद मान्यता की सटीकता को बढ़ाया जाए।



सबसे पहले, विचार करें कि विरूपण क्या है।



आयताकार लेबल, जब सिलेंडर से चिपके होते हैं, तो एक बैरल की विशेषता आकृति होती है (ऊपर चित्र में बी)। इस मामले में एबीसी वक्र, बल्कि एक अच्छा सन्निकटन में, एक दीर्घवृत्त है, क्योंकि हम एक कोण पर एक वृत्त (सिलेंडर खंड) देखते हैं। लेबल की कई क्षैतिज रेखाएं तस्वीर में कई दीर्घवृत्त में परिवर्तित होती हैं।

सबसे दिलचस्प बात यह है कि लेबल का विस्तार करने के लिए, बस 6 मार्कर (ABCDEF) निर्दिष्ट करें:



और उनका उपयोग करके, एक पूर्ण सतह ग्रिड का निर्माण करें:



एक सतह ग्रिड होने पर, हम प्रत्येक टाइल को अलग से विस्तारित कर सकते हैं, और मूल सतह प्राप्त कर सकते हैं:



लाइब्रेरी कोड जीथब पर उपलब्ध है । इस पद्धति की सुविधा यह है कि व्युत्क्रम परिवर्तन के लिए इनपुट पैरामीटर लेबल (कोण और ऊपरी, निचले बिंदु) की नेत्रहीन परिभाषित विशेषताएं हैं, जो आपको प्रक्रिया को पूरी तरह से स्वचालित करने की अनुमति देती हैं।

अगला भाग मार्करों को परिभाषित करने के बारे में है। कामकाजी कोड केवल आंशिक रूप से गीथूब पर शाखा में उपलब्ध है, जैसे वास्तव में काम कर रहे समाधान को हैक और शमनवाद द्वारा कवर किया जाता है, इसलिए अंतरात्मा बस ऐसे टिन को गीथब पर अपलोड करने की अनुमति नहीं देती है।

स्टेज एक - छवि को काले और सफेद में बदलें।

फिर आपको लेबल के साथ बोतल के समोच्च प्राप्त करने की आवश्यकता है। ऐसा करने के लिए, हम सोबल परिवर्तन का उपयोग करते हैं। संक्षेप में, यह फ़िल्टर पहले छवि को धुंधला करता है, और फिर इसे मूल से घटाता है। नतीजतन, यहां तक ​​कि क्षेत्र अंधेरे रहते हैं, और किनारों (परिवर्तन) हल्के रहते हैं।



अगली बात यह है कि दो सबसे अधिक ध्यान देने योग्य ऊर्ध्वाधर लाइनों की पहचान करें, जो कि अगर आप भाग्यशाली हैं, तो बोतल के किनारे हैं। इस मामले में, यह सच है, लेकिन अगर आप अन्य बोतलों के बगल में एक बोतल की तस्वीर लेते हैं, तो यह अब मामला नहीं है।

इन पंक्तियों को निर्धारित करने के लिए , Hough रूपांतर का उपयोग करें । तकनीक का सार यह है कि हम बहुत सारी लाइनें लेते हैं जो पूरी स्क्रीन पर जाती हैं और पिक्सल के औसत मूल्य पर विचार करती हैं (उदाहरण के लिए, हम उन पंक्तियों को लेते हैं जो तस्वीर के शीर्ष से नीचे तक जाते हैं)। हम इन मूल्यों को नए समन्वय विमान में स्थानांतरित करते हैं और गर्मी के नक्शे जैसा कुछ प्राप्त करते हैं। इस हीट मैप पर, हम दो एक्सट्रैमा की तलाश कर रहे हैं - वे साइड लाइन्स हैं।

नीचे दिए गए आरेख से पता चलता है कि नई समन्वय विमान पर बाईं रेखा एक बिंदु पर कैसे जाती है:



दीर्घवृत्त के साथ, यह थोड़ा और अधिक जटिल है, लेकिन यह जानते हुए कि किसी भी गणितीय रूप से परिभाषित घटता पर Hough परिवर्तन लागू किया जा सकता है, हम इस विधि का फिर से उपयोग करेंगे, लेकिन इस बार हम बहुत से अण्डाकार घटता देखेंगे।

लेकिन पहले आपको समस्या को दो-आयामी रूप में लाने की आवश्यकता है। यह जानते हुए कि बोतल केंद्रीय रूप से सममित है, हम Y निर्देशांक के लिए केंद्रीय अक्ष लेते हैं, और X के लिए पक्षों में से एक है। नए समन्वय विमान पर मूल्यों के लिए, हम केंद्रीय अक्ष और पक्ष के बीच निर्मित दीर्घवृत्त लेते हैं। यह इस तथ्य के कारण संभव है कि पक्ष और केंद्रीय अक्ष पर एक मनमाना बिंदु केवल एक कनेक्शन विधि है। शायद यह पहली नज़र में बहुत स्पष्ट नहीं है, लेकिन यह समझना बहुत आसान है कि क्या हम दीर्घवृत्ताकार के पैरामीट्रिक सूत्र की ओर मुड़ते हैं:

x = a * cos (t)
y = b * sin (t)



ठीक उसी तरह, हम दो मांगे हुए चरम को पाते हैं जो दो लेबल दीर्घवृत्त (घटता AB, FE) को परिभाषित करते हैं। अब जब हमारे पास सभी आवश्यक लेबल पैरामीटर (साइड कर्व्स, साथ ही ऊपरी और निचले एलिप्स) हैं, तो हम एल्गोरिथ्म को लेख के पहले भाग से लागू कर सकते हैं और उलटा रूपांतरण कर सकते हैं।

क्या सुधार किया जा सकता है। सबसे पहले, एल्गोरिथ्म खुद को दीर्घवृत्त के परिप्रेक्ष्य की विकृति को ध्यान में नहीं रखता है, परिणामस्वरूप, लेबल के साइड टुकड़े को थोड़ा अधिक बढ़ाया जाना चाहिए। सुधार करने के लिए, आपको कैमरे के वास्तविक देखने के कोण को जानना होगा, या कम से कम फोन के लिए सबसे विशिष्ट उपयोग करना होगा (आप अनुभवजन्य रूप से चुन सकते हैं)।

दूसरी बात, कठिन परिस्थितियों में अस्थिर परिवर्तन काम करता है - उदाहरण के लिए, जब आसन्न बोतलें फ्रेम में गिरती हैं और ब्याज की बोतल के किनारों का सही पता नहीं चल पाता है।

तीसरा, यदि लेबल आकार में आयताकार नहीं है (उदाहरण के लिए, अण्डाकार), तो मार्करों को गलत तरीके से पता लगाया जाएगा, और परिवर्तन केवल छवि को अधिक दृढ़ता से विकृत करेगा।

व्यवहार में, मार्करों की पहचान करने के लिए तंत्रिका नेटवर्क का उपयोग करना अधिक दिलचस्प है, क्योंकि यह जटिल उदाहरणों का उपयोग करके प्रशिक्षित किया जा सकता है ताकि, कम से कम, एल्गोरिथ्म परिवर्तन नहीं करता है यदि मार्करों को निर्धारित नहीं किया जा सकता है। लेकिन अभी तक मैंने इस कार्य के लिए न्यूरॉन का उपयोग करने की कोशिश नहीं की है, इसलिए शायद यह एक अलग लेख का विषय होगा :)