🎤 👨🏼‍🌾 🕝 संख्या की मान्यता। प्रैक्टिकल गाइड। भाग 1 👩🏿‍🔧 ❓ 🏛️

यह सब कॉर्नी शुरू हुआ - एक साल के लिए अब मेरी कंपनी एक सेवा के लिए मासिक शुल्क का भुगतान कर रही है जो यह जानती थी कि फोटो में लाइसेंस प्लेट के साथ एक क्षेत्र कैसे खोजना है। इस फ़ंक्शन का उपयोग कुछ क्लाइंट के लिए स्वचालित रूप से स्केच नंबर के लिए किया जाता है।

और एक ठीक दिन, यूक्रेन के आंतरिक मामलों के मंत्रालय ने वाहनों के रजिस्टर तक पहुंच खोली। अब, लाइसेंस प्लेट का उपयोग करके, कार (मेक, मॉडल, निर्माण का वर्ष, रंग, आदि) के बारे में कुछ जानकारी की जाँच करना संभव हो गया है! रैखिक प्रोग्रामिंग की उबाऊ दिनचर्या एक नए कार्य से पहले फीकी पड़ गई है - पूरे फोटो बेस पर संख्याओं को पढ़ने के लिए और इस डेटा को उन लोगों के साथ मान्य करें जो उपयोगकर्ता निर्दिष्ट करते हैं। आप खुद जानते हैं कि ऐसा कैसे होता है "आँखें जलती हैं" - कॉल स्वीकार कर लिया गया था, अन्य सभी कार्य थोड़ी देर के लिए उबाऊ और नीरस हो गए थे ... हमने काम करने के लिए निर्धारित किया और अच्छे परिणाम मिले, जो वास्तव में, हमने समुदाय के साथ साझा करने का फैसला किया।

संदर्भ के लिए: साइट AUTO.RIA.com पर, प्रति दिन लगभग 100,000 तस्वीरें जोड़ी जाती हैं।

डेटासॉंटर्स लंबे समय से जानते हैं और इस तरह की समस्याओं को हल करने में सक्षम हैं, इसलिए डिमाबेन्डेरा और मैंने यह लेख विशेष रूप से प्रोग्रामर के लिए लिखा है। यदि आप "दृढ़ नेटवर्क" वाक्यांश से डरते नहीं हैं और अजगर में "हैलो वर्ल्ड" लिखना जानते हैं - तो बिल्ली के नीचे आपका स्वागत है ...

और कौन पहचानता है

एक साल पहले मैंने इस बाजार का अध्ययन किया और यह पता चला कि कई सेवाएं और सॉफ्टवेयर एक्सयूएसआरआर देश संख्याओं के साथ काम नहीं कर सकते हैं। नीचे उन कंपनियों की सूची दी गई है जिनके साथ हमने काम किया:

स्वचालित लाइसेंस प्लेट मान्यता
एक खुला स्रोत और वाणिज्यिक संस्करण है। Opensource संस्करण ने बहुत कम मान्यता दर दिखाई, इसके अलावा, इसके विधानसभा और संचालन के लिए विशिष्ट निर्भरता की आवश्यकता थी (हम विशेष रूप से पसंद नहीं करते थे)। वाणिज्यिक संस्करण, या बल्कि, वाणिज्यिक सेवा अच्छी तरह से काम करती है। रूसी और यूक्रेनी संख्याओं के साथ काम करने में सक्षम। कीमतें मध्यम हैं - प्रति माह 49 $ / 50K मान्यताएं। OpenALPR का ऑनलाइन डेमो
Recognitor
हम लगभग एक साल से इस सेवा का उपयोग कर रहे हैं। गुणवत्ता अच्छी है। वह क्षेत्र को संख्या के साथ अच्छी तरह से पाता है। सेवा को यूक्रेनी और यूरोपीय नंबरों के साथ काम करना नहीं पता है। यह कम-गुणवत्ता वाली छवियों (बर्फ में, कम रिज़ॉल्यूशन फोटो, ...) के साथ अच्छे काम को ध्यान देने योग्य है। सेवा की कीमत भी स्वीकार्य है, लेकिन वे छोटी मात्रा में लेने के लिए अनिच्छुक हैं।

बंद सॉफ्टवेयर के साथ कई वाणिज्यिक प्रणालियां हैं, लेकिन हमें एक अच्छा ओपनसोर्स कार्यान्वयन नहीं मिला। वास्तव में, यह बहुत ही अजीब है, क्योंकि खुले स्रोत के उपकरण जो इस समस्या का समाधान करते हैं, लंबे समय से मौजूद हैं।

संख्याओं को पहचानने के लिए किन साधनों की आवश्यकता होती है

एक छवि में या वीडियो स्ट्रीम में ऑब्जेक्ट ढूंढना कंप्यूटर विज़न के क्षेत्र से एक कार्य है, जिसे विभिन्न दृष्टिकोणों द्वारा हल किया जाता है, लेकिन अक्सर तथाकथित दृढ़ नेटवर्क नेटवर्क की मदद से। हमें उस तस्वीर में न केवल उस क्षेत्र को खोजने की आवश्यकता है जिसमें वांछित वस्तु मिली है, बल्कि इसके सभी बिंदुओं को अन्य वस्तुओं या पृष्ठभूमि से अलग करने के लिए भी है। इस तरह के कार्य को "इंस्टेंस सेगमेंटेशन" कहा जाता है। नीचे दिया गया चित्रण विभिन्न प्रकार के कंप्यूटर विज़न कार्यों की कल्पना करता है।

कंप्यूटर दृष्टि कार्य वर्गीकरण

मैं बहुत सारे सिद्धांत नहीं लिखूंगा कि कैसे कनवल्शन नेटवर्क काम करता है, यह जानकारी नेटवर्क पर पर्याप्त है और यूट्यूब पर रिपोर्ट करता है।

विभाजन कार्यों के लिए आधुनिक सरणियों के आधुनिक आर्किटेक्चर से, वे अक्सर उपयोग करते हैं: यू-नेट या मास्क आर-सीएनएन । हमने मास्क आर-सीएनएन को चुना।
दूसरा उपकरण जो हमें चाहिए वह एक टेक्स्ट रिकॉग्निशन लाइब्रेरी है जो विभिन्न भाषाओं के साथ काम कर सकती है और जिसे हम पहचानने वाले ग्रंथों की बारीकियों के साथ आसानी से अनुकूलित कर सकते हैं। यहाँ चुनाव इतना बढ़िया नहीं है, सबसे उन्नत Google से tesseract है।

कम संख्या में "वैश्विक" टूल भी हैं जिनके साथ हमें लाइसेंस प्लेट के साथ क्षेत्र को सामान्य करने की आवश्यकता होगी (इसे इस तरह से लाएं कि पाठ पहचान संभव हो जाएगी)। आमतौर पर opencv का उपयोग ऐसे रूपांतरणों के लिए किया जाता है।

इसके अलावा, देश को निर्धारित करने का प्रयास करना संभव होगा और लाइसेंस प्लेट नंबर किस प्रकार का है, ताकि बाद के प्रसंस्करण में हम इस देश और इस प्रकार की संख्या के लिए विशिष्ट शोधन खाका लागू करें। उदाहरण के लिए, 2015 में शुरू होने वाली यूक्रेनी लाइसेंस प्लेट को नीले और पीले रंग में सजाया गया है, जिसमें “दो अक्षर चार नंबर दो अक्षर” का खाका शामिल है।

इसके अलावा, अक्षरों या संख्याओं के एक विशेष संयोजन के लाइसेंस प्लेटों में "बैठक" की आवृत्ति पर आंकड़े होने से, आप "विवादास्पद" स्थितियों में बाद के प्रसंस्करण की गुणवत्ता में सुधार कर सकते हैं। "

Nomeroff net

लेख के शीर्षक से यह स्पष्ट है कि हम सभी ने इस परियोजना का नाम Nomeroff Net रखा और लागू किया। अब इस परियोजना के लिए कोड का एक हिस्सा पहले से ही AUTO.RIA.com पर उत्पादन में काम कर रहा है। बेशक, यह अभी भी वाणिज्यिक एनालॉग्स से बहुत दूर है, सब कुछ केवल यूक्रेनी संख्याओं के लिए अच्छी तरह से काम करता है। इसके अलावा, एक स्वीकार्य गति केवल GPU मॉड्यूल टेंसरफ्लो के समर्थन से प्राप्त की जाती है! एक GPU के बिना, आप भी कोशिश कर सकते हैं, लेकिन रास्पबेरी पाई :) पर नहीं।

हमारे प्रोजेक्ट के लिए सभी सामग्री: चिह्नित डेटासेट और प्रशिक्षित मॉडल , हमने क्रिएटिव लाइसेंस कॉम के तहत RIA.com की अनुमति से सार्वजनिक रूप से 4.0 लाइसेंस द्वारा पोस्ट किया है

हमें क्या चाहिए?

python3
opencv-python संस्करण 3.4 या बाद का संस्करण
फ्रेश मास्क RCNN , टेसरैक्ट
pip3 पैकेज प्रबंधक के माध्यम से आपको python3 पर कई मॉड्यूल स्थापित करने की आवश्यकता होगी, उन्हें एक अलग आवश्यकताओं में सूचीबद्ध किया जाएगा।

दिमित्री और मैं फेडोरा 28 पर चल रहे हैं, मुझे यकीन है कि यह सभी किसी भी अन्य लिनक्स वितरण पर स्थापित किया जा सकता है। मैं इस पोस्ट को टेंसरफ़्लो को स्थापित करने और कॉन्फ़िगर करने के निर्देशों में बदलना नहीं चाहूंगा, अगर आप कोशिश करना चाहते हैं और कुछ काम नहीं करता है - टिप्पणियों में पूछें, मैं जवाब दूंगा और आपको बताऊंगा।

स्थापना में तेजी लाने के लिए हम एक डॉकटराइल बनाने की योजना बनाते हैं - परियोजना के अगले अपडेट में उम्मीद करते हैं।

Nomeroff नेट "हैलो दुनिया"

आइए कुछ पहचानने की कोशिश करें। हम जीथब से कोड के साथ एक रिपॉजिटरी को क्लोन कर रहे हैं। हम मॉडल फ़ोल्डर को डाउनलोड करते हैं, संख्याओं की खोज और वर्गीकरण के लिए प्रशिक्षित मॉडल , हम अपने लिए फ़ोल्डर्स के स्थान के साथ चर को थोड़ा समायोजित करेंगे।

UPD: इस कोड को पदावनत किया गया है, यह केवल 0.1.0 शाखा में काम करेगा, यहाँ नवीनतम उदाहरण देखें :
सब कुछ पहचाना जा सकता है:

import os import sys import json import matplotlib.image as mpimg # change this property NOMEROFF_NET_DIR = "/var/www/nomeroff-net/" MASK_RCNN_DIR = "/var/www/Mask_RCNN/" MASK_RCNN_LOG_DIR = os.path.join(NOMEROFF_NET_DIR, "logs/") MASK_RCNN_MODEL_PATH = os.path.join(NOMEROFF_NET_DIR, "models/mask_rcnn_numberplate_0700.h5") REGION_MODEL_PATH = os.path.join(NOMEROFF_NET_DIR, "models/imagenet_vgg16_np_region_2019_1_18.h5") sys.path.append(NOMEROFF_NET_DIR) # Import license plate recognition tools. from NomeroffNet import filters, RectDetector, TextDetector, RegionDetector, Detector, textPostprocessing # Initialize npdetector with default configuration file. nnet = Detector(MASK_RCNN_DIR, MASK_RCNN_LOG_DIR) # Load weights in keras format. nnet.loadModel(MASK_RCNN_MODEL_PATH) # Initialize rect detector with default configuration file. rectDetector = RectDetector() # Initialize text detector. textDetector = TextDetector() # Initialize numberplate region detector. regionDetector = RegionDetector() regionDetector.load(REGION_MODEL_PATH) img_path = './examples/images/example1.jpeg' img = mpimg.imread(img_path) NP = nnet.detect([img]) # Generate image mask. cv_img_masks = filters.cv_img_mask(NP) for img_mask in cv_img_masks: # Detect points. points = rectDetector.detect(img_mask, fixRectangleAngle=1, outboundWidthOffset=3) # Split on zones zone = rectDetector.get_cv_zones(img, points) # find standart regionId = regionDetector.predict(zone) regionName = regionDetector.getLabels(regionId) # find text with postprocessing by numberplate region detector text = textDetector.detect(zone) text = textPostprocessing(text, regionName) print('Detected numberplate: "%s" in region [%s]'%(text,regionName)) # Detected numberplate: "AC4921CB" in region [eu-ua-2015]

ऑनलाइन डेमो

वे उन लोगों के लिए एक सरल डेमो स्केच करते थे जो यह सब स्थापित और चलाना नहीं चाहते हैं :)। स्क्रिप्ट की गति के साथ उदार और धैर्य रखें।

यदि आपको यूक्रेनी नंबरों के उदाहरणों की आवश्यकता है (सुधार एल्गोरिदम के संचालन की जांच के लिए), तो इस फ़ोल्डर से एक उदाहरण लें ।

आगे क्या है

मैं समझता हूं कि विषय बहुत ही आला है और प्रोग्रामर की एक विस्तृत श्रृंखला के बीच बहुत रुचि पैदा करने की संभावना नहीं है, इसके अलावा, कोड और मॉडल अभी भी मान्यता गुणवत्ता, गति, स्मृति की खपत, आदि के मामले में काफी "कच्चे" हैं, लेकिन अभी भी उम्मीद है कि उत्साही होंगे जो अपनी आवश्यकताओं, अपने देश के लिए प्रशिक्षण मॉडल में रुचि रखते हैं, जो आपकी मदद करेंगे और आपको बताएंगे कि समस्याएं कहां हैं और हमारे साथ मिलकर परियोजना को वाणिज्यिक समकक्षों से भी बदतर नहीं बनाएगी।

ज्ञात मुद्दे

परियोजना का कोई दस्तावेज नहीं है, केवल मूल कोड उदाहरण हैं।
मान्यता मॉड्यूल के रूप में, सार्वभौमिक ओसीआर टेसेरेक्ट चुना जाता है और यह बहुत कुछ पढ़ सकता है, लेकिन यह बहुत सारी गलतियां करता है। यूक्रेनी संख्या की मान्यता के मामले में, एक विशेष सुधार प्रणाली वहां लिखी गई है, जो अब तक कुछ त्रुटियों की भरपाई करती है, लेकिन एक कूबड़ है कि यहां बहुत कुछ किया जा सकता है।
"स्क्वायर" नंबर (1: 2 के अनुपात वाली लाइसेंस प्लेट) काफी दुर्लभ हैं और हमने अभी इनसे निपटना शुरू कर दिया है, इसलिए इनके साथ अधिक त्रुटि होगी।
कभी-कभी, लाइसेंस प्लेट के बजाय, हमारे मॉडल को गाँव के नाम के साथ सड़क के संकेत मिलते हैं, केबिन के अंदर एक डैशबोर्ड, और अन्य कलाकृतियाँ।
संख्या की खराब गुणवत्ता या कम रिज़ॉल्यूशन के साथ, 4 अंक का क्षेत्र पूरी तरह से निर्धारित नहीं होता है

घोषणा

यदि यह किसी के लिए दिलचस्प होगा, तो दूसरे भाग में हम बात करने जा रहे हैं कि अपने डेटासेट को कैसे और कैसे चिह्नित करें और अपने मॉडल को कैसे प्रशिक्षित करें जो आपकी सामग्री (आपके देश, आपके फोटो आकार) के लिए बेहतर काम कर सके। हम इस बारे में भी बात करेंगे कि अपना क्लासिफायर कैसे बनाया जाए, जो उदाहरण के लिए, यह निर्धारित करने में मदद करेगा कि संख्या तस्वीर पर स्केच की गई है या नहीं।

संख्या की मान्यता। प्रैक्टिकल गाइड। भाग 1

और कौन पहचानता है

स्वचालित लाइसेंस प्लेट मान्यता

Recognitor