खुदरा के लिए मशीन दृष्टि। किसी स्टोर में प्राइस टैग कैसे पढ़ें

मशीन दृष्टि इन दिनों एक बहुत ही गर्म विषय है। तंत्रिका नेटवर्क का उपयोग करके स्टोर टैग को पहचानने की समस्या को हल करने के लिए, हमने TensorFlow ढांचे को चुना।

लेख बिल्कुल चर्चा करेगा कि इसका उपयोग कैसे किया जाए और एक ही स्टोर प्राइस टैग पर कई वस्तुओं को स्थानीयकृत और पहचानने के लिए, साथ ही साथ इसकी सामग्री को पहचानने के लिए। IKEA मूल्य टैग को पहचानने का एक समान कार्य ओपनसीवी लाइब्रेरी में उपलब्ध क्लासिक इमेज प्रोसेसिंग टूल का उपयोग करके पहले से ही हैबे पर हल किया गया है ।

अलग-अलग, मैं यह नोट करना चाहूंगा कि समाधान दोनों एसएपी हाना प्लेटफॉर्म पर टेंसोरफ्लो सर्विंग के साथ और एसएपी क्लाउड प्लेटफॉर्म पर काम कर सकता है।

माल की कीमत को पहचानने का कार्य उन खरीदारों के लिए प्रासंगिक है जो एक-दूसरे के साथ कीमतों को "खराब" करना चाहते हैं और खरीद के लिए एक स्टोर चुनते हैं, और खुदरा विक्रेताओं के लिए - वे वास्तविक समय में प्रतियोगियों की कीमतों के बारे में सीखना चाहते हैं।

पर्याप्त गीत - तकनीक पर जाएं!

उपकरण

छवियों का पता लगाने और वर्गीकरण के लिए, हमने TensorFlow लाइब्रेरी में कार्यान्वित किए गए दृढ़ तंत्रिका नेटवर्क का उपयोग किया और ऑब्जेक्ट डिटेक्शन एपीआई के माध्यम से नियंत्रण के लिए उपलब्ध है।
TensorFlow ऑब्जेक्ट डिटेक्शन एपीआई TensorFlow पर आधारित एक ओपन-सोर्स मेटाफ़्रेम है जो ऑब्जेक्ट डिटेक्शन के लिए मॉडल के निर्माण, प्रशिक्षण और तैनाती को सरल करता है।

वांछित वस्तु का पता लगाने के बाद, चरित्र मान्यता के लिए एक पुस्तकालय, टेसरैक्ट का उपयोग करके उस पर पाठ पहचान की गई। 2006 से, Tesseract को खुले स्रोत में उपलब्ध सबसे सटीक OCR पुस्तकालयों में से एक माना जाता है।

यह संभव है कि आप एक प्रश्न पूछें - टीएफ पर सभी प्रसंस्करण क्यों नहीं किया जाता है? इसका उत्तर बहुत सरल है - इसे लागू करने के लिए अधिक समय की आवश्यकता होगी, लेकिन फिर भी इसमें बहुत कुछ नहीं है। प्रसंस्करण गति को त्यागना और एक तैयार प्रोटोटाइप को इकट्ठा करना आसान था, जो एक घर-निर्मित ओसीआर से परेशान था।

एक डेटासेट का निर्माण और तैयारी

शुरुआत करने के लिए, काम के लिए सामग्री एकत्र करना आवश्यक था। हमने 3 स्टोरों का दौरा किया और स्वचालित मोड में मोबाइल फोन कैमरे पर विभिन्न मूल्य टैग की लगभग 400 तस्वीरें लीं

नमूना तस्वीरें:


अंजीर। 1. एक मूल्य टैग छवि का उदाहरण


अंजीर। 2. मूल्य टैग छवि का उदाहरण

उसके बाद आपको मूल्य टैग की सभी तस्वीरों को संसाधित करने और चिह्नित करने की आवश्यकता है। छवियों को इकट्ठा करने की प्रक्रिया में, हमने उच्च-गुणवत्ता वाली छवियां (कलाकृतियों के बिना) इकट्ठा करने की कोशिश की: लगभग उसी प्रारूप के मूल्य टैग, बिना धुंधला, महत्वपूर्ण घुमाव आदि। यह वास्तविक मूल्य टैग और इसकी डिजिटल छवि पर सामग्री की आगे की तुलना को सुविधाजनक बनाने के लिए किया गया था। हालाँकि, यदि हम केवल उच्च-गुणवत्ता वाली छवियों पर तंत्रिका नेटवर्क को प्रशिक्षित करते हैं, तो यह स्वाभाविक रूप से इस तथ्य को जन्म देगा कि विकृत उदाहरणों की पहचान करने में मॉडल का विश्वास काफी गिर जाएगा। ऐसी स्थितियों के लिए प्रतिरोधी होने के लिए तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए, हमने छवियों के विकृत संस्करणों (वृद्धि) के साथ प्रशिक्षण सेट का विस्तार करने के लिए प्रसिद्ध प्रक्रिया का उपयोग किया। प्रशिक्षण के नमूने को पूरक करने के लिए, हमने इमोगुग लाइब्रेरी से एल्गोरिदम लागू किया: पाली, छोटे मोड़, गाऊसी धुंधला, शोर। नमूने में विकृत छवियां जोड़ी गईं, जिसने इसे लगभग 5 गुना (300 से 1,500 छवियों तक) बढ़ाया।

छवि को चिह्नित करने और वस्तुओं का चयन करने के लिए, लेबलआईएमजी कार्यक्रम का उपयोग किया गया था, जो सार्वजनिक डोमेन में उपलब्ध है। यह आपको आयत के साथ छवि में आवश्यक वस्तुओं का चयन करने और प्रत्येक वर्ग को बाउंडिंग बॉक्स में असाइन करने की अनुमति देता है। प्रत्येक फ़ोटो के लिए बनाए गए फ़्रेम के सभी निर्देशांक और लेबल एक अलग XML फ़ाइल में सहेजे जाते हैं।

प्रत्येक तस्वीर पर निम्नलिखित वस्तुएं बाहर खड़ी थीं: उत्पाद मूल्य टैग, उत्पाद मूल्य, उत्पाद नाम और मूल्य टैग पर उत्पाद बारकोड। छवियों के कुछ उदाहरणों में, जहां यह तार्किक रूप से उचित था, क्षेत्रों को अतिव्यापी के साथ चिह्नित किया गया था।


अंजीर। 3. लेबलआईएमजी में चिह्नित मूल्य टैग की एक तस्वीर का एक उदाहरण। उत्पाद विवरण, मूल्य और बारकोड वाले क्षेत्रों पर प्रकाश डाला गया है।


अंजीर। 4. लेबलआईएमजी में अंकित मूल्य टैग की तस्वीर का एक उदाहरण। उत्पाद विवरण, मूल्य और बारकोड वाले क्षेत्रों पर प्रकाश डाला गया है।

सभी फ़ोटो संसाधित और चिह्नित होने के बाद, हम डेटासेट को सभी फ़ोटो और टैग फ़ाइलों को एक प्रशिक्षण और परीक्षण नमूने में अलग करने के साथ तैयार करते हैं। आमतौर पर प्रशिक्षण के नमूने का 80% परीक्षण नमूने के 20% तक ले जाते हैं और यादृच्छिक रूप से मिश्रण करते हैं।

अगला, मशीन पर जहां मॉडल को प्रशिक्षित किया जाएगा, सभी आवश्यक पुस्तकालयों को स्थापित करना आवश्यक है। सबसे पहले, हम TensorFlow मशीन लर्निंग लाइब्रेरी स्थापित करते हैं। आपके सिस्टम के प्रकार पर निर्भर करता है और आपको GPU पर कंप्यूटिंग के लिए एक अतिरिक्त लाइब्रेरी स्थापित करने की आवश्यकता है। अगला, इमेज और ग्राफ़ के साथ काम करने के लिए टेन्सरफ्लो ऑब्जेक्ट डिटेक्शन एपीआई लाइब्रेरी और अतिरिक्त लाइब्रेरी स्थापित करें। नीचे उन पुस्तकालयों की सूची दी गई है जिनका उपयोग हमने अपने काम में किया था:

TensorFlow-GPU v1.5, CUDA v9.0, cuDNN v7.0
प्रोटोबॉफ़ 3+, पायथन-टीके, पिलो 1.0, एलएक्सएलएम, टीएफ स्लिम, जुपिटर नोटबुक, मैटलपोटलिब
टेंसरफ़्लो, साइथन, कोकोपी; OpenCV-अजगर; पांडा

जब सभी इंस्टॉलेशन चरण पूरे हो जाते हैं, तो आप डेटा तैयार करने और सीखने के मापदंडों को सेट करने के लिए आगे बढ़ सकते हैं।

मॉडल प्रशिक्षण

अपनी समस्या को हल करने के लिए, हमने पूर्व-प्रशिक्षित तंत्रिका नेटवर्क MobileNet V2 और Faster-RCNN V2 के दो संस्करणों को कोको प्रॉपर्टीज पर इमेज प्रॉपर्टी एक्सट्रैक्टर्स के रूप में इस्तेमाल किया। मॉडल को 4 नए वर्गों में बदला गया: मूल्य टैग, उत्पाद विवरण, मूल्य, बारकोड। मुख्य एक के रूप में, हमने MobileNet V2 को चुना, जो एक अपेक्षाकृत सरल मॉडल है जो हमें सुखद गति से स्वीकार्य गुणवत्ता प्रदान करने की अनुमति देता है। MobileNet V2 आपको मोबाइल डिवाइस पर भी छवि पहचान को लागू करने की अनुमति देता है।

सबसे पहले, आपको Tensorflow Object Detection API लाइब्रेरी को लेबल की संख्या और साथ ही इन लेबल के नामों को भी बताना होगा।

प्रशिक्षण से पहले करने के लिए आखिरी चीज एक शॉर्टकट नक्शा बनाना और कॉन्फ़िगरेशन फ़ाइल को संपादित करना है। लेबल मैप मॉडल को दर्शाता है और प्रत्येक ऑब्जेक्ट के लिए कक्षा के नाम से लेकर कक्षा पहचानकर्ता नंबर तक मैप करता है।



अंत में, आपको यह निर्धारित करने के लिए कि कौन से मॉडल और कौन से मापदंडों का उपयोग प्रशिक्षण के लिए किया जाएगा, ऑब्जेक्ट डिटेक्शन के लिए सीखने के स्रोतों को कॉन्फ़िगर करने की आवश्यकता है। प्रशिक्षण शुरू करने से पहले यह अंतिम चरण है।



प्रशिक्षण प्रक्रिया कमान द्वारा शुरू की गई है:

python train.py --logtostderr --train_dir=training/ --pipeline_config_path=training/mobilenet.config 

यदि सब कुछ सही तरीके से कॉन्फ़िगर किया गया है, तो TensorFlow तंत्रिका नेटवर्क के पुनः निर्धारण को प्रारंभ करता है। प्रारंभिक प्रशिक्षण शुरू होने से पहले 30 सेकंड तक का समय लग सकता है। चूंकि तंत्रिका नेटवर्क प्रत्येक चरण पर पीछे हट जाता है, एल्गोरिथ्म त्रुटि फ़ंक्शन (हानि) का मूल्य प्रदर्शित किया जाएगा। MobileNet V2 के लिए, हानि फ़ंक्शन का प्रारंभिक मान लगभग 20 है। मॉडल को तब तक प्रशिक्षित किया जाना चाहिए जब तक कि हानि फ़ंक्शन लगभग 2 के मान तक कम न हो जाए। तंत्रिका नेटवर्क की सीखने की प्रक्रिया की कल्पना करने के लिए, आप सुविधाजनक TensorBolet उपयोगिता का उपयोग कर सकते हैं।

 : tensorboard --logdir=training 

आदेश स्थानीय मशीन पर वेब इंटरफेस को इनिशियलाइज़ करता है, जो कि लोकलहोस्ट: 6006 पर उपलब्ध होगा। रोकने के बाद, प्रशिक्षण प्रक्रिया को बाद में उन चौकियों का उपयोग करके फिर से शुरू किया जा सकता है जिन्हें हर 5 मिनट में बचाया जाता है।

मूल्य टैग और उसके तत्वों की पहचान

जब प्रशिक्षण पूरा हो जाता है, तो अंतिम चरण एक तंत्रिका नेटवर्क ग्राफ बनाना है। यह कंसोल कमांड द्वारा किया जाता है, जहां तारांकन के तहत आपको प्रशिक्षण निर्देशिका में मौजूद cpkt-file की सबसे बड़ी संख्या निर्दिष्ट करनी होगी।

 python export_inference_graph.py --input_type image_tensor --pipeline_config_path training/faster_rcnn_inception_v2.config --trained_checkpoint_prefix training/model.ckpt-**** --output_directory inference_graph 

इस प्रक्रिया के बाद, ऑब्जेक्ट डिटेक्शन क्लासिफायर ऑपरेशन के लिए तैयार है। छवि मान्यता की जांच करने के लिए, यह एक स्क्रिप्ट को चलाने के लिए पर्याप्त है जो टेन्सरफ़्लो ऑब्जेक्ट डिटेक्शन लाइब्रेरी के साथ आता है जो उस मॉडल का संकेत देता है जो पहले प्रशिक्षित था और मान्यता के लिए फ़ोटो। एक मानक पायथन लिपि उदाहरण यहाँ दिया गया है ।

हमारे उदाहरण में, एक साधारण लैपटॉप पर ssd mobilenet मॉडल का उपयोग करके एक फोटो को पहचानने में लगभग 1.5 सेकंड लगते हैं।


अंजीर। 5. परीक्षण नमूने में मूल्य टैग के साथ छवियों की मान्यता का परिणाम है


अंजीर। 6. परीक्षण नमूने में मूल्य टैग के साथ छवियों की मान्यता का परिणाम है

जब हम आश्वस्त होते हैं कि मूल्य टैग सामान्य रूप से पाए जाते हैं, तो व्यक्तिगत तत्वों से जानकारी पढ़ने के लिए मॉडल को सिखाना आवश्यक है: माल की कीमत, माल का नाम और एक बार कोड। इसके लिए, तस्वीरों में पात्रों और बारकोड को पहचानने के लिए पायथन में उपलब्ध पुस्तकालय हैं - प्यज़बार और टेसरैक्ट।

इससे पहले कि आप एक तस्वीर में पात्रों और बारकोड को पहचानना शुरू करें, आपको इस फोटो को उन तत्वों में काटना होगा जिनकी हमें आवश्यकता है - गति बढ़ाने के लिए और अनावश्यक जानकारी जो मूल्य टैग में शामिल नहीं है, को पहचानने के लिए। उन वस्तुओं के निर्देशांक को "बाहर निकालना" भी आवश्यक है जिन्हें मॉडल ने अपनी कक्षाओं के साथ पहचाना।



तब हम इन निर्देशांक का उपयोग केवल आवश्यक क्षेत्र को पहचानने के लिए अपनी तस्वीर को भागों में काटने के लिए करते हैं।




अंजीर। 7. मूल्य टैग के हाइलाइट किए गए भागों का एक उदाहरण

अगला, हम सभी कट-आउट क्षेत्रों को पुस्तकालयों में स्थानांतरित करते हैं: उत्पाद का नाम और उत्पाद की कीमत को टेसरैक्ट, और बारकोड से पाइज़बार में स्थानांतरित किया जाता है, और हमें मान्यता परिणाम प्राप्त होता है।



अंजीर। 8. मान्यता प्राप्त सामग्री का एक उदाहरण मूल्य टैग क्षेत्र है।

यदि मूल छवि कम रिज़ॉल्यूशन या धुंधली थी, तो इस बिंदु पर, टेक्स्ट और बारकोड पहचान में समस्या हो सकती है। यदि मूल्य टैग पर बड़ी संख्या के कारण कीमत को सामान्य रूप से पहचाना जा सकता है, तो उत्पाद का नाम और बारकोड खराब परिभाषित या बिल्कुल भी परिभाषित नहीं होगा। ऐसा करने के लिए, मान्यता के लिए छोटी तस्वीरों का उपयोग नहीं करने और शोर और मजबूत विरूपण के बिना छवियों को अपलोड करने की भी सिफारिश की जाती है - उदाहरण के लिए, उचित फोकस की कमी के बिना।

खराब छवि मान्यता उदाहरण:





अंजीर। 9. एक धुंधले मूल्य टैग और मान्यता प्राप्त सामग्री के उजागर भागों का एक उदाहरण

इस उदाहरण में, आप देख सकते हैं कि यदि खराब गुणवत्ता की छवि में माल की कीमत को कम या ज्यादा सही ढंग से पहचाना गया था, तो पुस्तकालय माल के नाम के साथ सामना नहीं कर सकता था। और बारकोड मान्यता के अधीन नहीं है।

अच्छी गुणवत्ता में एक ही पाठ।



अंजीर। 10. उजागर मूल्य टैग भागों और मान्यता प्राप्त सामग्री का उदाहरण

निष्कर्ष

अंत में, हम त्रुटियों का कम प्रतिशत और प्रासंगिक वस्तुओं का पता लगाने के एक उच्च प्रतिशत के साथ स्वीकार्य गुणवत्ता का एक मॉडल प्राप्त करने में कामयाब रहे। फास्टर-आरसीएनएन इंसेप्शन वी 2 में मोबाइलनेट एसएसडी वी 2 की तुलना में बेहतर मान्यता गुणवत्ता है, लेकिन गति में हीनता के क्रम के बारे में है, जो एक महत्वपूर्ण सीमा है।

50 छवियों के विलंबित नमूने पर मूल्य टैग की मान्यता की सटीकता 100% है, अर्थात सभी फ़ोटो में सभी मूल्य टैग सफलतापूर्वक पहचाने गए थे। बारकोड और कीमत वाले क्षेत्रों की मान्यता सटीकता 90% थी। पाठ क्षेत्र की मान्यता सटीकता 85% है। मूल्य पढ़ने की सटीकता लगभग 95% थी, और पाठ - 80-85%। इसके अतिरिक्त, एक प्रयोग के रूप में, हम मूल्य टैग मान्यता का परिणाम प्रस्तुत करते हैं, जो प्रशिक्षण नमूने में मूल्य टैग से पूरी तरह से अलग है।


अंजीर। 11. atypical मूल्य टैग की पहचान का एक उदाहरण जो प्रशिक्षण सेट में नहीं है।

जैसा कि आप देख सकते हैं, मूल्य टैग के साथ भी जो प्रशिक्षण मूल्य टैग से काफी अलग हैं, मॉडल त्रुटियों के बिना नहीं हैं, लेकिन मूल्य टैग पर महत्वपूर्ण वस्तुओं को पहचाना जा सकता है।

और क्या किया जा सकता है?

1) हाल ही में स्वचालित वृद्धि के बारे में एक शांत लेख जारी किया गया है, जिसके दृष्टिकोण का उपयोग किया जा सकता है
2) तैयार प्रशिक्षित मॉडल को काफी हद तक संकुचित किया जाना चाहिए
3) एससीपी और टीएफएस में प्रकाशित सेवाओं के प्रकाशन के उदाहरण

प्रोटोटाइप और इस लेख को तैयार करने में, निम्नलिखित सामग्रियों का उपयोग किया गया था:

1. SAP हाना के साथ उद्यम के लिए मशीन लर्निंग (TensorFlow) लाना
2. एसएपी लियोनार्डो एमएल फाउंडेशन - अपना खुद का मॉडल लाओ (BYOM)
3. TensorFlow ऑब्जेक्ट डिटेक्शन GitHub रिपोजिटरी
4. IKEA चेक मान्यता लेख
5. मोबाइलनेट के लाभों पर अनुच्छेद
6. टेंसोरफ्लो ऑब्जेक्ट डिटेक्शन आर्टिकल

लेख द्वारा तैयार किया गया था:
सर्गेई अब्दुरकीपोव, दिमित्री बुस्लोव, एलेक्सी ख्रीस्तेंको