स्मार्टफोन का उपयोग करके संकेतों और पैकेजों पर पाठ ढूंढें

छवियों में पाठ की स्वचालित खोज की समस्या लंबे समय से मौजूद है, कम से कम पिछली शताब्दी के नब्बे के दशक की शुरुआत से। उन्हें एबीबीवाई फाइनरीडर के व्यापक वितरण द्वारा पुराने समय के लोगों द्वारा याद किया जा सकता है, जो अपने संपादन योग्य संस्करणों में दस्तावेज़ स्कैन का अनुवाद कर सकते हैं।

पर्सनल कंप्यूटर से जुड़े स्कैनर कंपनियों में बहुत काम करते हैं, लेकिन प्रगति अभी भी नहीं होती है, और मोबाइल उपकरणों ने दुनिया भर में कदम रखा है। पाठ के साथ काम करने के लिए कार्यों की श्रेणी भी बदल गई है। अब आपको पाठ को एक सफेद पृष्ठभूमि पर काले पाठ के साथ पूरी तरह से सीधे A4 शीट पर नहीं, बल्कि विभिन्न व्यवसाय कार्ड, रंगीन मेनू, स्टोर संकेत और बहुत कुछ पर एक व्यक्ति को एक आधुनिक शहर के जंगल में क्या मिल सकता है, इसकी तलाश करने की आवश्यकता है।


हमारे तंत्रिका नेटवर्क के काम का एक वास्तविक उदाहरण। तस्वीर क्लिक करने योग्य है।

बुनियादी आवश्यकताओं और सीमाएँ

पाठ प्रस्तुत करने के लिए इस तरह की विभिन्न स्थितियों के साथ, हस्तलिखित एल्गोरिदम अब सामना नहीं कर सकते हैं। यहाँ, सामान्य करने की क्षमता वाले तंत्रिका नेटवर्क बचाव में आते हैं। इस पोस्ट में, हम एक तंत्रिका नेटवर्क वास्तुकला बनाने के लिए हमारे दृष्टिकोण के बारे में बात करेंगे जो अच्छी गुणवत्ता और उच्च गति के साथ जटिल छवियों पर पाठ का पता लगाता है।

मोबाइल डिवाइस दृष्टिकोण की पसंद पर अतिरिक्त प्रतिबंध लगाते हैं:

1. महंगे रोमिंग ट्रैफ़िक या गोपनीयता समस्या के कारण उपयोगकर्ताओं के पास सर्वर से संचार करने के लिए हमेशा मोबाइल नेटवर्क का उपयोग करने का अवसर नहीं होता है। इसलिए Google लेंस जैसे समाधान यहां मदद नहीं करेंगे।
2. चूंकि हम स्थानीय डेटा प्रसंस्करण पर ध्यान केंद्रित करते हैं, इसलिए यह हमारे समाधान के लिए अच्छा होगा:
   
   • यह छोटी सी याददाश्त ले लिया;
   • इसने स्मार्टफोन की तकनीकी क्षमताओं का उपयोग करते हुए तेजी से काम किया।
3. पाठ को घुमाया जा सकता है और एक यादृच्छिक पृष्ठभूमि पर हो सकता है।
4. शब्द बहुत लंबे हो सकते हैं। दृढ़ तंत्रिका नेटवर्क में, सजा कर्नेल का दायरा आमतौर पर पूरे विस्तारित शब्द को कवर नहीं करता है, इसलिए इस प्रतिबंध के आसपास जाने के लिए कुछ चाल की आवश्यकता होती है।
   
   
   
5. एक तस्वीर पर पाठ का आकार भिन्न हो सकता है:
   
   
   

निर्णय

पाठ खोज समस्या का सबसे सरल समाधान जो दिमाग में आता है वह है ICDAR (दस्तावेज़ विश्लेषण और मान्यता पर अंतर्राष्ट्रीय सम्मेलन) इस कार्य और व्यवसाय में विशेषज्ञता वाली प्रतियोगिताओं से सर्वश्रेष्ठ नेटवर्क लेना! दुर्भाग्य से, ऐसे नेटवर्क अपने थोकपन और कम्प्यूटेशनल जटिलता के कारण गुणवत्ता प्राप्त करते हैं, और केवल क्लाउड समाधान के रूप में उपयुक्त हैं, जो हमारी आवश्यकताओं के पैराग्राफ 1 और 2 को पूरा नहीं करता है। लेकिन क्या होगा अगर हम एक बड़े नेटवर्क को लेते हैं जो उन परिदृश्यों में अच्छी तरह से काम करता है जिन्हें हमें कवर करने और इसे कम करने की कोशिश करने की आवश्यकता है? यह दृष्टिकोण पहले से ही अधिक दिलचस्प है।

बोगुआंग शि एट अल। उनके तंत्रिका नेटवर्क सेगलिंक में [1] ने निम्नलिखित का प्रस्ताव दिया:

1. एक बार में पूरे शब्द (छवि में हरे रंग के क्षेत्र) खोजने के लिए नहीं, बल्कि उनके भागों, जिन्हें खंड कहा जाता है, उनके रोटेशन, झुकाव और बदलाव की भविष्यवाणी के साथ। आइए इस विचार को उधार लें।
2. आवश्यकता को पूरा करने के लिए आपको एक साथ कई पैमानों पर शब्द खंडों की खोज करनी होगी। खंडों को छवि b में हरे आयतों द्वारा दिखाया गया है।
3. इन खंडों को कैसे संयोजित किया जाए, इसका आविष्कार करने से किसी व्यक्ति को बचाने के लिए, हम केवल एक ही शब्द से संबंधित खंडों के बीच तंत्रिका नेटवर्क पूर्वानुमान कनेक्शन (लिंक) बनाते हैं।
   
   एक। समान पैमाने पर (छवि c में लाल रेखाएं)
   
   ख। और तराजू के बीच (छवि में लाल रेखाएं), आवश्यकताओं के खंड 4 की समस्या को हल करना।

नीचे दी गई छवि में नीले वर्ग विभिन्न तराजू के तंत्रिका नेटवर्क के आउटपुट परतों के पिक्सल के दृश्यता क्षेत्रों को दर्शाते हैं, जो शब्द के कम से कम हिस्से को "देखते हैं"।


खंड और लिंक उदाहरण

सेगलिंक अपनी नींव के रूप में प्रसिद्ध वीजीजी -16 वास्तुकला का उपयोग करता है। इसमें सेगमेंट और लिंक की भविष्यवाणी 6 पैमानों पर की गई है। पहले प्रयोग के रूप में, हमने मूल वास्तुकला के कार्यान्वयन के साथ शुरू किया। यह पता चला कि नेटवर्क में 23 मिलियन पैरामीटर (वजन) होते हैं जिन्हें 88 मेगाबाइट की फ़ाइल में संग्रहीत करने की आवश्यकता होती है। यदि आप वीजीजी के आधार पर एक एप्लिकेशन बनाते हैं, तो यह हटाने के लिए पहले उम्मीदवारों में से एक होगा यदि पर्याप्त जगह नहीं है, और पाठ खोज स्वयं बहुत धीमी गति से काम करेगी, इसलिए नेटवर्क को तत्काल वजन कम करने की आवश्यकता है।


SegLink नेटवर्क आर्किटेक्चर

हमारे आहार का रहस्य

आप इसमें केवल परतों और चैनलों की संख्या को बदलकर या स्वयं को और उनके बीच के कनेक्शन को बदलकर नेटवर्क के आकार को कम कर सकते हैं। मार्क सैंडलर और सहयोगियों ने अपने मोबाइलनेट वी 2 नेटवर्क [2] में आर्किटेक्चर को समय पर उठाया, ताकि यह मोबाइल उपकरणों पर जल्दी से काम करे, बहुत कम जगह ले, और फिर भी उसी वीजीजी से काम की गुणवत्ता में पीछे न रहे। स्मृति की खपत को गति देने और कम करने का रहस्य तीन मुख्य चरणों में है:

1. ब्लॉक के प्रवेश द्वार पर फीचर मैप्स वाले चैनलों की संख्या एक सक्रियण फ़ंक्शन के बिना पूरी गहराई (तथाकथित अड़चन) के लिए बिंदु दृढ़ संकल्प से कम हो जाती है।
2. क्लासिक कन्वेंशन को प्रति चैनल वियोज्य कन्वेंशन द्वारा प्रतिस्थापित किया जाता है। इस तरह के दृढ़ संकल्प के लिए कम वजन और कम संगणना की आवश्यकता होती है।
3. अड़चन के बाद कैरेक्टर कार्ड बिना अतिरिक्त हल के लिए अगले ब्लॉक के इनपुट के लिए भेज दिए जाते हैं।

MobileNetV2 बेस यूनिट

परिणामी तंत्रिका नेटवर्क

उपरोक्त दृष्टिकोणों का उपयोग करते हुए, हम निम्नलिखित नेटवर्क संरचना में आए:

• हम SegLink से सेगमेंट और लिंक का उपयोग करते हैं
• एक कम ग्लूटोनस मोबाइलनेट वी 2 के साथ वीजीजी को बदलें
• गति के लिए पाठ खोज पैमानों की संख्या 6 से घटाकर 5 करें

पाठ खोज सारांश नेटवर्क

नेटवर्क आर्किटेक्चर ब्लॉकों में मूल्यों का एन्क्रिप्शन

चैनलों में स्ट्राइड कदम और चैनलों की आधार संख्या क्रमशः s <stride> c <चैनल> के रूप में इंगित की जाती है। उदाहरण के लिए, s2c32 का मतलब है 32 चैनल जिसमें 2 की शिफ्ट है। कनवल्शन लेयर में चैनलों की वास्तविक संख्या उनके आधार संख्या को स्केलिंग फैक्टर α से गुणा करके प्राप्त की जाती है, जो आपको नेटवर्क के विभिन्न "मोटाई" को जल्दी से अनुकरण करने की अनुमति देता है। नीचे α के आधार पर नेटवर्क में मापदंडों की संख्या के साथ एक तालिका है।



ब्लॉक प्रकार:

• Conv2D - एक पूर्ण विकसित अभिसरण ऑपरेशन;
• डी-वार कन्वेंशन - प्रति-चैनल वियोज्य कन्वेंशन;
• ब्लॉक - MobileNetV2 ब्लॉक का एक समूह;
• आउटपुट - आउटपुट परत प्राप्त करने के लिए दृढ़ संकल्प। NxN प्रकार के संख्यात्मक मान पिक्सेल के ग्रहणशील क्षेत्र के आकार को इंगित करते हैं।

एक सक्रियण फ़ंक्शन के रूप में, ब्लॉक ReLU6 का उपयोग करते हैं।



आउटपुट लेयर में 31 चैनल हैं:



आउटपुट लेयर के पहले दो चैनल पिक्सेल के लिए टेक्स्ट और न कि टेक्स्ट से संबंधित हैं। निम्नलिखित पांच चैनलों में सेगमेंट की ज्यामिति को सही ढंग से फिर से बनाने के लिए जानकारी है: पिक्सेल की स्थिति के सापेक्ष ऊर्ध्वाधर और क्षैतिज बदलाव, चौड़ाई और ऊंचाई के लिए कारक (चूंकि खंड आमतौर पर वर्ग नहीं है) और रोटेशन के कोण। इंट्रा-चैनल लिंक के 16 मान इंगित करते हैं कि क्या एक ही पैमाने पर आठ आसन्न पिक्सल के बीच एक संबंध है। पिछले 8 चैनल हमें पिछले पैमाने के चार पिक्सल के लिंक की उपस्थिति के बारे में बताते हैं (पिछला स्केल हमेशा 2 गुना बड़ा होता है)। सॉफ्टमैक्स फ़ंक्शन द्वारा सेगमेंट, इंट्रा- और क्रॉस-स्केल लिंक के हर 2 मूल्यों को सामान्य किया जाता है। पहले पैमाने पर पहुंच में क्रॉस-स्केल लिंक नहीं हैं।

शब्द सभा

नेटवर्क भविष्यवाणी करता है कि क्या एक विशेष खंड और उसके पड़ोसी पाठ से संबंधित हैं। यह उन्हें शब्दों में इकट्ठा करने के लिए रहता है।

शुरू करने के लिए, उन सभी खंडों को मिलाएं जो लिंक द्वारा लिंक किए गए हैं। ऐसा करने के लिए, हम एक ग्राफ की रचना करते हैं जहाँ कोने सभी खंडों पर सभी खंड होते हैं, और किनारे लिंक होते हैं। फिर हम ग्राफ के जुड़े घटकों को खोजते हैं। प्रत्येक घटक के लिए, अब आयत को संलग्न करते हुए शब्द की गणना करना संभव है:

1. हम शब्द calculate के रोटेशन के कोण की गणना करते हैं
   
   • या खंडों के रोटेशन की भविष्यवाणी के कोण के औसत मूल्य के रूप में, यदि उनमें से बहुत सारे हैं,
   • या खंडों के केंद्रों के बिंदुओं पर प्रतिगमन द्वारा प्राप्त लाइन के रोटेशन के कोण के रूप में, अगर कुछ खंड हैं।
2. शब्द के केंद्र को खंडों के केंद्र बिंदुओं के द्रव्यमान के केंद्र के रूप में चुना जाता है।
3. क्षैतिज रूप से व्यवस्थित करने के लिए सभी खंडों का-all तक विस्तार करें। शब्द की सीमाओं का पता लगाएं।
   
   • शब्द की बाएँ और दाएँ सीमाओं को क्रमशः बाएँ और दाएँ खंड की सीमाओं के रूप में चुना जाता है।
   • ऊपरी शब्द सीमा प्राप्त करने के लिए, खंडों को ऊपरी किनारे की ऊंचाई के आधार पर क्रमबद्ध किया जाता है, उच्चतम का 20% काट दिया जाता है, और पहले खंड के मूल्य को फ़िल्टर करने के बाद शेष सूची से चुना जाता है।
   • निचली सीमा सबसे निचले क्षेत्रों से प्राप्त की जाती है, जो ऊपरी सीमा के साथ सादृश्य द्वारा सबसे कम 20% की कटऑफ के साथ होती है।
4. परिणामी आयत को back की ओर मोड़ें।

अंतिम समाधान को फॉस्टेक्स : फास्ट एंड स्मॉल टेक्स्ट एक्सट्रैक्टर [3] कहा जाता है।

प्रयोग का समय!

प्रशिक्षण विवरण

नेटवर्क और इसके मापदंडों को एक बड़े आंतरिक नमूने पर अच्छे काम के लिए चुना गया था, जो फोन पर एप्लिकेशन का उपयोग करने के मुख्य परिदृश्य को दर्शाता है - उन्होंने पाठ के साथ एक वस्तु पर कैमरे का लक्ष्य रखा और एक फोटो लिया। यह पता चला है कि α = 1 के साथ एक बड़ा नेटवर्क गुणवत्ता में केवल 2% α = 0.5 के साथ संस्करण को बायपास करता है। यह नमूना सार्वजनिक डोमेन में नहीं है, इसलिए, स्पष्टता के लिए, मुझे सार्वजनिक नमूना ICDAR2013 पर नेटवर्क को प्रशिक्षित करना था, जिसमें शूटिंग की स्थिति हमारे समान है। नमूना बहुत छोटा है, इसलिए नेटवर्क को पहले जंगली डेटासैट में सिंथेटिक्स से भारी मात्रा में सिंथेटिक डेटा पर प्रशिक्षित किया गया था। जीटीएक्स 1080 टाय पर प्रत्येक प्रयोग के लिए पूर्व-प्रशिक्षण प्रक्रिया में लगभग 20 दिनों की गणना हुई, इसलिए सार्वजनिक डेटा पर नेटवर्क संचालन केवल α = 0.75, 1 और 2 के विकल्प के लिए जांचा गया था।

एक अनुकूलक के रूप में, एडम के AMSGrad संस्करण का उपयोग किया गया था।

त्रुटि कार्य:

• सेगमेंट और लिंक के वर्गीकरण के लिए क्रॉस एन्ट्रॉपी;
• खंड ज्यामिति के लिए ह्यूबर हानि फ़ंक्शन।

परिणाम

लक्ष्य परिदृश्य में नेटवर्क के प्रदर्शन की गुणवत्ता के संदर्भ में, हम कह सकते हैं कि यह गुणवत्ता में प्रतियोगियों से बहुत पीछे नहीं है, और यहां तक ​​कि कुछ से आगे निकल जाता है। MS प्रतियोगियों का एक भारी बहु-विषयक नेटवर्क है।


* ईएएसटी पर लेख में हमें आवश्यक नमूने पर कोई परिणाम नहीं मिला, इसलिए हमने स्वयं प्रयोग किया।

नीचे दी गई छवि ICDAR2013 से छवियों पर FaSTExt कैसे काम करती है, इसका एक उदाहरण दिखाता है। पहली पंक्ति से पता चलता है कि ESPMOTO शब्द के प्रबुद्ध अक्षरों को चिह्नित नहीं किया गया था, लेकिन नेटवर्क उन्हें खोजने में सक्षम था। Α = 0.75 के साथ कम कैपेसिटिव संस्करण छोटे पाठ के साथ अधिक "मोटे" संस्करणों की तुलना में खराब है। नीचे की रेखा फिर से प्रतिबिंब में खोए हुए पाठ के साथ नमूने में मार्कअप दोष दिखाती है। FaSTExt एक ही समय में इस तरह के पाठ को देखता है।



तो, नेटवर्क अपने कार्य करता है। यह जांचना शेष है कि क्या यह वास्तव में फोन पर इस्तेमाल किया जा सकता है? सीपीयू का उपयोग करके Huawei P20 पर और iPhone SE और iPhone XS पर GPU का उपयोग करके 512x512 रंगीन चित्रों पर मॉडल लॉन्च किए गए थे, क्योंकि हमारे मशीन लर्निंग सिस्टम अभी भी केवल iOS पर GPU का उपयोग करने की अनुमति देता है। औसत 100 से प्राप्त मान शुरू होता है। Android पर, हम अपने कार्य के लिए स्वीकार्य 5 फ्रेम प्रति सेकंड की गति प्राप्त करने में सफल रहे। आईफोन एक्सएस ने नेटवर्क को जटिल करते हुए गणना के लिए आवश्यक औसत समय में कमी के साथ एक दिलचस्प प्रभाव दिखाया। एक आधुनिक iPhone न्यूनतम विलंब के साथ पाठ का पता लगाता है, जिसे एक जीत कहा जा सकता है।

संदर्भ

[१] बी। शि।, एक्स। बाई और एस। बेलोंगी, "सेक्टिंग सेक्शन द्वारा प्राकृतिक छवियों में ओरिएंटेड टेक्स्ट का पता लगाना," हवाई, २०१, लिंक

[२] एम। सैंडलर, ए। हॉवर्ड, एम। झू, ए। ज़मोगिनोव और एल। सी। चेन, "मोबाइलनेट वी 2: उल्टे अवशिष्ट और रैखिक अड़चनें," साल्ट लेक सिटी, 2018. लिंक

[३] ए। फिलोनेंको, के। गुडकोव, ए। लेबेडेव, एन। ओरलोव और आई। ज़गायनोव, "फॉस्टेक्स: फास्ट एंड स्मॉल टेक्स्ट एक्सट्रैक्टर," कैमरा-आधारित दस्तावेज़ विश्लेषण और मान्यता, सिडनी, २०१ ९ पर Workshop वीं अंतर्राष्ट्रीय कार्यशाला में । लिंक

[४] जेड। झांग, सी। झांग, डब्ल्यू। शेन, सी। याओ, डब्ल्यू। लियू और एक्स। बाई, "पूरी तरह से नेटवर्क के साथ बहु-उन्मुख पाठ पहचान," लास वेगास, २०१६ लिंक।

[५] एक्स। झोउ, सी। याओ, एच। वेन, वाई। वांग, एस। झोउ, डब्लू। वह और जे। लियांग, "पूर्व: एक कुशल और सटीक दृश्य पाठ डिटेक्टर," कंप्यूटर पर 2017 IEEE सम्मेलन में। विजन एंड पैटर्न, होनोलुलु, 2017. लिंक

[६] एम। लियाओ, जेड। झू, बी। शि।, जी। ज़िया और एक्स। बाई, "ओरिएंटेड सीन टेक्स्ट डिटेक्शन के लिए रोटेशन-सेंसिटिव रिग्रेशन," 2018 IEEE / CVF सम्मेलन में कंप्यूटर विजन और पैटर्न, साल्ट लेक सिटी, 2018. लिंक

[[] एक्स। लियू, डी। लिआंग, एस। यान, डी। चेन, वाई। किआओ और जे। यान, "फॉट्स: कंप्यूटर नेटवर्क पर २०१ IE IEEE / CVF सम्मेलन में एक एकीकृत नेटवर्क के साथ फास्ट ओरिएंटेड टेक्स्ट स्पॉटिंग," पैटर्न, साल्ट लेक सिटी, 2018. लिंक

कंप्यूटर दृष्टि समूह