फोटो से टेक्स्ट को कैसे पहचानें: विज़न फ्रेमवर्क की नई विशेषताएं

अब विज़न फ्रेमवर्क वास्तविक के लिए टेक्स्ट को पहचानने में सक्षम है, और पहले की तरह नहीं। हम आगे देखते हैं कि कब हम इसे डोडो आईएस पर लागू कर सकते हैं। इस बीच, बोर्ड गेम मैजिक द गैदरिंग से कार्ड को पहचानने और उनसे पाठ्य सूचना निकालने पर एक लेख का अनुवाद।




विजन फ्रेमवर्क को पहली बार 2017 में WWDC में iOS 11 के साथ आम जनता के लिए पेश किया गया था।

विज़िटर को ऑब्जेक्ट्स, क्षैतिज विमानों, बारकोड, चेहरे के भाव और पाठ को वर्गीकृत करने और पहचानने में मदद करने के लिए बनाया गया था।

हालाँकि, टेक्स्ट रिकग्निशन में एक समस्या थी: विज़न उस जगह को खोज सकता है जहाँ टेक्स्ट है, लेकिन वास्तविक टेक्स्ट रिकग्निशन नहीं था। बेशक, व्यक्तिगत पाठ अंशों के आसपास बाउंडिंग बॉक्स को देखना अच्छा था, लेकिन फिर उन्हें स्वतंत्र रूप से बाहर निकालना और पहचानना पड़ा।

यह समस्या विज़न अपडेट में हल की गई थी, जिसे iOS 13. में शामिल किया गया था। अब विज़न फ्रेमवर्क सही टेक्स्ट पहचान प्रदान करता है।

इसका परीक्षण करने के लिए, मैंने एक बहुत ही सरल एप्लिकेशन बनाया जो बोर्ड गेम मैजिक द गैदरिंग से एक कार्ड को पहचान सकता है और इसमें से टेक्स्ट जानकारी निकाल सकता है:

• कार्ड का नाम;
• रिलीज़ कोड;
• संग्रह संख्या (उर्फ ज़िप कोड)।

यहां एक मानचित्र और चयनित पाठ का एक उदाहरण है जिसे मैं प्राप्त करना चाहूंगा।



कार्ड को देखते हुए, आप सोच सकते हैं: "यह पाठ बल्कि छोटा है, साथ ही कार्ड पर बहुत सारे अन्य पाठ हैं जो हस्तक्षेप कर सकते हैं।" लेकिन विजन के लिए, यह कोई समस्या नहीं है।

पहले हमें एक VNRecognizeTextRequest बनाने की आवश्यकता है। संक्षेप में, यह इस बात का वर्णन है कि हम क्या पहचानने की उम्मीद करते हैं, साथ ही एक मान्यता भाषा सेटिंग और सटीकता का स्तर:

 let request = VNRecognizeTextRequest(completionHandler: self.handleDetectedText) request.recognitionLevel = .accurate request.recognitionLanguages = ["en_GB"] 

पूरा करने वाले ब्लॉक में handleDetectedText(request: VNRequest?, error: Error?) । हम इसे VNRecognizeTextRequest कंस्ट्रक्टर को पास करते हैं और फिर शेष गुण सेट करते हैं।

मान्यता सटीकता के दो स्तर उपलब्ध हैं: .fast । चूंकि हमारे कार्ड में सबसे नीचे एक छोटा पाठ है, इसलिए मैंने उच्च सटीकता को चुना। तेज विकल्प शायद पाठ के बड़े संस्करणों के लिए बेहतर अनुकूल है।

मैंने ब्रिटिश अंग्रेजी को सीमित मान्यता दी है, क्योंकि मेरे सभी कार्ड इसमें हैं। आप कई भाषाओं को निर्दिष्ट कर सकते हैं, लेकिन आपको यह समझने की आवश्यकता है कि स्कैनिंग और मान्यता प्रत्येक अतिरिक्त भाषा के लिए थोड़ी अधिक समय ले सकती है।
उल्लेख के लायक दो और गुण हैं:

• customWords : आप बिल्ट-इन लेक्सिकॉन के शीर्ष पर उपयोग किए जाने वाले स्ट्रिंग की एक सरणी जोड़ सकते हैं। यदि आपके पाठ में कोई असामान्य शब्द हैं तो यह उपयोगी है। मैंने इस परियोजना के लिए विकल्प का उपयोग नहीं किया। लेकिन अगर मैं कमर्शियल मैजिक द गैदरिंग कार्ड रिकग्निशन एप्लीकेशन बनाने वाला होता, तो मैं समस्याओं से बचने के लिए कुछ सबसे जटिल कार्ड्स (उदाहरण के लिए, एफब्ल्थप, द लॉस्ट ) को जोड़ देता ।
• minimumTextHeight : यह एक फ्लोट मूल्य है। यह उस छवि की ऊंचाई के सापेक्ष आकार को इंगित करता है जिस पर पाठ को अब पहचाना नहीं जाना चाहिए। अगर मैंने यह स्कैनर सिर्फ नक्शे का नाम पाने के लिए बनाया है, तो अन्य सभी पाठों को हटाने के लिए उपयोगी होगा जिनकी आवश्यकता नहीं है। लेकिन मुझे पाठ के सबसे छोटे टुकड़ों की आवश्यकता है, इसलिए अभी तक मैंने इस संपत्ति को अनदेखा किया है। जाहिर है, यदि आप छोटे ग्रंथों को नजरअंदाज करते हैं, तो मान्यता की गति अधिक होगी।

अब हमारे पास हमारा अनुरोध है, हमें इसे चित्र के साथ अनुरोधकर्ता के पास भेजना चाहिए:

 let requests = [textDetectionRequest] let imageRequestHandler = VNImageRequestHandler(cgImage: cgImage, orientation: .right, options: [:]) DispatchQueue.global(qos: .userInitiated).async { do { try imageRequestHandler.perform(requests) } catch let error { print("Error: \(error)") } } 

मैं कैमरे से सीधे छवि का उपयोग करता हूं, इसे UIImage से CGImage परिवर्तित करता CGImage । इसका उपयोग VNImageRequestHandler में ओरिएंटेशन फ्लैग के साथ-साथ हैंडलर को यह समझने में मदद करने के लिए किया जाता है कि उसे किस टेक्स्ट को पहचानना चाहिए।

इस डेमो के हिस्से के रूप में, मैं फोन का उपयोग केवल पोर्ट्रेट ओरिएंटेशन में करता हूं। इसलिए स्वाभाविक रूप से, मैं अभिविन्यास .right । अतः हे पद्जी!

यह पता चला है कि आपके डिवाइस पर कैमरे का ओरिएंटेशन डिवाइस के रोटेशन से पूरी तरह से अलग है और हमेशा बाईं ओर माना जाता है (जैसा कि 2009 में डिफ़ॉल्ट था, फोटो लेने के लिए आपको फोन को लैंडस्केप ओरिएंटेशन में रखने की आवश्यकता है)। बेशक, समय बदल गया है, और हम मूल रूप से चित्र प्रारूप में फ़ोटो और वीडियो शूट करते हैं, लेकिन कैमरा अभी भी बाईं ओर संरेखित है।

जैसे ही हमारे हैंडलर को कॉन्फ़िगर किया जाता है, हम प्राथमिकता .userInitiated साथ स्ट्रीम में .userInitiated और हमारे अनुरोधों को पूरा करने का प्रयास करते हैं। आप देख सकते हैं कि यह प्रश्नों की एक सरणी है। ऐसा इसलिए होता है क्योंकि आप एक पास में डेटा के कई टुकड़े निकालने की कोशिश कर सकते हैं (यानी, एक ही छवि से चेहरे और पाठ की पहचान करना)। यदि कोई त्रुटि नहीं है, तो पाठ का पता चलने के बाद हमारे अनुरोध का उपयोग करके बनाई गई कॉलबैक को कॉल किया जाएगा:

 func handleDetectedText(request: VNRequest?, error: Error?) { if let error = error { print("ERROR: \(error)") return } guard let results = request?.results, results.count > 0 else { print("No text found") return } for result in results { if let observation = result as? VNRecognizedTextObservation { for text in observation.topCandidates(1) { print(text.string) print(text.confidence) print(observation.boundingBox) print("\n") } } } } 

हमारा हैंडलर हमारी क्वेरी लौटाता है, जिसमें अब परिणाम संपत्ति है। प्रत्येक परिणाम एक VNRecognizedTextObservation , जिसके लिए हमारे पास एक साथ कई परिणाम विकल्प हैं (बाद में उम्मीदवारों के रूप में VNRecognizedTextObservation )।

आप मान्यता प्राप्त पाठ की प्रत्येक इकाई के लिए 10 उम्मीदवार तक प्राप्त कर सकते हैं, और वे आत्मविश्वास के अवरोही क्रम में क्रमबद्ध हैं। यह उपयोगी हो सकता है यदि आपके पास कुछ शब्दावली है जो पार्सर पहली कोशिश में गलत तरीके से पहचानता है। लेकिन बाद में सही ढंग से निर्धारित करता है, भले ही वह परिणाम की शुद्धता में कम आश्वस्त हो।

इस उदाहरण में, हमें केवल पहले परिणाम की आवश्यकता है, इसलिए हम observation.topCandidates(1) माध्यम से लूप करते हैं। observation.topCandidates(1) और पाठ और आत्मविश्वास दोनों को निकालते हैं। जबकि उम्मीदवार खुद एक अलग पाठ और आत्मविश्वास रखते हैं, .boundingBox एक ही रहता है। .boundingBox निचले बाएँ कोने में उत्पत्ति के साथ एक सामान्यीकृत समन्वय प्रणाली का उपयोग करता है, इसलिए यदि भविष्य में इसका उपयोग UIKit में किया जाना है, तो आपकी सुविधा के लिए इसे परिवर्तित करने की आवश्यकता है।

आप की जरूरत है कि लगभग यदि मैं इसके माध्यम से कार्ड की एक तस्वीर चलाता हूं, तो मुझे iPhone XS मैक्स पर 0.5 सेकंड से भी कम समय में निम्नलिखित परिणाम मिलते हैं:

 Carnage Tyrant 1.0 (0.2654155572255453, 0.6955686092376709, 0.18710780143737793, 0.019915008544921786) Creature 1.0 (0.26317582130432127, 0.423814058303833, 0.09479101498921716, 0.013565015792846635) Dinosaur 1.0 (0.3883238156636556, 0.42648010253906254, 0.10021591186523438, 0.014479541778564364) Carnage Tyrant can't be countered. 1.0 (0.26538230578104655, 0.3742666244506836, 0.4300231456756592, 0.024643898010253906) Trample, hexproof 0.5 (0.2610074838002523, 0.34864263534545903, 0.23053167661031088, 0.022259855270385653) Sun Empire commanders are well versed 1.0 (0.2619712670644124, 0.31746063232421873, 0.45549616813659666, 0.022649812698364302) in advanced martial strategy. Still, the 1.0 (0.2623249689737956, 0.29798884391784664, 0.4314465204874674, 0.021180248260498136) correct maneuver is usually to deploy the 1.0 (0.2620727062225342, 0.2772137641906738, 0.4592740217844645, 0.02083740234375009) giant, implacable death lizard. 1.0 (0.2610833962758382, 0.252408218383789, 0.3502468903859457, 0.023736238479614258) 7/6 0.5 (0.6693102518717448, 0.23347826004028316, 0.04697717030843107, 0.018937730789184593) 179/279 M 1.0 (0.24829587936401368, 0.21893787384033203, 0.08339192072550453, 0.011646795272827193) XLN: EN N YEONG-HAO HAN 0.5 (0.246867307027181, 0.20903720855712893, 0.19095951716105145, 0.012227916717529319) TN & 0 2017 Wizards of the Coast 1.0 (0.5428387324015299, 0.21133480072021482, 0.19361832936604817, 0.011657810211181618) 

यह अविश्वसनीय है! पाठ के प्रत्येक टुकड़े को मान्यता दी गई थी, अपने स्वयं के बाउंडिंग बॉक्स में रखा गया था, और 1.0 की आत्मविश्वास रेटिंग के परिणामस्वरूप वापस आ गया।

यहां तक ​​कि एक बहुत छोटा कॉपीराइट ज्यादातर सही है। यह सब 3.1 एमबी वजन वाले 3024x4032 छवि पर किया गया था। अगर मैंने पहली बार छवि को कम किया तो प्रक्रिया और भी तेज़ होगी। यह भी ध्यान देने योग्य है कि नए ए 12 बायोनिक चिप्स पर यह प्रक्रिया बहुत तेज है, जिसमें एक विशेष तंत्रिका इंजन है।

जब पाठ को मान्यता दी जाती है, तो आखिरी चीज जो मुझे चाहिए उस जानकारी को बाहर खींचती है। मैं यहां सभी कोड नहीं डालूंगा, लेकिन मुख्य तर्क स्थान निर्धारित .boundingBox प्रत्येक .boundingBox पर .boundingBox करना है, ताकि मैं निचले बाएँ कोने में पाठ का चयन कर .boundingBox और ऊपरी बाएँ कोने में, दाईं ओर कुछ भी अनदेखा कर .boundingBox ।

अंतिम परिणाम एक स्कैनिंग कार्ड एप्लिकेशन है और एक सेकंड से भी कम समय में मेरे लिए परिणाम वापस कर रहा है।

PS वास्तव में, मुझे केवल एक रिलीज़ कोड और एक संग्रह संख्या (यह एक सूचकांक) की आवश्यकता है। फिर उन्हें गेम के नियमों और लागत सहित इस नक्शे के बारे में सभी संभावित जानकारी प्राप्त करने के लिए स्क्रिफ़ल सेवा एपीआई में उपयोग किया जा सकता है।



GitHub पर एक नमूना अनुप्रयोग उपलब्ध है ।