मोबाइल एप्लिकेशन से एज़्योर कस्टम विज़न का उपयोग करके इको-लेबल की मान्यता

इस लेख में मैं एक मोबाइल एप्लिकेशन से इको-लेबल तस्वीरों को पहचानने के लिए कस्टम विजन सेवा का उपयोग करने के बारे में बात करना चाहता हूं।

CustomVision Azure के क्लाउड-आधारित संज्ञानात्मक सेवाओं का हिस्सा है।
किन तकनीकों का अध्ययन किया जाना था, किस तरह से CustomVision के साथ काम करना है, यह क्या है और यह क्या हासिल करने की अनुमति देता है - आगे।

इको-लेबल को पहचानने का कार्य तीन साल पहले दिखाई दिया था, जब मैं और मेरी पत्नी एक मोबाइल एप्लिकेशन पर चर्चा करने लगे थे कि उनका संगठन (पारिस्थितिकी के क्षेत्र में एक एनजीओ) इको-लेबल के बारे में जानकारी का प्रसार करना चाहता था।

इको-लेबलिंग क्या है?

इको-लेबलिंग प्रमाणन संगठनों द्वारा जारी एक प्रमाण पत्र और संबंधित लोगो है जो उत्पाद-सेवा के जीवन चक्र से संबंधित कुछ मानदंडों के अनुपालन के लिए निर्माता-आपूर्तिकर्ता के उत्पादों या सेवाओं की जांच करता है और इसकी पर्यावरण मित्रता पर ध्यान केंद्रित करता है। प्रमाणन के बाद, निर्माता अपने उत्पादों पर इको-लेबल लगा सकते हैं।

इसके अलावा, आकार और प्रसंस्करण और अन्य समान संकेतों को सरल बनाने के लिए ईको-लेबलिंग को इसकी संरचना द्वारा प्लास्टिक अंकन के लिए जिम्मेदार ठहराया जा सकता है।

उदाहरण के लिए, यहाँ एक संकेत है:

मान्यता प्रौद्योगिकी चयन प्रक्रिया

एप्लिकेशन की दो मुख्य विशेषताएं इको-फ्रेंडली उत्पादों के साथ स्टोर की खोज और इको-लेबल की मान्यता होनी चाहिए। यदि तकनीकी रूप से दुकानों के लिए खोज के साथ सब कुछ अपेक्षाकृत सरल है, तो मान्यता के साथ यह बहुत सरल नहीं है। शब्द फैशनेबल है, लेकिन इसे कैसे बनाया जाए यह स्पष्ट नहीं था। और मैंने मुद्दे का अध्ययन करना शुरू कर दिया।

मार्किंग लोगो मानकीकृत हैं और मान्यता के लिए आदर्श वस्तु हैं - उन्होंने सामान के पैकेज पर छवि पर फोन को इंगित किया, एक तस्वीर ली और आवेदन यह बताता है कि किस तरह का संकेत इसका मतलब है और क्या इस पर भरोसा किया जाना चाहिए।

मैंने यह सोचना शुरू कर दिया कि कैसे पहचान बनाने और विभिन्न विकल्पों का विश्लेषण करने के लिए - मैंने OpenCV को इसके मान्यता एल्गोरिदम (Haar cascades, SWIFT, टेम्पलेट मिलान, आदि) के साथ आज़माया, लेकिन मान्यता की गुणवत्ता बहुत अच्छी नहीं थी - 70% से अधिक नहीं, जिसमें कई दसियों छवियों का प्रशिक्षण सेट था। ।

हो सकता है कि कहीं न कहीं मैंने कुछ गलत समझा और कुछ गलत किया, लेकिन हमने एक अन्य मित्र से भी इस विषय की जांच करने के लिए कहा और उन्होंने यह भी कहा कि इस तरह के डेटासेट पर हरार कैस्केड का 70% अधिकतम है।

इसके समानांतर, विभिन्न तंत्रिका नेटवर्क फ्रेमवर्क और इस तरह की समस्याओं को हल करने के लिए तंत्रिका नेटवर्क के सफल उपयोग के बारे में सामग्री अधिक से अधिक बार दिखाई देने लगी। लेकिन हर जगह, डेटासेट्स के कुछ भयानक आकार (प्रत्येक वर्ग के लिए सैकड़ों या हजारों छवियां) चमकती हैं, जो मेरे लिए अपरिचित हैं, पायथन, टेन्सरफ्लो, मेरे बैकएंड की आवश्यकता - यह सब थोड़ा डरावना था।

.NET डेवलपर के रूप में, मैंने Accord.NET को देखा, लेकिन जल्दी से ऐसा कुछ नहीं मिला जो तुरंत फिट हो।

इस समय, हम एप्लिकेशन को अंतिम रूप देने और इसे ठेस में लॉन्च करने में व्यस्त थे, और मैंने मान्यता के साथ कार्यवाही स्थगित कर दी।

लगभग एक साल पहले, मुझे Microsoft के शुरुआती पूर्वावलोकन कस्टम विज़न, क्लाउड इमेज वर्गीकरण सेवा का वर्णन करने वाला एक लेख मिला। मैंने इसे 3 वर्णों पर परीक्षण किया और मुझे यह पसंद आया - एक समझ में आने वाला पोर्टल जहां आप तकनीकी ज्ञान के बिना क्लासिफायर को प्रशिक्षित और परीक्षण कर सकते हैं, 10-20 सेकंड में 100 छवियों का एक सेट प्रशिक्षण, प्रत्येक चरित्र की 30 छवियों पर भी वर्गीकरण की गुणवत्ता 90% से ऊपर है - क्या जरूरत है।

मैंने अपनी पत्नी के साथ खोज को साझा किया और हमने एप्लिकेशन का एक कम कार्यात्मक अंतर्राष्ट्रीय संस्करण बनाना शुरू किया, जिसमें माल और स्टोर के बारे में जानकारी नहीं है, लेकिन इको-लेबल को पहचानने में सक्षम है।

चलिए एक मान्यता प्राप्त एप्लिकेशन के तकनीकी विवरण पर चलते हैं।

कस्टम दृष्टि

सीवी एज़्योर में संज्ञानात्मक सेवाओं का हिस्सा है। अब इसे आधिकारिक तौर पर जारी किया जा सकता है, और यह एक एज़्योर सदस्यता के साथ भुगतान करेगा, हालांकि यह अभी भी पूर्वावलोकन में सूचीबद्ध है।

तदनुसार, किसी अन्य Azure उत्पाद की तरह, CognitiveServices Azure पोर्टल पर प्रदर्शित और प्रबंधित किए जाते हैं।

CV दो REST एपीआई, एक प्रशिक्षण के लिए और एक भविष्यवाणी के लिए प्रदान करता है। अधिक विस्तार से मैं भविष्यवाणी के साथ बातचीत का वर्णन करूंगा

एज़्योर पोर्टल और एपीआई के अलावा, CV के उपयोगकर्ताओं के पास customvision.ai पोर्टल तक पहुंच है, जहां यह चित्रों को अपलोड करने के लिए बहुत आसान और स्पष्ट है, उन पर जगह के निशान, आप तस्वीरों और पहचान परिणामों को देख सकते हैं जो एपीआई के माध्यम से पारित हुए हैं।

Customvision.ai पोर्टल और API को Azure के बिना किसी बंधन के उपयोग के लिए शुरू किया जा सकता है - परीक्षण उद्देश्यों के लिए, Azure सदस्यता के बिना भी एक परियोजना बनाई जाती है। लेकिन अगर आप भविष्य में अपनी परीक्षण परियोजना से एक उत्पादन परियोजना बनाना चाहते हैं, तो इसे तुरंत करना बेहतर है, अन्यथा हमें परीक्षण परियोजना से चित्रों को मैन्युअल रूप से कॉपी करना और इसे उत्पादन में फिर से चिह्नित करना था।

एज़्योर में एक परियोजना बनाने के लिए, आपको वहां पंजीकरण करने और सदस्यता बनाने की आवश्यकता है। यह अपेक्षाकृत आसान है, समस्याएं केवल क्रेडिट कार्ड से डेटा के इनपुट और सत्यापन के साथ हो सकती हैं - कभी-कभी ऐसा होता है।

पंजीकरण के बाद, आपको Azure पोर्टल के माध्यम से एक ComputerVision उदाहरण बनाने की आवश्यकता है

Azure में संसाधन बनाने के बाद, वे customvision.ai में उपलब्ध होंगे

पोर्टल customvision.ai पर आप चित्र अपलोड कर सकते हैं और उन्हें टैग कर सकते हैं - एक छवि पर कई टैग हो सकते हैं, लेकिन क्षेत्रों को उजागर किए बिना। यही है, छवि कई वर्गों से संबंधित है, लेकिन सेवा के विकास के इस स्तर पर छवि में एक विशिष्ट टुकड़े का चयन करना और उसे कक्षा में असाइन करना असंभव है।

अंकन के बाद, आपको ट्रेन बटन दबाकर प्रशिक्षण शुरू करने की आवश्यकता है - 70 टैग और 3 हजार छवियों के एक मॉडल का प्रशिक्षण 30 सेकंड तक रहता है।

प्रशिक्षण परिणाम Iteration निकाय में संग्रहीत किए जाते हैं। वास्तव में, Iteration संस्करण को लागू करता है।

प्रत्येक Iteration का उपयोग स्वतंत्र रूप से किया जा सकता है - अर्थात, आप Iteration बना सकते हैं, परिणाम का परीक्षण कर सकते हैं और इसे हटा सकते हैं यदि यह डिफ़ॉल्ट रूप से फिट नहीं होता है या वर्तमान डिफ़ॉल्ट Iteration को बदल देता है और फिर अनुप्रयोगों से सभी मान्यता इस Iteration से मॉडल पर आ जाएगी।

मॉडल की गुणवत्ता को एक साथ और सभी वर्गों के लिए सटीक और याद (अधिक विवरण यहां ) दोनों के रूप में प्रदर्शित किया जाता है।

यह वही है जो एक परियोजना पहले से अपलोड की गई छवियों के साथ दिखती है और प्रशिक्षण से गुजरती है।

पोर्टल पर, आप एक छवि द्वारा क्विक टेस्ट और परीक्षण मान्यता का उपयोग करके डिस्क या URL से छवि पहचान चला सकते हैं।

प्रिडिक्शन टैब पर, आप सभी नवीनतम पहचानों के परिणाम देख सकते हैं - टैगिंग के प्रतिशत सीधे चित्र में प्रदर्शित किए जाते हैं।

सभी पहचान परिणामों को देखने और सिर्फ माउस क्लिक के एक जोड़े के साथ प्रशिक्षण सेट में उन्हें जोड़ने की क्षमता बहुत मदद करती है - कोई भी एआई या प्रोग्रामिंग के किसी भी ज्ञान के बिना ऐसा कर सकता है।

एपीआई का उपयोग

कस्टम विजन सेवा में प्रशिक्षण और मान्यता के लिए एक बहुत ही सरल और सहज REST एपीआई है।

हमारा एप्लिकेशन केवल मान्यता API का उपयोग करता है और मैं इसके उपयोग के बारे में बात करूंगा

इस तरह की मान्यता के लिए यूआरएल:

https://southcentralus.api.cognitive.microsoft.com/customvision/v2.0/Prediction/lookYour प्रोजेक्ट GUID} / छवि

जहाँ
Southcentralus ** - एज़्योर क्षेत्र का नाम जहां सेवा स्थित है। अभी तक यह सेवा केवल दक्षिण मध्य अमेरिकी क्षेत्र में उपलब्ध है। इसका मतलब यह नहीं है कि केवल वहां आप इसका उपयोग कर सकते हैं! वह बस वहां रहता है - आप इसे कहीं से भी उपयोग कर सकते हैं जहां इंटरनेट है।
{आपका प्रोजेक्ट GUID} ** - आपके प्रोजेक्ट का पहचानकर्ता। आप इसे पोर्टल customvision.ai पर देख सकते हैं

मान्यता के लिए छवि को POST के माध्यम से भेजना आवश्यक है। आप सार्वजनिक रूप से सुलभ छवि url भी भेज सकते हैं और सेवा इसे स्वयं डाउनलोड करेगी।

इसके अलावा, आपको हेडरों को "प्रिडिक्शन-की" हेडर जोड़ने की जरूरत है, जिसमें आप एक एक्सेस कीज को ट्रांसफर कर सकते हैं, जो रजिस्ट्रेशन के समय जारी की जाएगी - वे दोनों customvision.ai पोर्टल और Azure पोर्टल पर उपलब्ध हैं।

परिणाम में निम्न फ़ील्ड शामिल हैं:

"Predictions":[ {"TagId":"35ac2ad0-e3ef-4e60-b81f-052a1057a1ca","Tag":"dog","Probability":0.102716163}, {"TagId":"28e1a872-3776-434c-8cf0-b612dd1a953c","Tag":"cat","Probability":0.02037274} ] 

जहां प्रोबेबिलिटी संभावना को इंगित करती है कि छवि निर्दिष्ट टैग (वर्ग) से संबंधित है।

C # में, यह ऐसा दिखता है

  var client = new HttpClient(); client.DefaultRequestHeaders.Add("Prediction-Key", "{Acess key}"); string url = "https://southcentralus.api.cognitive.microsoft.com/customvision/v2.0/Prediction/{Your project GUID}/image"; HttpResponseMessage response; List<RecognitionResult> recognitions = new List<RecognitionResult>(); using (var content = new ByteArrayContent(imageBytes)) { content.Headers.ContentType = new MediaTypeHeaderValue ("application/octet-stream"); response = await client.PostAsync(url, content); if (response.IsSuccessStatusCode) { string strRes = await response.Content.ReadAsStringAsync(); dynamic res = (dynamic) JsonConvert.DeserializeObject(strRes); foreach (var pr in res.predictions) { recognitions.Add( new RecognitionResult() { Tag = pr.tagName, RecognPercent = pr.probability }); } } else { Debug.WriteLine( "Non successful response. " + response.ToString()); } } 

जैसा कि आप देख सकते हैं - बिल्कुल कुछ भी जटिल नहीं है। सारा जादू सर्विस की तरफ होता है।

आवेदन और कुछ चयनित पैरामीटर।

आवेदन काफी सरल है और इसमें इको-लेबल की एक सूची शामिल है, इको-लेबल क्या हैं, कैसे वे उप-विभाजित हैं, और स्कैनर खुद के बारे में जानकारी देते हैं।

मुख्य भाग Xamarin.Forms में लिखा गया है, लेकिन स्कैनर खिड़की कैमरे के साथ काम करती है और इसे रेंडरर्स के रूप में किया जाना चाहिए और प्रत्येक प्लेटफ़ॉर्म के लिए अलग से कार्यान्वित किया जाना चाहिए

वह स्तर जब एप्लिकेशन यह तय करता है कि इको-लेबल को बिल्कुल> = 90% मान्यता प्राप्त है, जबकि लगभग सभी छवियों को मान्यता दी जाती है यदि वे स्वीकार्य गुणवत्ता के अधिक या कम हैं और तस्वीर में कोई अन्य संकेत नहीं हैं।
यह संख्या अनुभवजन्य रूप से प्राप्त हुई थी - हमने 80 से शुरू किया था, लेकिन यह महसूस किया कि 90 झूठी सकारात्मकता को कम करता है। और उनमें से बहुत सारे हैं - कई चिह्न समान हैं और समान तत्व हैं और रंग योजना को हरे रंग में स्थानांतरित कर दिया गया है।

उदाहरण के लिए, यह 91% की सटीकता के साथ सही ढंग से मान्यता प्राप्त उच्चतम गुणवत्ता वाली छवि नहीं है

बी एक ही समय में, इस वर्ग को 45 छवियों पर प्रशिक्षित किया गया था।

मुझे उम्मीद है कि लेख उपयोगी था और इच्छुक पाठकों को नए एआई और एमएल टूल्स पर एक नज़र डालने की अनुमति देगा।