फायरबेस एमएल किट का उपयोग करके वस्तुओं और मानवीय भावनाओं की पहचान

यदि आपने Google I / O का अनुसरण किया है (या कम से कम Keynotes को देखा है), तो आपने Firebase मंच के भाग के रूप में एक नए उत्पाद की घोषणा पर गौर किया होगा जिसे ML किट कहा जाता है।

एमएल किट एक एपीआई प्रदान करता है जिसके साथ आप अनुप्रयोगों (एंड्रॉइड और आईओएस दोनों) में शक्तिशाली मशीन लर्निंग फ़ंक्शन जोड़ सकते हैं, चाहे आप एक अनुभवी मशीन सीखने वाले डेवलपर हों या इस क्षेत्र में बस शुरुआत करें।

यद्यपि यह उत्पाद सम्मेलन (ध्यान, Google डुप्लेक्स) पर ध्यान का केंद्र नहीं बन पाया है, लेकिन एंड्रॉइड विकास में इसका उपयोग करने के लिए निश्चित रूप से कई उपयोगी तरीके हैं।

तो चलो उसके साथ खेलते हैं और एक छोटा अनुप्रयोग बनाते हैं जो Google लेंस की तरह दिखेगा (लगभग)!

यहाँ एप्लिकेशन से कुछ स्क्रीनशॉट हैं। उन पर आप छवि में वस्तुओं को पहचानने का प्रयास देख सकते हैं।

बहुत सटीक, हुह?
आप इस एपीआई का उपयोग मानवीय भावनाओं जैसे कि खुशी, उदासी, क्रोध आदि को परिभाषित करने के लिए भी कर सकते हैं, जो और भी ठंडा है।

बात करना बंद करो, मुझे कोड दिखाओ !!!!!

एमएल किट में 5 एपीआई हैं:

1. टेक्स्ट रिकग्निशन (हमने पहले ही इस कार्यक्षमता का उपयोग करके एप्लिकेशन के बारे में एक लेख प्रकाशित किया है)
2. फेस डिटेक्शन (ऐसा लेख हमारे ब्लॉग पर है)
3. बारकोड स्कैनिंग
4. छवि में वस्तुओं की पहचान (जिसका हम उपयोग करने जा रहे हैं)
5. चरित्र पहचान

इस लेख में, हम छवि पर ऑब्जेक्ट पहचान एपीआई का उपयोग करेंगे। इस एपीआई का उपयोग करके, हमें उन वस्तुओं की एक सूची मिलती है जिन्हें छवि में पहचाना गया था: लोग, चीजें, स्थान, गतिविधियां, आदि।

इसके अलावा, इस एपीआई के 2 प्रकार हैं। पहला API आपके डिवाइस में बनाया गया है जो काम करता है, जो डिवाइस पर ही तार्किक है। यह मुफ़्त है और छवियों में 400 से अधिक विभिन्न वस्तुओं को पहचान सकता है।

दूसरा क्लाउड एपीआई है , जो Google क्लाउड पर चलता है और 10,000 से अधिक विभिन्न वस्तुओं को पहचानता है। यह भुगतान किया जाता है, लेकिन प्रति माह पहले 1000 अनुरोध मुफ्त हैं।

इस लेख में, हम पहले प्रकार के एपीआई को देखेंगे, जैसा कि यह मुफ़्त है (लेकिन भुगतान का सिद्धांत मुफ़्त के समान है)।

चलिए शुरू करते हैं।

• अपने प्रोजेक्ट में फायरबेस कनेक्ट करें और firebase-ml-vision निर्भरता जोड़ें
  Firebase को कैसे कनेक्ट करें, आप Google से एक अच्छे ट्यूटोरियल में देख सकते हैं। इस API का उपयोग करने के लिए आपको उचित निर्भरता भी जोड़ना होगा:

 implementation 'com.google.firebase:firebase-ml-vision:15.0.0' implementation 'com.google.firebase:firebase-ml-vision-image-label-model:15.0.0' 

• अनुप्रयोग में कैमरा फ़ंक्शन एम्बेड करें
  विज़न एपीआई को डेटा प्राप्त करने के लिए एक छवि की आवश्यकता होती है, इसलिए या तो एक एप्लिकेशन बनाएं जो आपको गैलरी से चित्र डाउनलोड करने की अनुमति देता है, या एक ऐसा एप्लिकेशन बनाता है जो छवि लेने के लिए कैमरे का उपयोग करता है और तुरंत इसका विश्लेषण करता है।
  यदि आप मानक कैमरा एपीआई का उपयोग नहीं करना चाहते हैं, तो आप बस इस कार्यक्षमता के लिए सुविधाजनक और सरल पुस्तकालय का उपयोग कर सकते हैं।

  
  

• विज़न एपीआई तक पहुंचने के लिए बिटमैप का उपयोग करें
  ऊपर उल्लिखित पुस्तकालय सीधे छवि बिटमैप प्रदान करता है, जिसका उपयोग एपीआई तक पहुंचने के लिए किया जा सकता है।

  
  

 fab_take_photo.setOnClickListener { // cameraView is a custom View which provides camera preview cameraView.captureImage { cameraKitImage -> // Get the Bitmap from the captured shot and use it to make the API call getLabelsFromDevice(cameraKitImage.bitmap) } } private fun getLabelsFromDevice(bitmap: Bitmap) { val image : FirebaseVisionImage = FirebaseVisionImage.fromBitmap(bitmap) val detector : FirebaseVisionLabelDetector = FirebaseVision.getInstance().visionLabelDetector detector.detectInImage(image) .addOnSuccessListener { // Task completed successfully for(firebaseVision : FirebaseVisionLabel in it){ // Logging through the list of labels returned from the API and Log them Log.d(TAG,"Item Name ${firebaseVision.confidence}") Log.d(TAG,"Confidence ${firebaseVision.confidence}") } } .addOnFailureListener { // Task failed with an exception Toast.makeText(baseContext,"Sorry, something went wrong!",Toast.LENGTH_SHORT).show() } } 

उपरोक्त कोड स्निपेट में, हम पहले बिटमैप से एक FirebaseVisionImage बनाते हैं।

फिर हम FirebaseVisionLabelDetector का एक उदाहरण बनाते हैं जो FirebaseVisionLabelDetector से होकर गुजरता है और विशिष्ट FirebaseVisionLabels (ऑब्जेक्ट्स) को खोजता है जो इसे प्रदान की गई छवि में पहचानता है।

अंत में, हम इमेज को detectInImage() विधि से पास करते हैं और डिटेक्टर को इमेज का विश्लेषण करने देते हैं।

हम सफल विश्लेषण को संभालने और असफल के लिए श्रोताओं को निर्धारित कर सकते हैं। वहां हमें छवि में पहचानी जाने वाली वस्तुओं की सूची और क्रमशः उत्पन्न होने वाले अपवादों तक पहुंच प्राप्त होगी।

प्रत्येक मान्यता प्राप्त वस्तु के लिए, आप इसका नाम, मान्यता सटीकता और इकाई आईडी प्राप्त कर सकते हैं।

जैसा कि पहले उल्लेख किया गया है, इस एपीआई का उपयोग किसी छवि में मानवीय भावनाओं को परिभाषित करने के लिए भी किया जा सकता है, जिसे नीचे स्क्रीनशॉट में देखा जा सकता है:

क्लाउड एपीआई के लिए कोड उस कोड के समान है जो हमने डिवाइस एपीआई के लिए लिखा था। केवल डिटेक्टर का प्रकार ( FirebaseVisionCloudLabelDetector बनाम FirebaseVisionLabelDetector ) और पहचानी गई वस्तुओं का प्रकार ( FirebaseVisionCloudLabel बनाम FirebaseVisionLabels ) FirebaseVisionLabels :

 private fun getLabelsFromDevice(bitmap: Bitmap) { ... val detector : FirebaseVisionCloudLabelDetector = FirebaseVision.getInstance().visionCloudLabelDetector detector.detectInImage(image) .addOnSuccessListener { for(firebaseVision : FirebaseVisionCloudLabel in it){ ... } } .addOnFailureListener { ... } } 

कोड में परिवर्तन के अलावा, आपको अपनी परियोजना के लिए बिलिंग (भुगतान) को भी कॉन्फ़िगर करना होगा और अपने Google क्लाउड कंसोल में Google विज़न एपीआई को सक्षम करना होगा।

कृपया ध्यान दें कि एपीआई आपको प्रति माह केवल 1000 मुफ्त क्वेरी करने की अनुमति देता है, इसलिए यदि आप इसके साथ खेलना चाहते हैं तो आपको भुगतान करने की आवश्यकता नहीं है।

स्क्रीनशॉट में दिखाए गए एप्लिकेशन को GitHub रिपॉजिटरी पर पाया जा सकता है ।