Firebase ML किट का उपयोग करके वास्तविक समय में चेहरे का पता लगाने के लिए एक Android एप्लिकेशन बनाएं

इस साल की शुरुआत में, Google ने एक नया उत्पाद पेश किया: फायरबेस मशीन लर्निंग किट । एमएल किट आपको एंड्रॉइड और आईओएस अनुप्रयोगों में मशीन सीखने की क्षमताओं का प्रभावी ढंग से उपयोग करने की अनुमति देता है। इस पोस्ट में मैं बात करूंगा कि वास्तविक समय में चेहरे का पता लगाने के लिए एंड्रॉइड एप्लिकेशन बनाने के लिए इसका उपयोग कैसे करें।

फेस डिटेक्शन कंप्यूटर विज़न की उन क्षमताओं में से एक है जो फायरबेस एमएल किट प्रदान करती है (या इसके उपयोग की सुविधा प्रदान करती है)। यह एक ऐसी सुविधा है जो कई अनुप्रयोगों में उपयोगी हो सकती है: फोटो में लोगों को हस्ताक्षर करना, सेल्फी के साथ काम करना, शूटिंग के दौरान इमोजी और अन्य प्रभाव जोड़ना, केवल फोटो लेना जब हर कोई अपनी आंखों के साथ मुस्कुराता है, आदि। संभावनाएं अनंत हैं।

हम पहले से ही Firebase ML Kit की अन्य विशेषताओं के बारे में लेख प्रकाशित कर चुके हैं:

• वस्तुओं और मानवीय भावनाओं की पहचान ;
• पाठ पहचान ;

हालांकि, अपने स्वयं के आवेदन में फेस डिटेक्टर को लागू करना अभी भी आसान नहीं है। आपको यह समझने की आवश्यकता है कि एपीआई कैसे काम करता है, यह कौन सी जानकारी प्रदान करता है, इसे कैसे संसाधित और उपयोग करना है, डिवाइस के उन्मुखीकरण को ध्यान में रखते हुए, कैमरा स्रोत और चयनित कैमरा (सामने या पीछे)।

आदर्श रूप में, हमें इस तरह का कोड प्राप्त करना चाहिए:

camera.addFrameProcessor { frame -> faceDetector.detectFaces(frame) } 

यहाँ मुख्य घटक कैमरा , फ्रेम , फेसडेक्टर हैं । उनमें से प्रत्येक के साथ काम करने से पहले, मान लें कि हमारे लेआउट में कैमरा घटक ही है और एक निश्चित ओवरले है, जिस पर हम पहचाने गए चेहरों के चारों ओर छोटे वर्ग खींचेंगे।

 <FrameLayout ...> // Any other views <CameraView ... /> <husaynhakeem.io.facedetector.FaceBoundsOverlay ... /> // Any other views </FrameLayout> 

कैमरा (कैमरा)

कोई फर्क नहीं पड़ता कि हम किस कैमरा एपीआई का उपयोग करते हैं, सबसे महत्वपूर्ण बात यह है कि यह व्यक्तिगत फ्रेम को संभालने का एक तरीका प्रदान करता है। इस प्रकार, हम प्रत्येक आने वाले फ्रेम को संसाधित करने में सक्षम होंगे, इसमें चेहरे की पहचान करेंगे और इसे उपयोगकर्ता को प्रदर्शित करेंगे।

फ्रेम (फ्रेम)

एक फ्रेम एक कैमरा द्वारा चेहरे का पता लगाने के लिए प्रदान की गई जानकारी है। इसमें वह सब कुछ होना चाहिए जो एक फेस डिटेक्टर का पता लगाने की आवश्यकता है। यह आवश्यक जानकारी नीचे परिभाषित की गई है:

 data class Frame( val data: ByteArray?, val rotation: Int, val size: Size, val format: Int, val isCameraFacingBack: Boolean) data class Size(val width: Int, val height: Int) 

• डेटा - बाइट्स की एक सरणी जिसमें कैमरा प्रदर्शित करता है के बारे में जानकारी है;
• रोटेशन - डिवाइस अभिविन्यास;
• आकार - चौड़ाई और कैमरा पूर्वावलोकन की ऊंचाई;
• प्रारूप - फ्रेम एन्कोडिंग प्रारूप;
• isCameraFacingBack - इंगित करता है कि फ्रंट कैमरा या रियर का उपयोग किया गया है या नहीं।

फेस डिटेक्टर

फेस डिटेक्टर सबसे महत्वपूर्ण घटक है - यह एक फ्रेम लेता है, इसे संसाधित करता है और फिर उपयोगकर्ता को परिणाम प्रदर्शित करता है। इस प्रकार, कैमरा से आने वाले फ्रेम को संसाधित करने के लिए फेस डिटेक्टर FirebaseVisionFaceDetector एक उदाहरण का उपयोग करता है। उसे कैमरे के उन्मुखीकरण और उसकी दिशा (सामने या पीछे) का भी पता होना चाहिए। अंत में, उसे यह जानना होगा कि परिणाम किस ओवरले में प्रदर्शित होंगे। FaceDetector वर्ग का कंकाल इस तरह दिखता है:

 class FaceDetector(private val faceBoundsOverlay: FaceBoundsOverlay) { private val faceBoundsOverlayHandler = FaceBoundsOverlayHandler() private val firebaseFaceDetectorWrapper = FirebaseFaceDetectorWrapper() fun process(frame: Frame) { updateOverlayAttributes(frame) detectFacesIn(frame) } private fun updateOverlayAttributes(frame: Frame) { faceBoundsOverlayHandler.updateOverlayAttributes(...) } private fun detectFacesIn(frame: Frame) { firebaseFaceDetectorWrapper.process( image = convertFrameToImage(frame), onSuccess = { faceBoundsOverlay.updateFaces( /* Faces */) }, onError = { /* Display error message */ }) } } 

ओवरले (ओवरले)

ओवरले एक दृश्य घटक है जो कैमरे के शीर्ष पर बैठता है। यह अंकित चेहरों के आसपास फ्रेम (या बॉर्डर) प्रदर्शित करता है। उसे डिवाइस के उन्मुखीकरण , कैमरे की दिशा (सामने या पीछे) और कैमरे के आयाम (चौड़ाई और ऊंचाई) का पता होना चाहिए। यह जानकारी यह निर्धारित करने में मदद करती है कि किसी पहचाने गए चेहरे के आस-पास की सीमाओं को कैसे खींचना है, सीमाओं को कैसे मापना है, और क्या उन्हें प्रतिबिंबित किया जाना चाहिए।

 class FaceBoundsOverlay @JvmOverloads constructor( ctx: Context, attrs: AttributeSet? = null, defStyleAttr: Int = 0) : View(ctx, attrs, defStyleAttr) { private val facesBounds: MutableList<FaceBounds> = mutableListOf() fun updateFaces(bounds: List<FaceBounds>) { facesBounds.clear() facesBounds.addAll(bounds) invalidate() } override fun onDraw(canvas: Canvas) { super.onDraw(canvas) facesBounds.forEach { val centerX = /* Compute the center's x coordinate */ val centerY = /* Compute the center's ycoordinate */ drawBounds(it.box, canvas, centerX, centerY) } } private fun drawBounds(box: Rect, canvas: Canvas, centerX: Float, centerY: Float) { /* Compute the positions left, right, top and bottom */ canvas.drawRect( left, top, right, bottom, boundsPaint) } } 

नीचे दिए गए आरेख में ऊपर वर्णित घटकों को दिखाया गया है और वे उस क्षण से एक-दूसरे के साथ बातचीत करते हैं जब कैमरा उस पल के इनपुट को फीड करता है जब परिणाम उपयोगकर्ता को प्रदर्शित होते हैं।

3 चरणों में वास्तविक समय का पता लगाने के लिए एक एप्लिकेशन बनाएं

चेहरे का पता लगाने के लिए एक पुस्तकालय का उपयोग करना (जिसमें ऊपर वर्णित कोड है), एक एप्लिकेशन बनाना काफी सरल हो जाता है।

इस उदाहरण में, मैंने निम्नलिखित कैमरा लाइब्रेरी का चयन किया।

चरण 1. कैमरे के शीर्ष पर FaceBoundsOverlay जोड़ें।

 <FrameLayout ...> // Any other views <CameraView ... /> <husaynhakeem.io.facedetector.FaceBoundsOverlay ... /> // Any other views </FrameLayout> 

चरण 2. FaceDetection का एक उदाहरण परिभाषित करें और इसे कैमरे से कनेक्ट करें।

 private val faceDetector: FaceDetector by lazy { FaceDetector(facesBoundsOverlay) } cameraView.addFrameProcessor { faceDetector.process(Frame( data = it.data, rotation = it.rotation, size = Size(it.size.width, it.size.height), format = it.format)) } 

चरण 3. प्रोजेक्ट में फायरबेस को कॉन्फ़िगर करें ।

निष्कर्ष

फेस डिटेक्शन एक शक्तिशाली विशेषता है, और एमएल किट इसे सुलभ बनाता है और डेवलपर्स को अधिक जटिल कार्यों के साथ उपयोग करने की अनुमति देता है, जैसे कि चेहरा पहचान, जो सरल पहचान से परे जाता है: यह न केवल चेहरे का पता लगाने के लिए महत्वपूर्ण है, बल्कि यह निर्धारित करने के लिए भी है कि यह किसका है।

जल्द ही, वे Ml किट में एक नई सुविधा जोड़ने की योजना बना रहे हैं - चेहरे की समोच्च पहचान। इसकी मदद से, चेहरे के चारों ओर 100 से अधिक बिंदुओं का पता लगाना और उन्हें जल्दी से संसाधित करना संभव होगा। यह संभावित रूप से संवर्धित वास्तविकता वस्तुओं या आभासी स्टिकर (जैसे स्नैपचैट) का उपयोग करने वाले अनुप्रयोगों में उपयोगी हो सकता है। फेस डिटेक्शन के साथ मिलकर आप कई दिलचस्प एप्लिकेशन बना सकते हैं।