हाथ पर नज़र रखने के लिए वास्तविक समय तंत्रिका नेटवर्क

हाल ही में, GoogleAI के शोधकर्ताओं ने हाथों पर नज़र रखने और वास्तविक समय में इशारों को निर्धारित करने के कार्य के लिए अपना दृष्टिकोण दिखाया। मैं एक समान कार्य में लगा हुआ था और इसलिए यह पता लगाने का निर्णय लिया कि उन्होंने निर्णय का कैसे संपर्क किया, उन्होंने किन तकनीकों का इस्तेमाल किया और कैसे उन्होंने मोबाइल डिवाइस पर वास्तविक समय के काम के दौरान अच्छी सटीकता हासिल की। एंड्रॉइड पर मॉडल भी लॉन्च किया और वास्तविक परिस्थितियों में परीक्षण किया।

यह महत्वपूर्ण क्यों है?

हाथ पहचान एक गैर-तुच्छ कार्य है, जो एक ही समय में व्यापक रूप से मांग में है। इस तकनीक का उपयोग आभासी वस्तुओं के साथ बातचीत के लिए अतिरिक्त वास्तविकता के अनुप्रयोगों में किया जा सकता है। यह सांकेतिक भाषा को समझने या इशारों पर आधारित नियंत्रण इंटरफेस बनाने का आधार भी हो सकता है।

कठिनाई क्या है?

वास्तविक समय में हाथों की प्राकृतिक धारणा कंप्यूटर दृष्टि के लिए एक वास्तविक चुनौती है, हाथ अक्सर खुद को या एक दूसरे को (उंगलियों को पार या हाथ मिलाते हुए) ओवरलैप करते हैं। जबकि चेहरों में उच्च-विपरीत पैटर्न होते हैं, उदाहरण के लिए, आंखों और मुंह के क्षेत्र में, हाथों में ऐसे संकेतों की अनुपस्थिति उनके दृश्य संकेतों से ही विश्वसनीय पहचान बनाती है।

हाथ लगातार गति में होते हैं, झुकाव के कोण बदलते हैं और एक दूसरे को ओवरलैप करते हैं। एक स्वीकार्य उपयोगकर्ता अनुभव के लिए, मान्यता को उच्च एफपीएस (25+) के साथ काम करने की आवश्यकता होती है। इसके अलावा, यह सब मोबाइल उपकरणों पर काम करना चाहिए, जो गति की आवश्यकताओं को जोड़ता है, साथ ही साथ संसाधन सीमाएं भी।

GoogleAI ने क्या किया?

उन्होंने मशीन लर्निंग (एमएल) का उपयोग करके हाथों और उंगलियों के सटीक ट्रैकिंग के लिए प्रौद्योगिकी को लागू किया। कार्यक्रम 3 डी अंतरिक्ष (ऊंचाई, लंबाई और गहराई) में हाथ के 21 प्रमुख बिंदुओं को निर्धारित करता है और इस डेटा के आधार पर इशारों को वर्गीकृत करता है जो हाथ दिखाता है। यह सब सिर्फ एक वीडियो फ्रेम के आधार पर, कई हाथों से मोबाइल उपकरणों और तराजू पर वास्तविक समय में काम करता है।

उन्होंने यह कैसे किया?

मीडियापाइप , डेटा प्रोसेसिंग पाइपलाइन (वीडियो, ऑडियो, टाइम सीरीज़) के निर्माण के लिए एक ओपन-सोर्स क्रॉस-प्लेटफ़ॉर्म फ्रेमवर्क का उपयोग करके दृष्टिकोण लागू किया गया है। एनवीडिया से डीपस्ट्रीम जैसा कुछ, लेकिन सुविधाओं और क्रॉस-प्लेटफॉर्म के एक समूह के साथ।

समाधान में 3 मुख्य मॉडल एक साथ काम करते हैं:

पाम डिटेक्टर (ब्लेज़पालम)

• वीडियो से पूरी छवि लेता है
• ओरिएंटेड बाउंडिंग बॉक्स (बाउंडिंग बॉक्स)

हाथ पर मुख्य बिंदुओं के निर्धारण के लिए मॉडल

• एक हाथ की एक फसली तस्वीर लेता है
• 3 डी अंतरिक्ष + विश्वास सूचक में एक हाथ के 21 प्रमुख बिंदुओं को लौटाता है (लेख में अधिक विवरण)

जेस्चर पहचान एल्गोरिथ्म

• हाथ के प्रमुख बिंदु
• इशारे का नाम देता है जो हाथ दिखाता है

वास्तुकला पोज अनुमान कार्य में उपयोग किए गए समान है। एक सटीक क्रॉप्ड और एलायंस हैंड इमेज प्रदान करके, डेटा संवर्द्धन (घुमाव, अनुवाद और स्केलिंग) की आवश्यकता काफी कम हो जाती है, और इसके बजाय मॉडल समन्वय भविष्यवाणी की सटीकता पर ध्यान केंद्रित कर सकता है।

पाम डिटेक्टर

हथेली को खोजने के लिए, ब्लेज़पिल्म नामक एक मॉडल का उपयोग किया जाता है - एक शॉट शॉट डिटेक्टर (एसएसडी) मॉडल जो वास्तविक समय में एक मोबाइल डिवाइस पर काम करने के लिए अनुकूलित है।

GoogleAI के एक अध्ययन में पूरे हाथ डिटेक्टर के बजाय एक पाम डिटेक्टर का प्रशिक्षण दिया गया (हथेली बिना उंगलियों के हथेली का आधार है)। इस दृष्टिकोण का लाभ यह है कि इशारों वाली उंगलियों के साथ पूरे हाथ की तुलना में हथेली या मुट्ठी को पहचानना आसान है, और हथेली को वर्ग बाउंडिंग बॉक्स (एंकर) का उपयोग करके भी चुना जा सकता है, जो पहलू अनुपात की अनदेखी कर रहा है, और इस प्रकार 3-5 बार आवश्यक एंकर की संख्या को कम करता है।

फ़ीचर पिरामिड नेटवर्क्स फॉर ऑब्जेक्ट डिटेक्शन (FPN) फ़ीचर एक्सट्रैक्टर का उपयोग छोटी वस्तुओं के लिए भी छवि संदर्भ को बेहतर ढंग से समझने के लिए किया गया था।

एक नुकसान समारोह के रूप में, फोकल नुकसान लिया गया था, जो बड़ी संख्या में एंकर उत्पन्न करते समय होने वाली कक्षाओं के असंतुलन के साथ अच्छी तरह से मुकाबला करता है।

शास्त्रीय क्रॉस एंट्रॉपी: CE (pt) = -log (pt)
फोकल लॉस: FL (pt) = - (1-pt) लॉग (pt)

फ़ॉकल लॉस के बारे में अधिक जानकारी फेसबुक एआई रिसर्च (अनुशंसित पढ़ने) से उत्कृष्ट पेजर में पाई जा सकती है

उपरोक्त तकनीकों का उपयोग करके, 95.7% की औसत सटीकता हासिल की गई थी। सरल क्रॉस-एंट्रोपी और FPN के बिना उपयोग करते समय - 86.22%।

प्रमुख बिंदुओं को परिभाषित करना

पाम डिटेक्टर द्वारा छवि के दौरान हथेली की स्थिति निर्धारित करने के बाद, क्षेत्र एक निश्चित कारक को ऊपर ले जाता है और पूरे हाथ को कवर करने के लिए फैलता है। फसली छवि पर आगे, प्रतिगमन समस्या हल हो गई है - 3 डी अंतरिक्ष में 21 बिंदुओं की सटीक स्थिति निर्धारित की जाती है।

प्रशिक्षण के लिए, 30,000 वास्तविक चित्र मैन्युअल रूप से चिह्नित किए गए थे। हाथ का एक यथार्थवादी 3 डी मॉडल भी बनाया गया था जिसकी मदद से विभिन्न पृष्ठभूमि पर अधिक कृत्रिम उदाहरण उत्पन्न किए गए थे।


ऊपर: चिह्नित प्रमुख बिंदुओं के साथ वास्तविक हाथ की छवियां। नीचे: एक 3D मॉडल का उपयोग करके बनाई गई हाथ की कृत्रिम छवियां

इशारे की पहचान

इशारा पहचान के लिए, एक सरल एल्गोरिथ्म का उपयोग किया गया था जो हाथ की प्रमुख बिंदुओं द्वारा प्रत्येक उंगली (उदाहरण के लिए, घुमावदार या सीधे) की स्थिति निर्धारित करता है। फिर इन सभी स्थितियों की तुलना इशारों के मौजूदा सेट से की जाती है। यह सरल लेकिन प्रभावी तरीका आपको अच्छी गुणवत्ता के साथ बुनियादी इशारों को पहचानने की अनुमति देता है।

अनुकूलन

वास्तविक समय के तेजी से अनुमान का मुख्य रहस्य एक महत्वपूर्ण अनुकूलन में छिपा हुआ है। हथेली डिटेक्टर, जो सबसे अधिक समय लेता है, केवल तभी शुरू होता है जब आवश्यक (काफी कम)। यह हाथ के पिछले प्रमुख बिंदुओं के आधार पर अगले फ्रेम में हाथ की स्थिति की गणना करके प्राप्त किया जाता है।

इस दृष्टिकोण की स्थिरता के लिए, मुख्य बिंदुओं को निर्धारित करने के लिए मॉडल में एक और तरीका जोड़ा गया - एक स्केलर, जो दिखाता है कि मॉडल कितना आश्वस्त है कि हाथ फसली छवि पर मौजूद है और यह सही ढंग से तैनात है। जब विश्वास मूल्य एक निश्चित सीमा से कम हो जाता है, तो पाम डिटेक्टर लॉन्च किया जाता है और पूरे फ्रेम पर लागू होता है।

वास्तविकता परीक्षण

मैंने वास्तविक परिस्थितियों में परीक्षण के लिए एक एंड्रॉइड डिवाइस (Xiaomi Redmi Note 5) पर इस समाधान को लॉन्च किया। मॉडल अच्छी तरह से व्यवहार करता है, सही ढंग से हाथ के कंकाल को मैप करता है और प्रति सेकंड फ्रेम की एक सभ्य संख्या के साथ गहराई की गणना करता है।


Minuses में से, यह नोट करना संभव है कि फ्रेम के साथ हाथ की निरंतर गति के साथ सटीकता और गति कैसे शुरू होती है। यह इस तथ्य के कारण है कि मॉडल को लगातार डिटेक्टर को पुनरारंभ करना पड़ता है, क्योंकि यह चलते समय हाथ की स्थिति खो देता है। यदि एक हिलते हुए हाथ को खोजने की गति आपके लिए इशारों की परिभाषा से अधिक महत्वपूर्ण है, तो आपको अन्य तरीकों की तलाश करनी चाहिए।


कुछ समस्याएँ तब भी होती हैं जब हाथ चेहरे या इसी तरह की जटिल पृष्ठभूमि के साथ जुड़ जाते हैं। अन्यथा, GoogleAI से महान कार्य, यह प्रौद्योगिकी के भविष्य के विकास में एक बड़ा योगदान है।

GoogleAI ब्लॉग आलेख
गितुब मीडिपिप हाथ ट्रैकिंग