तंत्रिका नेटवर्क लिपनेट 93.4% की सटीकता के साथ होंठ पढ़ता है

कमांडर डेव बोमैन और सह-पायलट फ्रैंक पोले ने कंप्यूटर पर भरोसा नहीं करते हुए जहाज के नियंत्रण से इसे हटाने का फैसला किया। ऐसा करने के लिए, वे एक ध्वनिरोधी कमरे में देते हैं, लेकिन एचएएल 9000 होंठों पर उनकी बातचीत पढ़ता है। फिल्म "स्पेस ओडिसी ऑफ़ 2001" से

शूट किया गया, लिप रीडिंग संचार में एक महत्वपूर्ण भूमिका निभाता है। १ ९ that६ में अधिक प्रयोगों से पता चला कि लोग "सुनते हैं" पूरी तरह से अलग-अलग स्वर हैं यदि आप होंठों की गति पर गलत ध्वनि लागू करते हैं (देखें "होठों को देखकर आवाजें" , प्रकृति २६४, -४६-48४,, २३ दिसंबर, १ ९ 1976६, ६ that: १०.०३38 / २६४46४६०) ।

व्यावहारिक दृष्टिकोण से, होंठ पढ़ना एक महत्वपूर्ण और उपयोगी कौशल है। आप हेडफ़ोन में संगीत को बंद किए बिना वार्ताकार को समझ सकते हैं, देखने के क्षेत्र में सभी लोगों की बातचीत पढ़ सकते हैं (उदाहरण के लिए, प्रतीक्षालय में सभी यात्री), दूरबीन या टेलीस्कोप के माध्यम से लोगों को सुनते हैं। कौशल का दायरा बहुत व्यापक है। एक पेशेवर जिसने इसमें महारत हासिल की है, वह आसानी से एक अच्छी तरह से भुगतान वाली नौकरी पा सकता है। उदाहरण के लिए, सुरक्षा या प्रतिस्पर्धी खुफिया क्षेत्र में।

स्वचालित लिप रीडिंग सिस्टम में व्यावहारिक क्षमता का भी भंडार है। ये स्पीच रिकग्निशन वाली नई जेनरेशन की मेडिकल हियरिंग एड्स, सार्वजनिक स्थानों पर साइलेंट लेक्चर के लिए सिस्टम, बायोमेट्रिक पहचान, जासूसी के लिए गुप्त प्रसारण के लिए सिस्टम, सर्विलांस कैमरों से वीडियो द्वारा भाषण पहचान आदि हैं। अंत में, भविष्य के कंप्यूटर HAL 9000 की तरह, होंठ भी पढ़ेंगे ।

इसलिए, वैज्ञानिक कई वर्षों से स्वचालित लिप रीडिंग सिस्टम विकसित करने की कोशिश कर रहे हैं, लेकिन बहुत अधिक सफलता के बिना। यहां तक ​​कि अपेक्षाकृत सरल अंग्रेजी के लिए, जिसमें रूसी की तुलना में फोनमेस की संख्या बहुत कम है, मान्यता सटीकता कम है।

मानव चेहरे के भावों के आधार पर भाषण समझना एक कठिन काम है। इस कौशल में महारत हासिल करने वाले लोग दर्जनों व्यंजन स्वरों को पहचानने की कोशिश करते हैं, जिनमें से कई दिखने में बहुत समान हैं। एक अप्रशिक्षित व्यक्ति के लिए अंग्रेजी भाषा के दृश्य स्वर (यानी, विज़ेम) की पांच श्रेणियों के बीच अंतर करना विशेष रूप से कठिन है । दूसरे शब्दों में, होठों द्वारा कुछ व्यंजन का उच्चारण भेद करना लगभग असंभव है। यह आश्चर्य की बात नहीं है कि लोग सटीक होंठ पढ़ने के साथ बहुत खराब करते हैं। यहां तक ​​कि श्रवण बाधित लोगों में सबसे अच्छा केवल 30 ll 12% 30 मोनोसाइबेल्स की सटीकता या 21 of 11% पॉलीसैलेबिक शब्दों का प्रदर्शन करता है (बाद में अंग्रेजी भाषा के लिए परिणाम)।

स्वचालित लिप रीडिंग मशीन विजन के कार्यों में से एक है, जो वीडियो अनुक्रम के फ्रेम-बाय-फ्रेम प्रसंस्करण के लिए उबलता है। अधिकांश व्यावहारिक वीडियो सामग्रियों की निम्न गुणवत्ता से कार्य बहुत जटिल होता है, जो बातचीत के दौरान किसी व्यक्ति के स्पोटियोटेम्पोरल, अर्थात् स्पैटो-टेम्पोरल विशेषताओं के सटीक पढ़ने की अनुमति नहीं देता है। चेहरे अलग-अलग दिशाओं में चलते और मुड़ते हैं। मशीन दृष्टि के क्षेत्र में हाल के घटनाक्रम इस समस्या को हल करने के लिए फ्रेम में चेहरे की गति को ट्रैक करने की कोशिश कर रहे हैं। सफलताओं के बावजूद, हाल ही में, वे केवल व्यक्तिगत शब्दों को पहचानने में सक्षम थे, लेकिन वाक्य नहीं।

इस क्षेत्र में एक महत्वपूर्ण सफलता ऑक्सफोर्ड विश्वविद्यालय के डेवलपर्स द्वारा प्राप्त की गई थी। जिस लिपनेट को उन्होंने प्रशिक्षित कियापूरे वीडियो के प्रसंस्करण, वीडियो फुटेज के स्तर पर होंठों को सफलतापूर्वक पहचानने वाले दुनिया के पहले बन गए। अंग्रेजी शब्दों "कृपया" (ऊपर) और "लेट" (नीचे) के लिए


फ़्रेम-बाय-फ़्रेम सलाईर मैप्स , जब एक तंत्रिका नेटवर्क द्वारा संसाधित किया जाता है, जो होंठ को पढ़ता है,

लिपनेट की सबसे आंख को पकड़ने (मुख्य) विशेषताओं को उजागर करता है - LSTM प्रकार (दीर्घकालिक अल्पकालिक मेमोरी) का एक पुनरावर्ती तंत्रिका नेटवर्क। चित्रण में वास्तुकला को दिखाया गया है। तंत्रिका नेटवर्क को कनेक्शनिस्ट टेम्पोरल क्लासिफिकेशन (CTC) विधि का उपयोग करके प्रशिक्षित किया गया था, जो आधुनिक भाषण मान्यता प्रणालियों में व्यापक रूप से उपयोग किया जाता है, क्योंकि यह सही परिणाम के साथ सिंक्रनाइज़ किए गए इनपुट डेटा के एक सेट पर प्रशिक्षण की आवश्यकता को समाप्त करता है।


लिपनेट न्यूरल नेटवर्क आर्किटेक्चर। इनपुट पर, टी फ्रेम का एक क्रम प्रदान किया जाता है, जो तब स्पैटियोटेमपोर्ल (स्पटियोटेम्पोरल) कन्वेन्शनल न्यूरल नेटवर्क (एसटीसीएनएन) की तीन परतों द्वारा संसाधित किया जाता है, जिनमें से प्रत्येक एक स्थानिक नमूना परत के साथ होता है। निकाले गए फीचर्स के लिए, टाइमलाइन (अपसम्पलिंग) पर सैंपलिंग रेट बढ़ाया जाता है, और फिर उन्हें डबल LTSM द्वारा प्रोसेस किया जाता है। LTSM आउटपुट में हर बार चरण को दो-परत प्रत्यक्ष वितरण नेटवर्क और अंतिम सॉफ्टमैक्स परत द्वारा संसाधित किया जाता है।

विशेष GRID ऑफ़र पैकेज पर, तंत्रिका नेटवर्क 93.4% की मान्यता सटीकता दिखाता है। यह न केवल अन्य सॉफ़्टवेयर डेवलपमेंट (जो नीचे दी गई तालिका में इंगित किया गया है) की मान्यता सटीकता से अधिक है, बल्कि विशेष रूप से प्रशिक्षित लोगों के होंठों पर पढ़ने की क्षमता से अधिक है।

विधि	डेटा सेट	आकार	प्रत्यर्पण	शुद्धता
फू एट अल। (2008)	AVICAR	851		37,9%
Zhao et al. (2009)	AVLetter	78		43,5%
Papandreou et al. (2009)	CUAVE	1800		83,0%
Chung & Zisserman (2016a)	OuluVS1	200		91,4%
Chung & Zisserman (2016b)	OuluVS2	520		94,1%
Chung & Zisserman (2016a)	BBC TV	>400000		65,4%
Wand et al. (2016)	GRID	9000		79,6%
LipNet	GRID	28853		93,4%

विशेष जीआरआईडी मामला निम्नलिखित टेम्पलेट के अनुसार बना है:

कमांड (4) + रंग (4) + प्रीपोजिशन (4) + अक्षर (25) + अंक (10) + क्रिया विशेषण (4),

जहां संख्या छह मौखिक श्रेणियों में से प्रत्येक के लिए शब्द वेरिएंट की संख्या से मेल खाती है ।

दूसरे शब्दों में, 93.4% की सटीकता अभी भी ग्रीनहाउस प्रयोगशाला स्थितियों में प्राप्त परिणाम है। बेशक, मनमाने ढंग से मानव भाषण की मान्यता के साथ, परिणाम बहुत खराब होगा। वास्तविक वीडियो से डेटा के विश्लेषण का उल्लेख नहीं करने के लिए, जहां किसी व्यक्ति के चेहरे को उत्कृष्ट प्रकाश व्यवस्था और उच्च रिज़ॉल्यूशन में क्लोज-अप नहीं किया जाता है।

लिपनेट न्यूरल नेटवर्क के ऑपरेशन को डेमो वीडियो में दिखाया गया है।


वैज्ञानिक लेख ICLR 2017 सम्मेलन के लिए तैयार किया गया था और इसे 4 नवंबर, 2016 को सार्वजनिक डोमेन में प्रकाशित किया गया था।

Source: https://habr.com/ru/post/hi398901/