भावनाओं को पहचानने के कार्य का परिचय

कृत्रिम बुद्धि के क्षेत्र में भावना की पहचान एक गर्म विषय है। ऐसी प्रौद्योगिकियों के आवेदन के सबसे दिलचस्प क्षेत्रों में शामिल हैं: ड्राइवर की मान्यता, विपणन अनुसंधान, स्मार्ट शहरों के लिए वीडियो एनालिटिक्स सिस्टम, मानव-मशीन इंटरैक्शन, ऑनलाइन पाठ्यक्रम लेने वाले छात्रों की निगरानी, ​​पहनने योग्य डिवाइस आदि।

इस वर्ष, एमडीजी ने अपनी ग्रीष्मकालीन मशीन लर्निंग स्कूल को इस विषय को समर्पित किया। इस लेख में मैं एक व्यक्ति की भावनात्मक स्थिति को पहचानने की समस्या में एक संक्षिप्त भ्रमण देने की कोशिश करूंगा और इसके समाधान के बारे में बताऊंगा।

भावनाएं क्या हैं?

भावना एक विशेष प्रकार की मानसिक प्रक्रिया है जो किसी व्यक्ति के अपने और दुनिया के संबंधों के अनुभव को व्यक्त करती है। एक सिद्धांत के अनुसार, जिसके लेखक रूसी फिजियोलॉजिस्ट पी.के. अनोखिन, भावनाओं का अनुभव करने की क्षमता विकसित होने की स्थिति में जीवित प्राणियों के अधिक सफल अनुकूलन के साधन के रूप में विकास की प्रक्रिया में विकसित हुई थी। भावना जीवित रहने के लिए उपयोगी थी और जीवित चीजों को जल्दी और सबसे अधिक आर्थिक रूप से बाहरी प्रभावों का जवाब देने की अनुमति दी।

भावनाएँ मानव जीवन और पारस्परिक संचार में बहुत बड़ी भूमिका निभाती हैं। उन्हें विभिन्न तरीकों से व्यक्त किया जा सकता है: चेहरे के भाव, आसन, मोटर प्रतिक्रियाएं, आवाज और स्वायत्त प्रतिक्रियाएं (हृदय गति, रक्तचाप, श्वसन तंत्र)। हालांकि, व्यक्ति के चेहरे में सबसे अधिक स्पष्टता है।

प्रत्येक व्यक्ति कई अलग-अलग तरीकों से भावनाओं को व्यक्त करता है। पिछली सदी के 70 के दशक में पापुआ न्यू गिनी में अलग-अलग जनजातियों के गैर-मौखिक व्यवहार का अध्ययन करने वाले प्रसिद्ध अमेरिकी मनोवैज्ञानिक पॉल एकमैन ने पाया कि भावनाओं की एक संख्या, अर्थात्: क्रोध, भय, उदासी, घृणा, अवमानना, आश्चर्य और खुशी सार्वभौमिक हैं और कर सकते हैं। अपनी संस्कृति की परवाह किए बिना, मनुष्य द्वारा समझा जा सकता है।

लोग भावनाओं की एक विस्तृत श्रृंखला को व्यक्त करने में सक्षम हैं। यह माना जाता है कि उन्हें मूल भावनाओं के संयोजन के रूप में वर्णित किया जा सकता है (उदाहरण के लिए, उदासीनता उदासी और खुशी के बीच कुछ है)। लेकिन ऐसा स्पष्ट दृष्टिकोण हमेशा सुविधाजनक नहीं होता है, क्योंकि भावना की शक्ति को निर्धारित करने की अनुमति नहीं देता है। इसलिए, भावनाओं के असतत मॉडल के साथ, कई निरंतर विकसित किए गए थे। जे। रसेल के मॉडल का एक दो-आयामी आधार है जिसमें प्रत्येक भावना की विशेषता एक संकेत (वैलेंस) और तीव्रता (उत्तेजना) है। अपनी सरलता के कारण, रसेल मॉडल हाल ही में चेहरे के भावों को स्वचालित रूप से वर्गीकृत करने के कार्य के संदर्भ में तेजी से लोकप्रिय हो गया है।

इसलिए, हमें पता चला कि यदि आप भावनात्मक उत्तेजना को छिपाने की कोशिश नहीं कर रहे हैं, तो चेहरे की अभिव्यक्तियों से आपकी वर्तमान स्थिति का अनुमान लगाया जा सकता है। इसके अलावा, गहरी शिक्षा के क्षेत्र में आधुनिक उपलब्धियों का उपयोग करते हुए, "लेट टू मी" श्रृंखला के आधार पर एक झूठ डिटेक्टर का निर्माण करना संभव है, जिसका वैज्ञानिक आधार सीधे पॉल एकमैन द्वारा प्रदान किया गया था। हालांकि, यह कार्य सरल से बहुत दूर है। जैसा कि न्यूरोसाइंटिस्ट लिसा फेल्डमैन बैरेट के अध्ययन से पता चला है, जब भावनाओं को पहचानते हुए, एक व्यक्ति सक्रिय रूप से प्रासंगिक जानकारी का उपयोग करता है: आवाज, क्रियाएं, स्थिति। नीचे दी गई तस्वीरों पर एक नज़र डालें, यह वास्तव में है। केवल चेहरे के क्षेत्र का उपयोग करना, एक सटीक भविष्यवाणी करना असंभव है। इस संबंध में, इस समस्या को हल करने के लिए, समय के साथ संकेतों में बदलाव के बारे में अतिरिक्त तौर-तरीकों और जानकारी दोनों का उपयोग करना आवश्यक है।

यहां हम केवल दो तौर-तरीकों के विश्लेषण के दृष्टिकोण पर विचार करेंगे: ऑडियो और वीडियो, क्योंकि ये सिग्नल गैर-संपर्क तरीके से प्राप्त किए जा सकते हैं। कार्य को करने के लिए, आपको सबसे पहले डेटा प्राप्त करना होगा। यहाँ सबसे बड़ी सार्वजनिक रूप से उपलब्ध भावना डेटाबेस की एक सूची है जो मैं जानता हूँ। इन डेटाबेस में छवियां और वीडियो मैन्युअल रूप से टैग किए गए थे, कुछ में अमेज़ॅन मैकेनिकल तुर्क का उपयोग किया गया था।

भावनाओं के वर्गीकरण के लिए क्लासिक दृष्टिकोण

चेहरे की छवि से भावनाओं को निर्धारित करने का सबसे आसान तरीका मुख्य बिंदुओं (चेहरे के स्थान) के वर्गीकरण पर आधारित है, जिसके निर्देशांक विभिन्न एल्गोरिदम पीडीएम , सीएमएल , एएएम , डीपीएम या सीएनएन का उपयोग करके प्राप्त किया जा सकता है। आमतौर पर 5 से 68 बिंदुओं को चिह्नित करते हैं, उन्हें भौंहों, आंखों, होंठ, नाक, जबड़े की स्थिति से बांधते हैं, जो आपको चेहरे के भावों को आंशिक रूप से पकड़ने की अनुमति देता है। अंकों के सामान्यीकृत निर्देशांक को सीधे क्लासिफायर (उदाहरण के लिए, एसवीएम या रैंडम फ़ॉरेस्ट) में जमा किया जा सकता है और एक मूल समाधान प्राप्त कर सकते हैं। स्वाभाविक रूप से, व्यक्तियों की स्थिति को संरेखित किया जाना चाहिए।

दृश्य घटक के बिना निर्देशांक के सरल उपयोग से उपयोगी जानकारी का एक महत्वपूर्ण नुकसान होता है, इसलिए, सिस्टम को बेहतर बनाने के लिए विभिन्न बिंदुओं की गणना इन बिंदुओं पर की जाती है: LBP , HOG , SIFT , LATCH , आदि। यदि वर्णनकर्ता संक्षिप्त हो जाते हैं और पीसीए का उपयोग करके आयाम कम कर दिया जाता है, तो परिणामस्वरूप फीचर वेक्टर को वर्गीकरण के लिए उपयोग किया जा सकता है। भावनाओं।

लेख का लिंक

हालांकि, यह दृष्टिकोण पहले से ही अप्रचलित माना जाता है, क्योंकि यह ज्ञात है कि दृश्य डेटा के विश्लेषण के लिए गहरी दृढ़ संकल्प नेटवर्क सबसे अच्छा विकल्प हैं।

गहरी शिक्षा का उपयोग करके भावनाओं का वर्गीकरण

एक तंत्रिका नेटवर्क क्लासिफायरियर बनाने के लिए, यह एक बुनियादी वास्तुकला के साथ कुछ नेटवर्क लेने के लिए पर्याप्त है, जो पहले ImageNet पर प्रशिक्षित था, और अंतिम कुछ परतों को फिर से संवारना था। तो आप विभिन्न डेटा को वर्गीकृत करने के लिए एक अच्छा बुनियादी समाधान प्राप्त कर सकते हैं, लेकिन कार्य की बारीकियों को ध्यान में रखते हुए, बड़े पैमाने पर चेहरे की पहचान के कार्यों के लिए उपयोग किए जाने वाले तंत्रिका नेटवर्क अधिक उपयुक्त होंगे।

इसलिए, व्यक्तिगत छवियों के लिए एक भावना वर्गीकरण बनाने के लिए यह काफी सरल है, लेकिन जैसा कि हमें पता चला है, स्नैपशॉट किसी भी स्थिति में किसी व्यक्ति द्वारा अनुभव की गई सच्ची भावनाओं को बिल्कुल सटीक रूप से प्रतिबिंबित नहीं करते हैं। इसलिए, सिस्टम की सटीकता बढ़ाने के लिए, फ्रेम के अनुक्रम का विश्लेषण करना आवश्यक है। ऐसा करने के दो तरीके हैं। पहला तरीका सीएनएन से प्राप्त उच्च-स्तरीय विशेषताओं को खिलाना है जो समय घटक पर कब्जा करने के लिए प्रत्येक व्यक्ति फ्रेम को एक आवर्तक नेटवर्क (जैसे, एलएसटीएम) में वर्गीकृत करता है।

लेख का लिंक

दूसरा तरीका वीडियो से लिए गए फ्रेम के एक क्रम को सीधे कुछ चरणों में 3 डी-सीएनएन इनपुट में फीड करना है। इसी तरह की सीएनएन स्वतंत्रता के तीन डिग्री के साथ संकल्पों का उपयोग करती है जो चार-आयामी इनपुट को तीन-आयामी सुविधा नक्शे में बदल देती है।

लेख का लिंक

वास्तव में, सामान्य मामले में, इन दोनों दृष्टिकोणों को इस तरह के एक राक्षस का निर्माण करके जोड़ा जा सकता है।

लेख का लिंक

भावनाओं का भाषण वर्गीकरण

दृश्य डेटा के आधार पर, भावना का संकेत उच्च सटीकता के साथ भविष्यवाणी की जा सकती है, लेकिन तीव्रता का निर्धारण करते समय भाषण संकेतों का उपयोग करना बेहतर होता है। भाषण अवधि और स्पीकर की आवाज़ की उच्च परिवर्तनशीलता के कारण ऑडियो का विश्लेषण करना थोड़ा अधिक कठिन है। आमतौर पर, वे मूल ध्वनि तरंग का उपयोग नहीं करते हैं, लेकिन विशेषताओं के विभिन्न सेट, उदाहरण के लिए: F0, MFCC, LPC, i-vectors, आदि। भाषण द्वारा भावनाओं को पहचानने की समस्या में, OpenSMILE ओपन लाइब्रेरी की एक अच्छी प्रतिष्ठा है । इसमें भाषण और संगीत का विश्लेषण करने के लिए एल्गोरिदम का एक समृद्ध सेट शामिल है। संकेत है। निष्कर्षण के बाद, वर्गीकरण के लिए एसवीएम या एलएसटीएम को विशेषताएँ प्रस्तुत की जा सकती हैं।

हाल ही में, हालांकि, संवेदी तंत्रिका नेटवर्क ने ध्वनि विश्लेषण के क्षेत्र में भी प्रवेश करना शुरू कर दिया है, स्थापित दृष्टिकोणों को विस्थापित करना। उन्हें लागू करने के लिए, ध्वनि को रेखीय या मेल-स्केल में स्पेक्ट्रोग्राम के रूप में दर्शाया जाता है, जिसके बाद उन्हें प्राप्त स्पेक्ट्रोग्राम के साथ साधारण दो-आयामी छवियों के साथ संचालित किया जाता है। इस मामले में, समय अक्ष के साथ स्पेक्ट्रोग्राम के मनमाने आकार की समस्या को सांख्यिकीय पूलिंग का उपयोग करके या वास्तुकला में एक आवर्तक नेटवर्क को शामिल करके हल किया जाता है।

लेख का लिंक

भावनाओं की श्रव्य मान्यता

इसलिए, हमने ऑडियो और वीडियो मोडैलिटी के विश्लेषण के लिए कई दृष्टिकोणों की जांच की, अंतिम चरण बने रहे - अंतिम समाधान के आउटपुट के लिए क्लासिफायर का संयोजन। सबसे सरल तरीका है कि वे सीधे अपनी रेटिंग को मिलाएं। इस मामले में, यह अधिकतम या औसत लेने के लिए पर्याप्त है। एक अधिक कठिन विकल्प प्रत्येक मोडेलिटी के लिए एम्बेडिंग स्तर पर संयोजन करना है। एसवीएम का उपयोग अक्सर इसके लिए किया जाता है, लेकिन यह हमेशा सही नहीं होता है, क्योंकि एम्बेडिंग की दर अलग हो सकती है। इस संबंध में, अधिक उन्नत एल्गोरिदम विकसित किए गए, उदाहरण के लिए: मल्टीपल कर्नेल लर्निंग और मोडड्रॉप ।

और निश्चित रूप से, यह तथाकथित एंड-टू-एंड समाधानों के वर्ग का उल्लेख करने योग्य है, जिन्हें बिना किसी प्रारंभिक प्रसंस्करण के कई सेंसर से सीधे कच्चे डेटा पर प्रशिक्षित किया जा सकता है।

सामान्य तौर पर, भावनाओं की स्वचालित पहचान का कार्य अभी भी हल होने से दूर है। पिछले साल के इमोशन रिकॉग्निशन इन द वाइल्ड कॉन्टेस्ट के परिणामों को देखते हुए, सर्वश्रेष्ठ समाधान लगभग 60% सटीकता प्राप्त करते हैं। मुझे उम्मीद है कि इस लेख में प्रस्तुत जानकारी भावनाओं को पहचानने के लिए हमारी खुद की प्रणाली बनाने की कोशिश करने के लिए पर्याप्त होगी।