एक संवेदी तंत्रिका नेटवर्क का उपयोग कर भावना पहचान

भावनाओं को पहचानना हमेशा वैज्ञानिकों के लिए एक रोमांचक चुनौती रही है। हाल ही में, मैं इस तकनीक की क्षमता को समझने के लिए एक प्रयोगात्मक SER प्रोजेक्ट (स्पीच इमोशन रिकॉग्निशन) पर काम कर रहा हूँ - इसके लिए मैंने गितुब पर सबसे लोकप्रिय रिपॉजिटरी का चयन किया और उन्हें अपनी परियोजना का आधार बनाया।

इससे पहले कि हम परियोजना को समझना शुरू करें, यह याद रखना अच्छा होगा कि किस तरह की अड़चनें SER हैं।

मुख्य बाधाएं

• भावनाएं व्यक्तिपरक हैं, यहां तक ​​कि लोग उन्हें अलग तरीके से व्याख्या करते हैं। "भावना" की अवधारणा को परिभाषित करना मुश्किल है;
• ऑडियो पर टिप्पणी करना कठिन है। क्या हमें किसी एक शब्द, वाक्य या सम्पूर्ण संचार को किसी तरह चिह्नित करना चाहिए? मान्यता में किस तरह की भावनाओं का उपयोग करने का एक सेट?
• डेटा एकत्र करना भी आसान नहीं है। फिल्मों और समाचारों से बहुत सारे ऑडियो डेटा एकत्र किए जा सकते हैं। हालाँकि, दोनों स्रोत "पक्षपातपूर्ण" हैं क्योंकि समाचार तटस्थ होना चाहिए, और अभिनेताओं की भावनाओं को निभाया जाता है। ऑडियो डेटा का "उद्देश्य" स्रोत खोजना मुश्किल है।
• मार्कअप डेटा के लिए बड़े मानव और समय संसाधनों की आवश्यकता होती है। छवियों पर फ़्रेम खींचने के विपरीत, इसे पूरी तरह से ऑडियो रिकॉर्डिंग सुनने, उनका विश्लेषण करने और टिप्पणियां प्रदान करने के लिए विशेष रूप से प्रशिक्षित कर्मियों की आवश्यकता होती है। और फिर इन टिप्पणियों को कई अन्य लोगों द्वारा सराहना की जानी चाहिए, क्योंकि रेटिंग व्यक्तिपरक हैं।

परियोजना विवरण

ऑडियो रिकॉर्डिंग में भावनाओं को पहचानने के लिए एक दृढ़ तंत्रिका नेटवर्क का उपयोग करना। और हां, भंडार के मालिक ने किसी भी स्रोत का उल्लेख नहीं किया।

डेटा विवरण

दो डेटासेट हैं जिनका उपयोग RAVDESS और SAVEE रिपॉजिटरी में किया गया था, मैंने अभी अपने मॉडल में RAVDESS को अनुकूलित किया है। RAVDESS संदर्भ में दो प्रकार के डेटा हैं: भाषण और गीत।

दसेटसेट (द रायसन ऑडियो-विजुअल डाटाबेस ऑफ इमोशनल स्पीच एंड सॉन्ग) :

• 12 अभिनेताओं और 12 अभिनेत्रियों ने अपने प्रदर्शन में अपने भाषण और गाने रिकॉर्ड किए;
• अभिनेता # 18 में कोई रिकॉर्डेड गीत नहीं है;
• भावनाएं घृणा (घृणा), तटस्थ (तटस्थ) और आश्चर्य (आश्चर्य) "गीत" डेटा में अनुपस्थित हैं।

भावनाओं का टूटना:


भावना वितरण चार्ट:

फ़ीचर निष्कर्षण

जब हम वाक् पहचान कार्यों के साथ काम करते हैं, तो सिफस्ट्रल गुणांक (एमएफसीसी) एक उन्नत तकनीक है, इस तथ्य के बावजूद कि यह 80 के दशक में दिखाई दिया था।

एमएफसीसी ट्यूटोरियल से उद्धरण:

यह आकृति निर्धारित करती है कि आउटपुट साउंड क्या है। यदि हम फॉर्म को इंगित कर सकते हैं, तो यह हमें ध्वनिबद्ध ध्वनि का सटीक प्रतिनिधित्व देगा। मुखर पथ का आकार एक छोटे स्पेक्ट्रम के एक लिफाफे में ही प्रकट होता है, और एमएफसीसी का काम इस लिफाफे को सही ढंग से प्रदर्शित करना है।

तरंग


spectrogram

हम MFCC का उपयोग एक इनपुट सुविधा के रूप में करते हैं। यदि आप एमएफसीसी के बारे में अधिक जानने में रुचि रखते हैं, तो यह ट्यूटोरियल आपके लिए है। डेटा डाउनलोड करना और इसे एमएफसीसी प्रारूप में परिवर्तित करना, लिब्रोसा पायथन पैकेज का उपयोग करके आसानी से किया जा सकता है।

डिफ़ॉल्ट मॉडल वास्तुकला

लेखक ने केरस पैकेज का उपयोग करके एक सीएनएन मॉडल विकसित किया, जिसमें 7 परतें - छह कॉन 1 डी परत और एक घनत्व परत (डेंस) का निर्माण किया गया।

model = Sequential() model.add(Conv1D(256, 5,padding='same', input_shape=(216,1))) #1 model.add(Activation('relu')) model.add(Conv1D(128, 5,padding='same')) #2 model.add(Activation('relu')) model.add(Dropout(0.1)) model.add(MaxPooling1D(pool_size=(8))) model.add(Conv1D(128, 5,padding='same')) #3 model.add(Activation('relu')) #model.add(Conv1D(128, 5,padding='same')) #4 #model.add(Activation('relu')) #model.add(Conv1D(128, 5,padding='same')) #5 #model.add(Activation('relu')) #model.add(Dropout(0.2)) model.add(Conv1D(128, 5,padding='same')) #6 model.add(Activation('relu')) model.add(Flatten()) model.add(Dense(10)) #7 model.add(Activation('softmax')) opt = keras.optimizers.rmsprop(lr=0.00001, decay=1e-6) 

लेखक ने नवीनतम रिलीज़ (18 सितंबर, 2018) में परतों 4 और 5 पर टिप्पणी की और इस मॉडल का अंतिम फ़ाइल आकार प्रदान किए गए नेटवर्क में फिट नहीं है, इसलिए मैं सटीकता में समान परिणाम प्राप्त नहीं कर सकता हूं - 72%।

मॉडल को केवल पैरामीटर batch_size=16 और epochs=700 साथ प्रशिक्षित किया जाता है, बिना किसी प्रशिक्षण कार्यक्रम के आदि।

 # Compile Model model.compile(loss='categorical_crossentropy', optimizer=opt,metrics=['accuracy']) # Fit Model cnnhistory=model.fit(x_traincnn, y_train, batch_size=16, epochs=700, validation_data=(x_testcnn, y_test)) 

यहाँ categorical_crossentropy नुकसान का एक कार्य है, और मूल्यांकन का माप सटीकता है।

मेरा प्रयोग

व्याख्यात्मक डेटा विश्लेषण

RAVDESS डाटासेट में, प्रत्येक अभिनेता 8 भावनाओं को दर्शाता है, उच्चारण करता है और गाता है 2 वाक्य, 2 बार प्रत्येक। नतीजतन, प्रत्येक अभिनेता से प्रत्येक भावना के 4 उदाहरण प्राप्त होते हैं, जो उपरोक्त तटस्थ भावनाओं, घृणा और आश्चर्य के अपवाद के साथ हैं। प्रत्येक ऑडियो लगभग 4 सेकंड तक रहता है, पहले और आखिरी सेकंड में यह सबसे अधिक बार मौन होता है।

विशिष्ट प्रस्ताव :

देख

जब मैंने 1 अभिनेता और 1 अभिनेत्री के डेटासेट का चयन किया, और फिर उनके सभी रिकॉर्ड सुने, तो मैंने महसूस किया कि पुरुष और महिलाएं अपनी भावनाओं को अलग-अलग तरीके से व्यक्त करते हैं। उदाहरण के लिए:

• पुरुष क्रोध (गुस्से में) सिर्फ जोर से है;
• पुरुषों की खुशी (खुश) और हताशा (दुःख) - "मौन" के दौरान हंसने और रोने की आवाज़ में एक विशेषता;
• महिला खुशी (हैप्पी), क्रोध (गुस्सा) और हताशा (दुख) जोर से हैं;
• महिला घृणा (घृणा) में उल्टी की आवाज होती है।

प्रयोग पुनरावृत्ति

लेखक ने डेटासेट की RAVDESS 10-वर्गीय मान्यता बनाने के लिए तटस्थ, घृणा और आश्चर्यचकित करने वाली कक्षाओं को हटा दिया। लेखक के अनुभव को दोहराने की कोशिश करते हुए, मुझे यह परिणाम मिला:



हालाँकि, मुझे पता चला कि डेटा लीक तब होता है जब सत्यापन के लिए डेटासेट डेटासेट के समान होता है। इसलिए, मैंने डेटा के अलगाव को दोहराया, दो अभिनेताओं और दो अभिनेत्रियों के डेटासेट को अलग किया ताकि वे परीक्षण में दिखाई न दें:

• अभिनेताओं 1 से 20 का उपयोग ट्रेन / वैध सेटों के लिए 8: 2 अनुपात में किया जाता है;
• 21 से 24 के अभिनेताओं को परीक्षणों से अलग किया जाता है;
• ट्रेन सेट पैरामीटर: (1248, 216, 1);
• वैध सेट पैरामीटर: (312, 216, 1);
• टेस्ट सेट पैरामीटर: (320, 216, 1) - (पृथक)।

मैंने मॉडल को फिर से प्रशिक्षित किया और इसका परिणाम है:

प्रदर्शन परीक्षण

ट्रेन वैलिड ग्रॉस ग्राफ से यह स्पष्ट है कि चयनित 10 वर्गों के लिए कोई अभिसरण नहीं है। इसलिए, मैंने मॉडल की जटिलता को कम करने और केवल पुरुष भावनाओं को छोड़ने का फैसला किया। मैंने परीक्षण सेट में दो अभिनेताओं को अलग कर दिया, और बाकी को ट्रेन / वैध सेट, 8: 2 अनुपात में डाल दिया। यह सुनिश्चित करता है कि डेटासेट में कोई असंतुलन न हो। फिर मैंने परीक्षण करने के लिए पुरुष और महिला डेटा को अलग-अलग रखा।

पुरुष डेटासेट

• ट्रेन सेट - अभिनेताओं से 640 नमूने 1-10;
• वैध सेट - अभिनेताओं से 160 नमूने 1-10;
• टेस्ट सेट - अभिनेताओं के 11-12 से 160 नमूने।

संदर्भ पंक्ति: पुरुष


महिला डाटासेट

• ट्रेन सेट - अभिनेत्रियों से 608 नमूने 1-10;
• मान्य सेट - अभिनेत्रियों से 152 नमूने 1-10;
• टेस्ट सेट - अभिनेत्रियों के 11-12 से 160 नमूने।

संदर्भ पंक्ति: महिलाएँ


जैसा कि आप देख सकते हैं, त्रुटि मैट्रिक्स अलग हैं।

पुरुष: एंग्री और हैप्पी मॉडल में मुख्य अनुमानित वर्ग हैं, लेकिन वे एक जैसे नहीं हैं।

महिला: विकार (दुख) और खुशी (हैप्पी) - मूल रूप से मॉडल में अनुमानित कक्षाएं; क्रोध और खुशी आसानी से भ्रमित हैं।

इंटेलिजेंस डेटा विश्लेषण से टिप्पणियों को याद करते हुए, मुझे संदेह है कि महिला एंग्री और हैप्पी भ्रम के बिंदु के समान हैं, क्योंकि उनकी अभिव्यक्ति का तरीका बस अपनी आवाज उठाना है।

उसके ऊपर, मैं उत्सुक हूं कि अगर मैं मॉडल को और भी सरल कर दूं, तो केवल पॉजिटिव, न्यूट्रल और नेगेटिव क्लास छोड़ दूं। या केवल सकारात्मक और नकारात्मक। संक्षेप में, मैंने भावनाओं को क्रमशः 2 और 3 वर्गों में बांटा।

2 कक्षाएं:

• सकारात्मक: खुशी (हैप्पी), शांत (शांत);
• नकारात्मक: क्रोध, भय (डर), निराशा (उदास)।

3 कक्षाएं:

• सकारात्मक: खुशी (खुश);
• तटस्थ: शांत (शांत), तटस्थ (तटस्थ);
• नकारात्मक: क्रोध, भय (डर), निराशा (उदास)।

प्रयोग शुरू करने से पहले, मैंने 5-वर्ग की पहचान बनाते हुए, पुरुष डेटा का उपयोग करते हुए मॉडल आर्किटेक्चर की स्थापना की।

 #   -  target_class = 5 #  model = Sequential() model.add(Conv1D(256, 8, padding='same',input_shape=(X_train.shape[1],1))) #1 model.add(Activation('relu')) model.add(Conv1D(256, 8, padding='same')) #2 model.add(BatchNormalization()) model.add(Activation('relu')) model.add(Dropout(0.25)) model.add(MaxPooling1D(pool_size=(8))) model.add(Conv1D(128, 8, padding='same')) #3 model.add(Activation('relu')) model.add(Conv1D(128, 8, padding='same')) #4 model.add(Activation('relu')) model.add(Conv1D(128, 8, padding='same')) #5 model.add(Activation('relu')) model.add(Conv1D(128, 8, padding='same')) #6 model.add(BatchNormalization()) model.add(Activation('relu')) model.add(Dropout(0.25)) model.add(MaxPooling1D(pool_size=(8))) model.add(Conv1D(64, 8, padding='same')) #7 model.add(Activation('relu')) model.add(Conv1D(64, 8, padding='same')) #8 model.add(Activation('relu')) model.add(Flatten()) model.add(Dense(target_class)) #9 model.add(Activation('softmax')) opt = keras.optimizers.SGD(lr=0.0001, momentum=0.0, decay=0.0, nesterov=False) 

मैंने Conv1D की 2 परतें, MaxPooling1D की एक परत और BarchNormalization की 2 परतें जोड़ीं; मैंने ड्रॉपआउट मान को 0.25 में भी बदल दिया। अंत में, मैंने 0.0001 की सीखने की गति के साथ ऑप्टिमाइज़र को SGD में बदल दिया।

 lr_reduce = ReduceLROnPlateau(monitor='val_loss', factor=0.9, patience=20, min_lr=0.000001) mcp_save = ModelCheckpoint('model/baseline_2class_np.h5', save_best_only=True, monitor='val_loss', mode='min') cnnhistory=model.fit(x_traincnn, y_train, batch_size=16, epochs=700, validation_data=(x_testcnn, y_test), callbacks=[mcp_save, lr_reduce]) 

मॉडल को प्रशिक्षित करने के लिए, मैंने "प्रशिक्षण पठार" में कमी लागू की और केवल वेल्यू के न्यूनतम मूल्य के साथ सबसे अच्छे मॉडल को val_loss । और यहाँ विभिन्न लक्ष्य वर्गों के लिए परिणाम हैं।

नया मॉडल प्रदर्शन

पुरुष, 5 वर्ग



महिला, ग्रेड 5

पुरुष, ग्रेड 2


पुरुष, 3 वर्ग

वृद्धि (वृद्धि)

जब मैंने मॉडल की वास्तुकला, आशावादी और प्रशिक्षण की गति को मजबूत किया, तो यह पता चला कि मॉडल अभी भी प्रशिक्षण मोड में नहीं जुटा है। मैंने सुझाव दिया कि यह डेटा मात्रा की समस्या है, क्योंकि हमारे पास केवल 800 नमूने हैं। यह मुझे ऑडियो बढ़ाने के तरीकों की ओर ले गया, अंत में मैंने डेटासेट को दोगुना कर दिया। आइए इन तरीकों पर एक नज़र डालें।

पुरुष, 5 वर्ग

गतिशील वृद्धि

 def dyn_change(data): """    """ dyn_change = np.random.uniform(low=1.5,high=3) return (data * dyn_change) 

पिच का समायोजन

 def pitch(data, sample_rate): """    """ bins_per_octave = 12 pitch_pm = 2 pitch_change = pitch_pm * 2*(np.random.uniform()) data = librosa.effects.pitch_shift(data.astype('float64'), sample_rate, n_steps=pitch_change, bins_per_octave=bins_per_octave) 

विस्थापन

 def shift(data): """   """ s_range = int(np.random.uniform(low=-5, high = 5)*500) return np.roll(data, s_range) 

सफेद शोर जोड़ना

 def noise(data): """    """ #     : https://docs.scipy.org/doc/numpy-1.13.0/reference/routines.random.html noise_amp = 0.005*np.random.uniform()*np.amax(data) data = data.astype('float64') + noise_amp * np.random.normal(size=data.shape[0]) return data 

यह ध्यान देने योग्य है कि वृद्धि सामान्य स्थिति में 70 +% तक सटीकता बढ़ाती है। विशेष रूप से सफेद के अलावा के मामले में, जो सटीकता को 87.19% तक बढ़ाता है - हालांकि, परीक्षण सटीकता और एफ 1 माप 5% से अधिक गिरता है। और फिर मुझे बेहतर परिणाम के लिए कई वृद्धि विधियों को संयोजित करने का विचार आया।

कई तरीकों का मेल

सफेद शोर + पूर्वाग्रह

पुरुषों पर परीक्षण वृद्धि

पुरुष, ग्रेड 2

सफेद शोर + पूर्वाग्रह

सभी नमूनों के लिए


सफेद शोर + पूर्वाग्रह

केवल सकारात्मक नमूनों के लिए, चूंकि 2-श्रेणी का सेट असंतुलित (नकारात्मक नमूनों की ओर) है।


पिच + सफेद शोर
सभी नमूनों के लिए


पिच + सफेद शोर

केवल सकारात्मक नमूनों के लिए

निष्कर्ष

अंत में, मैं केवल एक पुरुष डाटासेट के साथ प्रयोग करने में सक्षम था। मैंने असंतुलन से बचने के लिए डेटा को फिर से विभाजित किया, और परिणामस्वरूप, डेटा रिसाव। मैंने पुरुष स्वरों के साथ प्रयोग करने के लिए मॉडल स्थापित किया, जैसा कि मैं शुरू करने के लिए मॉडल को सरल बनाना चाहता था। मैंने विभिन्न वृद्धि विधियों का उपयोग करके परीक्षण भी किए; सफेद शोर और पूर्वाग्रह के अलावा असंतुलित आंकड़ों पर अच्छा काम किया है।

निष्कर्ष

• भावनाओं को व्यक्तिपरक और तय करना मुश्किल है;
• अग्रिम में यह निर्धारित करना आवश्यक है कि कौन सी भावनाएं परियोजना के लिए उपयुक्त हैं;
• हमेशा गितुब के साथ सामग्री पर भरोसा न करें, भले ही इसमें कई सितारे हों;
• डेटा साझाकरण - इसे ध्यान में रखें;
• खोजपूर्ण डेटा विश्लेषण हमेशा एक अच्छा विचार देता है, लेकिन ऑडियो डेटा के साथ काम करने के लिए आपको धैर्य रखने की आवश्यकता होती है;
• निर्धारित करें कि आप अपने मॉडल के इनपुट को क्या देंगे: एक वाक्य, एक संपूर्ण रिकॉर्ड या एक विस्मयादिबोधक।
• SER में डेटा की कमी एक महत्वपूर्ण सफलता कारक है, हालांकि, भावनाओं के साथ एक अच्छा डेटासेट बनाना एक जटिल और महंगा काम है;
• डेटा की कमी के मामले में अपने मॉडल को सरल बनाएं।

और सुधार

• मैंने समग्र डेटा आकार को कम करने के लिए इनपुट के रूप में केवल पहले 3 सेकंड का उपयोग किया था - मूल परियोजना ने 2.5 सेकंड का उपयोग किया। मैं पूर्ण आकार की रिकॉर्डिंग के साथ प्रयोग करना चाहूंगा;
• आप डेटा को पूर्व-संसाधित कर सकते हैं: चुप्पी को ट्रिम कर सकते हैं, जीरो के साथ पैडिंग करके लंबाई को सामान्य कर सकते हैं, आदि;
• इस कार्य के लिए पुनरावर्ती तंत्रिका नेटवर्क का प्रयास करें।