GMM-UBM मॉडल और MAP अनुकूलन एल्गोरिथ्म पर आधारित विचलन

हाय, हैब्र। मैं स्पीकर डिराइजेशन की समस्या को हल करने के तरीकों में से एक के बारे में बात करना चाहता हूं और यह बताना चाहता हूं कि इस विधि को अजगर में कैसे लागू किया जा सकता है। पाठक को भयभीत न करने के लिए, मैं जटिल गणितीय सूत्र नहीं दूंगा (आंशिक रूप से क्योंकि मैं स्वयं "एक वास्तविक वेल्डर नहीं हूं"), लेकिन मैं सरल भाषा में सब कुछ समझाने और इस तरह से सब कुछ बताने की कोशिश करूंगा कि एक डेवलपर जिसने पहले कभी मशीन सीखने का सामना नहीं किया है, वह समझ गया है।

इस लेख को लिखने की तैयारी में, मैंने दो विकल्पों के बीच चयन किया: उन लोगों के लिए जो पहले से ही डेटा साइंस से परिचित हैं और जो केवल अच्छी तरह से प्रोग्राम करते हैं। अंत में, मैंने दूसरा विकल्प चुना, यह तय करते हुए कि यह डीएस की क्षमताओं का अच्छा प्रदर्शन होगा।

समस्या का बयान

जैसा कि विकिपीडिया हमें बताता है, विचलन एक आने वाली ऑडियो स्ट्रीम को सजातीय खंडों में विभाजित करने की प्रक्रिया है जिसके अनुसार ऑडियो स्ट्रीम एक या दूसरे स्पीकर से संबंधित है। दूसरे शब्दों में, रिकॉर्ड को टुकड़ों में विभाजित किया जाना चाहिए और गिना जाना चाहिए: एक व्यक्ति इन स्थानों में बोलता है, और दूसरा इन स्थानों में। मशीन लर्निंग के दृष्टिकोण से, इस तरह के कार्य शिक्षक के बिना सीखने के वर्ग से संबंधित हैं और इन्हें क्लस्टरिंग कहा जाता है। आप उदाहरण के लिए, यहां या यहां कौन सी क्लस्टरिंग विधियां मौजूद हैं, इसके बारे में पढ़ सकते हैं, लेकिन मैं केवल उन लोगों के बारे में चर्चा करूंगा जो हमारे लिए उपयोगी हैं - यह एक गाऊसी मिश्रण मॉडल और स्पेक्ट्रल क्लस्टरिंग है। लेकिन उनके बारे में थोड़ी देर बाद।
चलिए शुरुआत से ही शुरू करते हैं।

पर्यावरण की तैयारी

आम तौर पर, आर के अलावा, पायथन डेटा साइंस की समस्याओं को हल करने के लिए मुख्य भाषा है, और अगर आपने अभी तक इस पर प्रोग्राम करने की कोशिश नहीं की है, तो मैं इसे करने की अत्यधिक सलाह देता हूं, क्योंकि अजगर आपको कई चीजों को सुरुचिपूर्ण ढंग से करने की अनुमति देता है, शाब्दिक रूप से कुछ पंक्तियों में (वैसे, वहाँ हैं) ऐसी भी मेम)।

अजगर की दो अलग-अलग विकासशील शाखाएं हैं - संस्करण 2 और 3. मेरे उदाहरण में, मैंने संस्करण 3.6 का उपयोग किया, लेकिन यदि वांछित है, तो उन्हें आसानी से 2.7 संस्करण में पोर्ट किया जा सकता है। एनाकोंडा इंस्टॉलर के साथ इन शाखाओं में से किसी एक को तैनात करना सुविधाजनक है, जिसे स्थापित करके आप तुरंत विकास के लिए एक इंटरैक्टिव शेल प्राप्त करेंगे - आईपीथॉन।

विकास के माहौल के अलावा, अतिरिक्त पुस्तकालयों की आवश्यकता होगी: लिब्रोसा (ऑडियो और एक्स्ट्रेक्टिंग विशेषताओं के साथ काम करने के लिए), वेब्रटक्वाड (विभाजन के लिए) और अचार (एक फ़ाइल के लिए प्रशिक्षित मॉडल लिखने के लिए)। उन सभी को एनाकोंडा प्रॉम्प्ट में एक साधारण कमांड द्वारा स्थापित किया गया है।

pip install [library] 

फ़ीचर निष्कर्षण

आइए सुविधाओं के निष्कर्षण से शुरू करें - डेटा जो मशीन लर्निंग मॉडल के साथ काम करेगा। सिद्धांत रूप में, ध्वनि संकेत स्वयं पहले से ही डेटा है, अर्थात् ध्वनि आयाम मानों का एक क्रमबद्ध सरणी, जिसमें एक हेडर जोड़ा जाता है जिसमें चैनल की संख्या, नमूना आवृत्ति और अन्य जानकारी होती है। लेकिन हम सीधे इस डेटा का विश्लेषण नहीं कर पाएंगे, क्योंकि इसमें ऐसी चीजें शामिल नहीं हैं, जिन्हें देखते हुए, हमारा मॉडल कह सकता है - हाँ, ये टुकड़े एक ही व्यक्ति के हैं।

भाषण प्रसंस्करण कार्यों में, निष्कर्षण सुविधाओं के लिए कई दृष्टिकोण हैं। उनमें से एक मेल फ्रिक्वेंसी सिफस्ट्रल गुणांक प्राप्त करना है। वे पहले से ही यहां के बारे में लिखे गए हैं, इसलिए मैं आपको केवल थोड़ा याद दिलाऊंगा।


मूल सिग्नल को 16-40 एमएस की लंबाई के साथ फ्रेम में काटा जाता है। फिर, फ्रेम में एक हेमिंग विंडो को लागू करते हुए, वे एक तेज फूरियर रूपांतरण करते हैं और पावर वर्णक्रमीय घनत्व प्राप्त करते हैं। फिर, चाक पैमाने पर समान रूप से व्यवस्थित फिल्टर के एक विशेष "कंघी" के साथ, एक चॉक स्पेक्ट्रोग्राम बनाया जाता है, जिसके लिए एक असतत कोसाइन ट्रांसफॉर्म (डीसीटी) लागू किया जाता है - एक व्यापक रूप से उपयोग किए जाने वाले डेटा संपीड़न एल्गोरिथ्म। इस प्रकार प्राप्त किए गए गुणांक फ्रेम की एक प्रकार की संपीड़ित विशेषता है, और चूंकि जो फ़िल्टर हमने उपयोग किए थे वे चाक पैमाने में स्थित थे, गुणांक मानव कान की धारणा की सीमा में अधिक जानकारी रखते हैं। आमतौर पर, प्रति फ्रेम 13 से 25 एमएफसीसी का उपयोग किया जाता है। चूंकि स्पेक्ट्रम के अलावा, आवाज का व्यक्तित्व गति और त्वरण द्वारा बनता है, एमएफसीसी को पहले और दूसरे डेरिवेटिव के साथ जोड़ा जाता है।

सामान्य तौर पर, एमएफसीसी भाषण के साथ काम करने के लिए सबसे आम विकल्प है, लेकिन उनके अलावा, अन्य संकेत भी हैं - एलपीसी (रैखिक भविष्यवाचक कोडिंग) और पीएलपी (अवधारणात्मक रैखिक भविष्यवाणी), और कभी-कभी आप एफएफसीसी भी पा सकते हैं, जहां चॉक स्केल के बजाय रैखिक का उपयोग किया जाता है।

आइए देखें कि अजगर में एमएफसीसी कैसे निकालना है।

 import numpy as np import librosa mfcc=librosa.feature.mfcc(y=y, sr=sr, hop_length=int(hop_seconds*sr), n_fft=int(window_seconds*sr), n_mfcc=n_mfcc) mfcc_delta=librosa.feature.delta(mfcc) mfcc_delta2=librosa.feature.delta(mfcc, order=2) stacked=np.vstack((mfcc, mfcc_delta, mfcc_delta2)) features=stacked.T #librosa   MFCC   ,       . 

जैसा कि आप देख सकते हैं, यह वास्तव में बस कुछ लाइनों में किया जाता है। अब पहले क्लस्टरिंग एल्गोरिथ्म पर चलते हैं।

गाऊसी मिश्रण मॉडल

गाऊसी वितरण के मिश्रण का एक मॉडल बताता है कि हमारा डेटा कुछ मापदंडों के साथ बहुआयामी गाऊसी वितरण का मिश्रण है।

यदि आप चाहें, तो आप आसानी से मॉडल का एक विस्तृत विवरण पा सकते हैं और इस मॉडल को प्रशिक्षित करने वाले ईएम एल्गोरिदम कैसे काम करते हैं, लेकिन मैंने जटिल सूत्रों से परेशान नहीं होने का वादा किया था और इसलिए मैं इस लेख से सुंदर उदाहरण दिखाऊंगा।

हम चार क्लस्टर बनाएंगे और उन्हें आकर्षित करेंगे।

 from sklearn.datasets.samples_generator import make_blobs X, y_true=make_blobs(n_samples=400, centers=4, cluster_std=0.60, random_state=0) plt.scatter(X[:, 0], X[:, 1]); 

हम अपने डेटा पर एक मॉडल बनाएंगे, फिर से प्रशिक्षण लेंगे और फिर से अंक बनाएंगे, लेकिन क्लस्टर सदस्यता के अनुमानित मॉडल को ध्यान में रखते हुए।

 from sklearn.mixture import GaussianMixture gmm = GaussianMixture(n_components=4) gmm.fit(X) labels=gmm.predict(X) plt.scatter(X[:, 0], X[:, 1], c=labels, s=40, cmap='viridis'); 

मॉडल ने कृत्रिम डेटा के साथ अच्छी तरह से मुकाबला किया। सिद्धांत रूप में, मिश्रण घटकों की संख्या और सहसंयोजक मैट्रिक्स के प्रकार (गाऊसी स्वतंत्रता की डिग्री की संख्या) को विनियमित करके, बल्कि जटिल डेटा का वर्णन किया जा सकता है।



इसलिए, हम जानते हैं कि डेटा पैरामीटर कैसे करना है और गॉसियन डिस्ट्रीब्यूशन के मिश्रण के एक मॉडल को प्रशिक्षित करने में सक्षम हैं। अब कोई भी माथे पर क्लस्टरिंग करने की कोशिश कर सकता है - संवाद से निकाले गए एमएफसीसी पर जीएमएम का प्रशिक्षण। और, शायद, कुछ आदर्श गोलाकार-वैक्यूम संवाद में, जिसमें प्रत्येक वक्ता अपने गौसियन में फिट होगा, हमें एक अच्छा परिणाम मिलेगा। यह स्पष्ट है कि वास्तव में ऐसा कभी नहीं होगा। वास्तव में, जीएमएम की मदद से, वे एक संवाद का मॉडल नहीं बनाते हैं, लेकिन एक संवाद में प्रत्येक व्यक्ति - अर्थात, वे कल्पना करते हैं कि निकाले गए संकेतों में प्रत्येक वक्ता की आवाज का वर्णन गौसियों के अपने स्वयं के सेट द्वारा किया गया है।
संक्षेप में, हम धीरे-धीरे मुख्य विषय पर पहुंच रहे हैं।

विभाजन

परंपरागत रूप से, डायराइजेशन प्रक्रिया में तीन लगातार ब्लॉक होते हैं - वॉयस डिटेक्शन (वॉयस एक्टिविटी डिटेक्शन), विभाजन और क्लस्टरिंग (ऐसे मॉडल हैं जिनमें अंतिम दो चरण संयुक्त होते हैं, LIA E-HMM देखें )।

पहले चरण में, भाषण को विभिन्न प्रकार के शोर से अलग किया जाता है। VAD एल्गोरिथ्म निर्धारित करता है कि क्या प्रस्तुत ऑडियो फ़ाइल का टुकड़ा एक भाषण है, या उदाहरण के लिए, यह एक जलपरी या किसी को छींक लगता है। यह स्पष्ट है कि इस तरह के एल्गोरिथ्म के लिए उच्च गुणवत्ता का होना आवश्यक है, एक शिक्षक के साथ प्रशिक्षण आवश्यक है। और यह बदले में इसका मतलब है कि आपको डेटा को चिह्नित करने की आवश्यकता है - दूसरे शब्दों में, भाषण की रिकॉर्डिंग और सभी प्रकार के शोर के साथ एक डेटाबेस बनाएं। हम इसे आलसी रूप से करेंगे - एक तैयार वीएडी लें , जो पूरी तरह से काम नहीं करता है, लेकिन शुरुआत के लिए हमारे पास पर्याप्त है।

दूसरा ब्लॉक भाषण डेटा को एक सक्रिय स्पीकर के साथ खंडों में काटता है। इस संबंध में क्लासिक दृष्टिकोण बेयसियन सूचना मानदंड - बीआईसी के आधार पर स्पीकर परिवर्तन का निर्धारण करने के लिए एल्गोरिदम है। इस पद्धति का सार इस प्रकार है - एक स्लाइडिंग विंडो ऑडियो रिकॉर्डिंग के माध्यम से जाती है और पास के प्रत्येक बिंदु पर वे सवाल का जवाब देते हैं: "इस जगह का डेटा कैसे बेहतर रूप से वर्णित है - एक वितरण या दो?" इस प्रश्न का उत्तर देने के लिए, पैरामीटर की गणना की जाती है $$$\ Delta BIC$ , जिसके संकेत के आधार पर स्पीकर को बदलने का निर्णय लिया जाता है। समस्या यह है कि बार-बार स्पीकर परिवर्तन के मामले में, और यहां तक ​​कि शोर की उपस्थिति में भी यह विधि बहुत अच्छी तरह से काम नहीं करेगी (जो एक टेलीफोन वार्तालाप को रिकॉर्ड करने के लिए बहुत ही विशेषता है)।


उन स्थितियों में जब एनाउंसर्स एक-दूसरे को बाधित नहीं करते हैं और उनकी आवाज ओवरलैप नहीं होती है, तो VAD कि हम विभाजन के कार्य के साथ कम या ज्यादा कॉप का उपयोग करेंगे, इसलिए पहले दो चरण इस तरह दिखेंगे।

 #  y_, sr = librosa.load('data/2018-08-26-beseda-1616.mp3', sr=SR) #   pre-emphasis:    pre_emphasis = 0.97 y = np.append(y[0], y[1:] - pre_emphasis * y[:-1]) #       webrtcvad    vad = webrtcvad.Vad(2) #  VAD audio = np.int16(y/np.max(np.abs(y)) * 32767) frames = frame_generator(10, audio, sr) frames = list(frames) segments = vad_collector(sr, 50, 200, vad, frames) if not os.path.exists('data/chunks'): os.makedirs('data/chunks') for i, segment in enumerate(segments): chunk_name = 'data/chunks/chunk-%003d.wav' % (i,) # vad      ,     write_wave(chunk_name, segment[0: len(segment)-int(100*sr/1000)], sr) 

वास्तव में, लोग निश्चित रूप से एक ही समय में बोलेंगे। इसके अलावा, कुछ स्थानों पर VAD इस तथ्य के कारण फूट गया है कि रिकॉर्ड लाइव नहीं है, लेकिन एक ऐसा ग्लूइंग है जिसमें ठहराव कट जाता है। आप VAD की आक्रामकता को 2 से 3 तक बढ़ाते हुए, सेगमेंट में कटिंग दोहराने की कोशिश कर सकते हैं।

जीएमएम-यूबीएम

अब हमारे पास अलग-अलग खंड हैं, और हमने फैसला किया कि हम जीएमएम का उपयोग करके प्रत्येक स्पीकर को मॉडल करेंगे। हम खंड से संकेत निकालते हैं और इस डेटा पर हम मॉडल को प्रशिक्षित करते हैं। आइए इसे प्रत्येक सेगमेंट पर करें और परिणामी मॉडलों की एक-दूसरे से तुलना करें। यह उम्मीद करना उचित है कि एक ही व्यक्ति से संबंधित खंडों पर प्रशिक्षित मॉडल कुछ इसी तरह के होंगे। लेकिन यहां हमें निम्नलिखित समस्या का सामना करना पड़ रहा है, एक ऑडियो फ़ाइल से संकेतों को दूसरी बार 10 हर्ट्ज के विंडो आकार के साथ 8000 हर्ट्ज के नमूने की आवृत्ति के साथ निकालने पर, हमें 800 एमएफसीसी वैक्टर का एक सेट मिलता है। हमारा मॉडल ऐसे डेटा से सीख नहीं पाएगा, क्योंकि यह नगण्य है। भले ही यह एक सेकंड नहीं है, लेकिन दस, डेटा अभी भी पर्याप्त नहीं होगा। और यहां यूनिवर्सल बैकग्राउंड मॉडल (UBM) बचाव के लिए आता है, इसे स्पीकर-इंडिपेंडेंट भी कहा जाता है। विचार इस प्रकार है। हम जीएमएम को एक बड़े डेटा नमूने पर प्रशिक्षित करेंगे (हमारे मामले में, यह एक पूर्ण साक्षात्कार रिकॉर्डिंग है) और हमें एक सामान्यीकृत स्पीकर का ध्वनिक मॉडल मिलेगा (यह हमारा यूबीएम होगा)। और फिर, एक विशेष अनुकूलन एल्गोरिथ्म (इसके बारे में नीचे) का उपयोग करके, हम इस मॉडल को प्रत्येक खंड से निकाले गए विशेषताओं में "फिट" करेंगे। यह दृष्टिकोण व्यापक रूप से न केवल विचलन के लिए उपयोग किया जाता है, बल्कि आवाज पहचान प्रणालियों में भी उपयोग किया जाता है। किसी व्यक्ति को आवाज से पहचानने के लिए, आपको पहले उस पर एक मॉडल को प्रशिक्षित करने की आवश्यकता है और यूबीएम के बिना, आपको इस व्यक्ति के भाषण को रिकॉर्ड करने के कई घंटे होने चाहिए।

प्रत्येक अनुकूलित GMM से, हम कतरनी गुणांक के वेक्टर को निकालते हैं $$$\ _मु$ (यह एक मंझला या एक चटाई भी है। यदि आप चाहें तो) और, सभी खंडों के इन वैक्टरों के आंकड़ों के आधार पर, हम क्लस्टरिंग करेंगे (नीचे यह स्पष्ट हो जाएगा कि यह शिफ्ट वेक्टर क्यों है)।

नक्शा अनुकूलन

जिस विधि से हम प्रत्येक सेगमेंट के लिए UBM को कस्टमाइज़ करेंगे, उसे मैक्सिमम A-Posteriori Adaptation कहते हैं। सामान्य तौर पर, एल्गोरिथ्म इस प्रकार है। सबसे पहले, पश्चगामी संभावना को अनुकूलन डेटा पर और प्रत्येक गॉसियन के वजन, मंझला और विचरण के लिए पर्याप्त आंकड़ों की गणना की जाती है। फिर प्राप्त आंकड़ों को यूबीएम मापदंडों के साथ जोड़ दिया जाता है और अनुकूलित मॉडल के मापदंडों को प्राप्त किया जाता है। हमारे मामले में, हम केवल मापदंडों के बाकी हिस्सों को प्रभावित किए बिना, केवल मध्यस्थों को अनुकूलित करेंगे। इस तथ्य के बावजूद कि मैंने गणित में गहराई से नहीं जाने का वादा किया था, मैं सभी तीन सूत्रों का हवाला दूंगा, क्योंकि एमएपी अनुकूलन इस लेख में महत्वपूर्ण बिंदु है।

$$

$$E_ {i} = \ frac {1} {n_ {i}} \ sum_ {t = 1} ^ NPr (i = x_ {t}) x_ {t}$$

$$

$$\ Hat \ mu_ {i} = \ beta_ {i} E_ {i} + (1- \ beta_ {i}) \ mu_ {i}$$

$$

$$\ बीटा_ {i} = n_ {i} / (n_ {i} + r ^ {\ beta})$$

यहां $$$Pr (i | x_ {t})$ - बाद की संभावना, $$$E_ {i}$ - के लिए पर्याप्त आँकड़े $$$\ _मु$ । $$$\ _ \ _ mu_ {i}$ - अनुकूलित मॉडल का माध्यिका, $$$\ बीटा_ {i}$ - अनुकूलन का गुणांक, $$$r ^ {\ beta}$ - अनुपालन कारक।
यदि यह सब बकवास लगता है और निराशा का कारण बनता है - निराशा न करें। वास्तव में, एल्गोरिथ्म के संचालन को समझने के लिए, इन सूत्रों में तल्लीन करना आवश्यक नहीं है; इसके संचालन को निम्न उदाहरण द्वारा आसानी से प्रदर्शित किया जा सकता है:



मान लें कि हमारे पास कुछ बड़े पर्याप्त डेटा हैं, और हमने उन पर यूबीएम को प्रशिक्षित किया (बाएं चित्र, यूबीएम गौसियन वितरण का दो-घटक मिश्रण है)। नया डेटा दिखाई देता है जो हमारे मॉडल (बीच में आंकड़ा) में फिट नहीं होता है। इस एल्गोरिथ्म का उपयोग करते हुए, हम गॉसियंस के केंद्रों को स्थानांतरित करेंगे ताकि वे नए डेटा (दाईं ओर आंकड़ा) पर झूठ बोलें। इस एल्गोरिदम को प्रायोगिक डेटा पर लागू करते हुए, हम उम्मीद करेंगे कि एक ही स्पीकर के साथ सेगमेंट पर गाऊसी एक दिशा में शिफ्ट हो जाएंगे, इस प्रकार क्लस्टर बनेंगे। यही कारण है कि हम कतरनी डेटा का उपयोग क्लस्टर खंडों में करेंगे $$$\ _मु$ ।

तो, चलो प्रत्येक खंड के लिए एमएपी अनुकूलन करते हैं। (संदर्भ के लिए: एमएपी अनुकूलन के अलावा, एमएलएलआर विधि - अधिकतम संभावना लीनियर प्रतिगमन और इसके कुछ संशोधनों का व्यापक रूप से उपयोग किया जाता है। वे इन दोनों विधियों को संयोजित करने का भी प्रयास करते हैं।)

 SV = [] #    chunk-000  chunk-100 for i in range(101): clear_output(wait=True) fname='data/chunks/chunk-%003d.wav' % (i,) print('UBM MAP adaptation for {0}'.format(fname)) y_, sr_ = librosa.load(fname, sr=None) f_ = extract_features(y_, sr_, window=N_FFT, hop=HOP_LENGTH, n_mfcc=N_MFCC) f_ = preprocessing.scale(f_) gmm = copy.deepcopy(ubm) gmm = map_adaptation(gmm, f_, max_iterations=1, relevance_factor=16) sv = gmm.means_.flatten() #   sv = preprocessing.scale(sv) SV.append(sv) SV = np.array(SV) clear_output() print(SV.shape) 

अब जबकि प्रत्येक खंड के लिए हमारे पास डेटा है $$$\ _मु$ , हम अंत में अंतिम चरण पर जाते हैं।

वर्णक्रमीय क्लस्टरिंग

वर्णक्रमीय क्लस्टरिंग को संक्षेप में लेख में वर्णित किया गया है, जिसकी एक कड़ी मैंने बहुत शुरुआत में दी थी। एल्गोरिथ्म एक पूर्ण ग्राफ़ का निर्माण करता है, जहां कोने हमारे डेटा हैं, और उनके बीच के किनारे समानता के एक माप हैं। वॉइस रिकग्निशन कार्यों में, एक कोसाइन मीट्रिक का उपयोग इस तरह के एक उपाय के रूप में किया जाता है, क्योंकि यह वैक्टरों के बीच के कोण को ध्यान में रखता है, उनकी परिमाण को अनदेखा करता है (जो स्पीकर के बारे में जानकारी नहीं लेता है)। ग्राफ का निर्माण करके, किरचॉफ मैट्रिक्स के eigenvectors की गणना की जाती है (जो अनिवार्य रूप से परिणामी ग्राफ का प्रतिनिधित्व करता है) और फिर कुछ मानक क्लस्टरिंग विधि का उपयोग किया जाता है, उदाहरण के लिए, k- साधन विधि। यह सब कोड की दो लाइनों में फिट बैठता है

 N_CLUSTERS = 2 sc = SpectralClustering(n_clusters=N_CLUSTERS, affinity='cosine') labels = sc.fit_predict(SV) #     , . [2,1,1,0,2] labels = rearrange(labels, N_CLUSTERS) #     [0,1,1,2,0] print(labels) #   , ,  1 -  .     print([i for i, x in enumerate(labels) if x == 1]) 

निष्कर्ष और भविष्य की योजनाएं

वर्णित एल्गोरिदम को विभिन्न मापदंडों के साथ परीक्षण किया गया है:

1. एमएफसीसी संख्या: 7, 13, 20
2. एलपीसी के साथ संयोजन में एमएफसीसी
3. GMM में मिश्रणों के प्रकार और संख्या: पूर्ण [8, 16, 32], डायग [8, 16, 32, 64, 256]
4. UBM अनुकूलन के तरीके: MAP (covariance_type = 'full') और MLLR (covariance_type = 'diag' के साथ)

परिणामस्वरूप, पैरामीटर सब्जेक्टली इष्टतम बने रहे: MFCC 13, GMM covariance_type = 'full' n_compords = 16।

दुर्भाग्य से, मेरे पास धैर्य नहीं था (मैंने इस लेख को एक महीने से अधिक समय पहले लिखना शुरू कर दिया था) ताकि प्राप्त सेगमेंट को चिह्नित किया जा सके और डीईआर (डायरिज़िशन त्रुटि दर) की गणना की जा सके। विशेष रूप से, मैं एल्गोरिथ्म के संचालन का मूल्यांकन करता हूं, "सिद्धांत रूप में, बुरा नहीं है, लेकिन आदर्श से बहुत दूर है।" पहले सौ खंडों (एक एमएपी पास के साथ) से प्राप्त वैक्टर पर क्लस्टरिंग करके, और फिर उन लोगों का चयन करना जहां साक्षात्कारकर्ता कहता है (लड़की, वह वहां अतिथि से बहुत कम बोलती है), क्लस्टरिंग एक सूची देता है $$$[1, 2, 25, 26, 46, 48, 49, 61, 85, 86]$ यह 100% हिट है। उसी समय, ऐसे खंड जहां दोनों स्पीकर मौजूद हैं (उदाहरण के लिए, 14) ड्रॉप आउट, लेकिन यह पहले से ही VAD त्रुटि पर दोषी ठहराया जा सकता है। इसके अलावा, ऐसे खंडों को एमएपी पास की संख्या में वृद्धि के साथ ध्यान में रखा जाना शुरू होता है। एक महत्वपूर्ण बिंदु। हमने जिस साक्षात्कार के साथ काम किया वह कमोबेश "स्वच्छ" है। यदि विभिन्न संगीत आवेषण, शोर और अन्य गैर-मौखिक चीजें जोड़ दी जाती हैं, तो क्लस्टरिंग को सीमित करना शुरू हो जाता है। इसलिए, हमारे अपने VAD को प्रशिक्षित करने की कोशिश करने की योजना है (क्योंकि webrtcvad, उदाहरण के लिए, भाषण से संगीत को अलग नहीं करता है)।

इस तथ्य के कारण कि मैंने शुरू में एक टेलीफोन वार्तालाप के साथ काम किया था, मुझे बोलने वालों की संख्या का अनुमान लगाने की आवश्यकता नहीं थी। लेकिन बोलने वालों की संख्या हमेशा पूर्व निर्धारित नहीं होती है, भले ही यह एक साक्षात्कार हो। उदाहरण के लिए, इस साक्षात्कार में बीच में एक घोषणा संगीत पर आरोपित है और दो अतिरिक्त लोगों द्वारा आवाज दी गई है। इसलिए, संदर्भ की सूची के खंड में पहले लेख में निर्दिष्ट वक्ताओं की संख्या का अनुमान लगाने की विधि का प्रयास करना दिलचस्प होगा (सामान्यीकृत लाप्लास मैट्रिक्स के आइगेनवेल्यूज के विश्लेषण के आधार पर)।

संदर्भ

पाठ और जुपिटर लैपटॉप में लिंक पर स्थित सामग्रियों के अलावा, इस लेख को तैयार करने के लिए निम्नलिखित स्रोतों का उपयोग किया गया था:

1. GMM सुपरवेक्टर और एडवांस्ड रिडक्शन एल्गोरिदम का उपयोग करते हुए स्पीकर डायराइजेशन। नुरित स्पिंजर
2. फ़ीचर एक्सट्रैक्शन मेथड्स एलपीसी, पीएलपी और एमएफसीसी इन स्पीच रिकग्निशन। नम्रता ने डव
3. मार्कोव श्रृंखला के मूली मिश्रणों के अवलोकन के लिए एमएपी मूल्यांकन। जीन-ल्यूक गौवेन और चिन-हुई ली
4. स्पेक्ट्रल क्लस्टरिंग विश्लेषण और एक एल्गोरिथ्म पर। एंड्रयू वाई। एनजी, माइकल आई। जॉर्डन, येयर वीस
5. YOHO डेटाबेस पर सार्वभौमिक पृष्ठभूमि मॉडल का उपयोग करते हुए स्पीकर की मान्यता। अलेक्जेंड्रे माजेनायक

मैं कुछ विचलन परियोजनाओं को भी जोड़ूंगा:

1. साइडकिट और s4d विचलन विस्तार । भाषण के साथ काम करने के लिए एक अजगर पुस्तकालय। दुर्भाग्य से, प्रलेखन खराब है।
2. बॉब और इसके विभिन्न भाग जैसे bob.bio , bob.learn.em - सिग्नल प्रोसेसिंग और बायोमेट्रिक डेटा के साथ काम करने के लिए एक अजगर पुस्तकालय। Windows समर्थित नहीं है।
3. एलआईएम जावा में लिखा टर्नकी समाधान है।

सभी कोड github पर पोस्ट किया गया है। सुविधा के लिए, मैंने कुछ चीजों के प्रदर्शन के साथ कई Jupyter लैपटॉप बनाए - एमएफसीसी, जीएमएम, एमएपी अनुकूलन और विचलन। उत्तरार्द्ध मुख्य प्रक्रिया है। इसके अलावा भंडार में कुछ पूर्व प्रशिक्षित मॉडल और स्वयं साक्षात्कार के साथ अचार फाइलें हैं।