पिच-ट्रैकिंग, या भाषण में पिच आवृत्ति का निर्धारण, उदाहरण के रूप में प्रैट, YAAPT और YIN का उपयोग करना

भावना मान्यता के क्षेत्र में, आवाज चेहरे के बाद भावनात्मक डेटा का दूसरा सबसे महत्वपूर्ण स्रोत है। आवाज को कई मापदंडों से पहचाना जा सकता है। वॉयस पिच मुख्य विशेषताओं में से एक है, हालांकि, ध्वनिक प्रौद्योगिकी के क्षेत्र में इस पैरामीटर को मौलिक आवृत्ति कहना अधिक सही है।

मौलिक स्वर की आवृत्ति सीधे रूप से संबंधित होती है जिसे हम अंतःकरण कहते हैं। और इंटोनेशन, उदाहरण के लिए, आवाज की भावनात्मक रूप से अभिव्यंजक विशेषताओं के साथ जुड़ा हुआ है।

फिर भी, मूल स्वर की आवृत्ति का निर्धारण दिलचस्प बारीकियों के साथ पूरी तरह से तुच्छ कार्य नहीं है। इस लेख में, हम इसके निर्धारण के लिए एल्गोरिदम की विशेषताओं पर चर्चा करेंगे और विशिष्ट ऑडियो रिकॉर्डिंग के उदाहरणों के साथ मौजूदा समाधानों की तुलना करेंगे।

परिचय

शुरुआत करने के लिए, आइए हम याद करते हैं कि संक्षेप में, मौलिक स्वर की आवृत्ति है और किन कार्यों में इसकी आवश्यकता हो सकती है। मौलिक आवृत्ति , जिसे CHOT, फंडामेंटल फ़्रीक्वेंसी या F0 के रूप में भी जाना जाता है, मुखर डोरियों की आवृत्ति होती है, जब वे आवाज़ सुनाई देती हैं। जब गैर-स्वर ध्वनियों का उच्चारण किया जाता है (unvoiced), उदाहरण के लिए, एक कानाफूसी में बोलना या हिसिंग और सीटी बजने की आवाज़ का उच्चारण करना, स्नायुबंधन संकोच नहीं करते हैं, जिसका अर्थ है कि यह विशेषता उनके लिए प्रासंगिक नहीं है।

* कृपया ध्यान दें कि टोनल और नॉन-टोन ध्वनियों में विभाजन स्वर और व्यंजन में विभाजन के बराबर नहीं है।

मौलिक स्वर की आवृत्ति भिन्नता काफी बड़ी है, और यह न केवल लोगों के बीच भिन्न हो सकती है (कम औसत पुरुष आवाजों के लिए आवृत्ति 70-200 हर्ट्ज है, और महिला स्वरों के लिए यह 400 हर्ट्ज तक पहुंच सकती है), लेकिन एक व्यक्ति के लिए भी, विशेष रूप से भावनात्मक भाषण में ।

मूलभूत टोन की आवृत्ति का निर्धारण समस्याओं की एक विस्तृत श्रृंखला को हल करने के लिए किया जाता है:

• भावनाओं की मान्यता, जैसा कि हमने ऊपर कहा;
• लिंग निर्धारण;
• कई आवाज़ों के साथ सेगमेंटिंग ऑडियो की समस्या को हल करने या भाषण को वाक्यांशों में विभाजित करने पर;
• दवा में, आवाज की पैथोलॉजिकल विशेषताओं को निर्धारित करने के लिए (उदाहरण के लिए, ध्वनिक मापदंडों का उपयोग करते हुए जटर और शिमर)। उदाहरण के लिए, पार्किंसंस रोग के संकेतों की पहचान [ 1 ]। जटर और शिमर का उपयोग भावनाओं को पहचानने के लिए भी किया जा सकता है [ 2 ]।

हालांकि, F0 को निर्धारित करने में कई कठिनाइयां हैं। उदाहरण के लिए, हार्मोनिक्स के साथ एफ 0 को भ्रमित करना अक्सर संभव होता है, जिससे तथाकथित पिच दोहरीकरण / पिच हॉल्टिंग प्रभाव [ 3 ] हो सकता है। और खराब गुणवत्ता वाली ऑडियो रिकॉर्डिंग में, F0 की गणना करना काफी मुश्किल है, क्योंकि कम आवृत्तियों पर वांछित चोटी लगभग गायब हो जाती है।

वैसे, लॉरेल और यान्नी की कहानी याद है? एक ही ऑडियो रिकॉर्डिंग को सुनते समय लोग किन शब्दों में अंतर करते हैं, यह धारणा F0 में अंतर के कारण ठीक-ठीक उठी, जो कई कारकों से प्रभावित है: श्रोता की उम्र, थकान की डिग्री और प्लेबैक डिवाइस। तो, कम आवृत्तियों के उच्च-गुणवत्ता वाले प्रजनन के साथ वक्ताओं में रिकॉर्डिंग को सुनते हुए, आप लॉरेल को सुनेंगे, और ऑडियो सिस्टम में जहां कम आवृत्तियों को खराब रूप से पुन: पेश किया जाता है, यान। संक्रमण प्रभाव को एक उपकरण पर देखा जा सकता है, उदाहरण के लिए यहां । और इस लेख में , तंत्रिका नेटवर्क एक श्रोता के रूप में कार्य करता है। एक अन्य लेख में, आप पढ़ सकते हैं कि वाणी / लॉरेल घटना को भाषण गठन के संदर्भ में कैसे समझाया गया है।

चूँकि F0 के निर्धारण के लिए सभी विधियों का विस्तृत विश्लेषण बहुत अधिक आकर्षक होगा, इसलिए यह लेख अवलोकन प्रकृति का है और इस विषय को नेविगेट करने में मदद कर सकता है।

F0 के निर्धारण के लिए तरीके

F0 को निर्धारित करने के तरीकों को तीन श्रेणियों में विभाजित किया जा सकता है: सिग्नल की समय की गतिशीलता या समय-क्षेत्र के आधार पर; आवृत्ति संरचना, या आवृत्ति-डोमेन, साथ ही संयुक्त विधियों के आधार पर। हमारा सुझाव है कि आप इस विषय पर समीक्षा लेख के साथ खुद को परिचित करें, जहां एफ 0 निकालने के लिए संकेतित तरीकों का विस्तार से विश्लेषण किया गया है।

ध्यान दें कि किसी भी चर्चा किए गए एल्गोरिदम में 3 मुख्य चरण होते हैं:

प्रीप्रोसेसिंग (सिग्नल को फ़िल्टर करना, इसे फ्रेम में विभाजित करना)
F0 के संभावित मूल्यों के लिए खोजें (उम्मीदवार)
ट्रैकिंग सबसे संभावित प्रक्षेपवक्र F0 का विकल्प है (चूंकि प्रत्येक क्षण के लिए हमारे पास कई प्रतिस्पर्धी उम्मीदवार हैं, हमें उनके बीच सबसे संभावित ट्रैक खोजने की आवश्यकता है)

समय-डोमेन

हम कुछ सामान्य बिंदुओं को रेखांकित करते हैं। समय-डोमेन विधियों को लागू करने से पहले, संकेत केवल कम आवृत्तियों को छोड़कर पूर्व फ़िल्टर किया जाता है। थ्रेसहोल्ड सेट हैं - न्यूनतम और अधिकतम आवृत्तियों, उदाहरण के लिए 75 से 500 हर्ट्ज तक। एफ 0 का निर्धारण केवल हार्मोनिक भाषण वाले क्षेत्रों के लिए किया जाता है, क्योंकि ठहराव या शोर के लिए यह न केवल अर्थहीन है, बल्कि प्रक्षेप और / या चौरसाई लागू होने पर आसन्न फ्रेम में त्रुटियों को भी पेश कर सकता है। फ़्रेम की लंबाई को चुना जाता है ताकि इसमें कम से कम तीन अवधियाँ हों।

मुख्य विधि, जिसके आधार पर एल्गोरिदम का एक पूरा परिवार बाद में दिखाई दिया, आटोक्लेररेशन है। दृष्टिकोण काफी सरल है - ऑटोक्रेलेशन फ़ंक्शन की गणना करना और इसका पहला अधिकतम लेना आवश्यक है। यह सिग्नल में सबसे स्पष्ट आवृत्ति घटक प्रदर्शित करेगा। ऑटोक्रेलेशन का उपयोग करने के मामले में क्या कठिनाई हो सकती है और यह हमेशा से दूर क्यों है कि पहले अधिकतम वांछित आवृत्ति के अनुरूप होगा? यहां तक ​​कि उच्च-गुणवत्ता वाली रिकॉर्डिंग पर आदर्श स्थितियों के करीब होने पर, सिग्नल की जटिल संरचना के कारण विधि गलत हो सकती है। वास्तविक के करीब की स्थितियों में, जहां, अन्य चीजों के बीच, हम शोर की रिकॉर्डिंग या शुरुआत में निम्न गुणवत्ता की रिकॉर्डिंग में वांछित चोटी के लापता होने का सामना कर सकते हैं, त्रुटियों की संख्या तेजी से बढ़ जाती है।

त्रुटियों के बावजूद, अपनी मूल सादगी और तर्क के कारण ऑटोक्रेलेशन विधि काफी सुविधाजनक और आकर्षक है, यही कारण है कि इसे वाईएन सहित कई एल्गोरिदम में आधार के रूप में लिया जाता है। यहां तक ​​कि एल्गोरिथ्म का नाम हमें आटोक्लेररेशन विधि की सुविधा और अशुद्धि के बीच एक संतुलन के लिए संदर्भित करता है: "ओरिएंट दर्शन के '' यिन 'और' यांग 'नाम से ऑटोकॉर्लेशन और रद्दीकरण के बीच के इंटरप्ले के लिए यिन का नाम जो इसे शामिल करता है।" [ ४ ]

YIN के रचनाकारों ने ऑटोक्रेलेशन दृष्टिकोण की कमजोरियों को ठीक करने की कोशिश की। पहला परिवर्तन संचयी मीन सामान्यीकृत अंतर फ़ंक्शन का उपयोग है, जो आयाम संयोजनों की संवेदनशीलता को कम करना चाहिए, चोटियों को अधिक स्पष्ट करना चाहिए:

\ start {समीकरण}
डी_टी (\ tau) =
\ शुरू {मामलों}
1, & \ tau = 0 \\
d_t (\ tau) \ bigg / \ bigg [\ frac {1} {\ tau} \ sum \ limit_ {j = 1} ^ {\ tau} d_t (j) \ bigg], और पाठ {अन्यथा}
\ अंत {मामलों}
\ अंत {समीकरण}
YIN उन त्रुटियों से बचने की भी कोशिश करता है जो उन मामलों में होती हैं जहां विंडो फ़ंक्शन की लंबाई दोलन की अवधि से पूरी तरह से विभाजित नहीं होती है। इसके लिए, परवलयिक न्यूनतम प्रक्षेप का उपयोग किया जाता है। ऑडियो सिग्नल प्रोसेसिंग के अंतिम चरण में, मूल्यों में तेज उछाल को रोकने के लिए बेस्ट लोकल एस्टिमेट फ़ंक्शन को निष्पादित किया जाता है (चाहे वह अच्छा हो या बुरा - यह एक म्यूट पॉइंट है)।

आवृत्ति-डोमेन

यदि हम आवृत्ति डोमेन के बारे में बात करते हैं, तो सिग्नल की हार्मोनिक संरचना सामने आती है, अर्थात्, एफ 0 के गुणक वाले आवृत्तियों पर वर्णक्रमीय चोटियों की उपस्थिति होती है। आप इस आवधिक पैटर्न को cepstral विश्लेषण का उपयोग करके एक स्पष्ट शिखर में "ढह" सकते हैं। सेफस्ट्रम - पावर स्पेक्ट्रम के लघुगणक के फूरियर रूपांतरण; cepstral चोटी स्पेक्ट्रम के सबसे आवधिक घटक से मेल खाती है (कोई इसके बारे में यहां और यहां पढ़ सकता है )।

F0 के निर्धारण के लिए हाइब्रिड तरीके

अगला एल्गोरिथ्म, जो अधिक विवरण में खोज करने लायक है, में टॉकिंग नाम YAAPT है - फिर भी पिच ट्रैकिंग का एक और एल्गोरिदम - और वास्तव में हाइब्रिड है, क्योंकि यह आवृत्ति और समय की जानकारी दोनों का उपयोग करता है। एक पूर्ण विवरण लेख में है , यहां हम केवल मुख्य चरणों का वर्णन करते हैं।


चित्रा 1. YAAPTalgo एल्गोरिथ्म आरेख ( लिंक ) ।

YAAPT में कई मुख्य चरण होते हैं, जिनमें से पहला प्रीप्रोसेसिंग है। इस स्तर पर, मूल सिग्नल का मान चुकता है, और सिग्नल का दूसरा संस्करण प्राप्त होता है। यह कदम यिन में संचयी मीन सामान्यीकृत अंतर फ़ंक्शन के समान लक्ष्य का पीछा करता है - आटोक्लेररेशन की "जाम" चोटियों की प्रवर्धन और बहाली। सिग्नल के दोनों संस्करणों को फ़िल्टर किया जाता है - आमतौर पर वे 50-1500 हर्ट्ज की सीमा लेते हैं, कभी-कभी 50-900 हर्ट्ज तक।

फिर, आधार प्रक्षेपवक्र F0 की गणना परिवर्तित संकेत के स्पेक्ट्रम से की जाती है। F0 के लिए उम्मीदवार स्पेक्ट्रल हार्मोनिक्स सहसंबंध (SHC) सुविधा का उपयोग करके निर्धारित किए जाते हैं।

\ start {समीकरण}
SHC (t, f) = \ sum \ limit_ {f '= - WL / 2} ^ {WL / 2} \ prod \ limit_ {r = 1} ^ {NH + 1} S (t, rf + f')
\ अंत {समीकरण}
जहां S (t, f) फ्रेम टी और फ्रिक्वेंसी f के लिए परिमाण स्पेक्ट्रम है, WL Hz में विंडो की लंबाई है, NH हार्मोनिक्स की संख्या है (लेखक पहले तीन हार्मोनिक्स का उपयोग करने की सलाह देते हैं)। वर्णक्रमीय शक्ति का उपयोग वॉयस-अनवॉइस्ड फ़्रेमों को निर्धारित करने के लिए भी किया जाता है, जिसके बाद सबसे इष्टतम प्रक्षेपवक्र की खोज की जाती है, और पिच दोहरीकरण / पिच हॉल्टिंग की संभावना को ध्यान में रखा जाता है [ 3 , धारा II, C]।

इसके अलावा, F0 के लिए उम्मीदवारों को प्रारंभिक संकेत और परिवर्तित दोनों के लिए निर्धारित किया जाता है, और ऑटोकॉर्लेशन फ़ंक्शन के बजाय, सामान्यीकृत क्रॉस सहसंबंध (एनसीसीएफ) का उपयोग यहां किया जाता है।

\ start {समीकरण}
NCCF (m) = \ frac {\ _ sum \ limit_ {n = 0} ^ {Nm-1} x (n) * x (n + m)} {\ sqrt {\ _ sum \ limit_ {n = 0} ^ { Nm-1} x ^ 2 (n) * \ sum \ limit_ {n = 0} ^ {Nm-1} x ^ 2 (n + m)}} \ text {,} \ hspace {0.3cm} 0 <m <M_ {0}
\ अंत {समीकरण}
अगला कदम सभी संभावित उम्मीदवारों का मूल्यांकन करना और उनके महत्व, या वजन (योग्यता) की गणना करना है। ऑडियो सिग्नल से प्राप्त उम्मीदवारों का वजन न केवल एनसीसीएफ शिखर के आयाम पर निर्भर करता है, बल्कि स्पेक्ट्रम से निर्धारित प्रक्षेपवक्र F0 से उनकी निकटता पर भी निर्भर करता है। यही है, आवृत्ति डोमेन को सटीकता के संदर्भ में मोटे माना जाता है, लेकिन स्थिर [ 3 , धारा II, D]।

फिर, शेष उम्मीदवारों के सभी जोड़े के लिए, संक्रमण लागत मैट्रिक्स की गणना की जाती है - संक्रमण मूल्य, जिस पर वे अंततः इष्टतम प्रक्षेपवक्र [ 3 , धारा II, E] पाते हैं।

उदाहरण

अब हम उपरोक्त सभी एल्गोरिदम को विशिष्ट ऑडियो रिकॉर्डिंग के लिए लागू करते हैं। एक प्रारंभिक बिंदु के रूप में, हम प्रैट का उपयोग करेंगे, जो कई भाषण विद्वानों के लिए मौलिक है। और फिर पायथन में हम YIN और YAAPT के कार्यान्वयन को देखेंगे और हम प्राप्त परिणामों की तुलना करेंगे।

ऑडियो सामग्री के रूप में, आप किसी भी उपलब्ध ऑडियो का उपयोग कर सकते हैं। हमने अपने RAMAS डेटाबेस से कई अंश लिए - एक मल्टीमॉडल डेटासेट जिसे VGIK अभिनेताओं की भागीदारी के साथ बनाया गया था। आप अन्य खुले डेटाबेस से सामग्री का उपयोग भी कर सकते हैं, जैसे कि लिब्रीस्पीच या रावाडेस ।

एक उदाहरण के लिए, हमने नर और मादा की आवाज़ों के साथ कई रिकॉर्डिंग के अंश लिए, दोनों तटस्थ और भावनात्मक रूप से रंगीन, और स्पष्टता के लिए, हमने उन्हें एक रिकॉर्डिंग में संयोजित किया। आइए हमारे सिग्नल, इसके स्पेक्ट्रोग्राम, तीव्रता (नारंगी रंग), और F0 (नीला रंग) को देखें। प्रैट में, यह Ctrl + O (ओपन - फाइल से पढ़ें) और फिर व्यू एंड एडिट बटन का उपयोग करके किया जा सकता है।


चित्रा 2. प्रोटोग्राम, तीव्रता (नारंगी रंग), प्रैट में F0 (नीला रंग)।

ऑडियो काफी स्पष्ट रूप से दिखाता है कि भावनात्मक भाषण में, पुरुषों और महिलाओं दोनों में पिच बढ़ जाती है। उसी समय, भावनात्मक पुरुष भाषण के लिए F0 की तुलना महिला आवाज के F0 के साथ की जा सकती है।

ट्रैकिंग

विश्लेषण अवधि का चयन करें - प्रैट मेनू में पिच (एसी) टैब, यानी ऑटोकॉरलेशन का उपयोग करके एफ 0 की परिभाषा। पैरामीटर सेट करने के लिए एक विंडो दिखाई देगी जिसमें F0 के लिए उम्मीदवारों को निर्धारित करने के लिए 3 पैरामीटर निर्धारित करना संभव है और पथ-खोजक एल्गोरिथ्म के लिए 6 और पैरामीटर हैं, जो सभी उम्मीदवारों के बीच सबसे संभावित पथ F0 बनाता है।


एल्गोरिथ्म का विस्तृत विवरण 1993 के एक लेख में पाया जा सकता है।

ट्रैकर (पथ-खोजकर्ता) का परिणाम कैसा दिखता है, ठीक क्लिक करके देखा जा सकता है और फिर परिणामी पिच फ़ाइल को देखने (संपादित करें) को देखा जा सकता है। यह देखा जा सकता है कि चयनित प्रक्षेपवक्र के अलावा, अभी भी काफी महत्वपूर्ण उम्मीदवार थे जिनमें आवृत्ति कम थी।


चित्रा 3. ऑडियो रिकॉर्डिंग के पहले 1.3 सेकंड के लिए पिचपथ।

लेकिन अजगर के बारे में क्या?

आइए पिच ट्रैकिंग की पेशकश करने वाले दो पुस्तकालय लें - एबियो , जिसमें डिफ़ॉल्ट एल्गोरिथ्म YIN है , और AMFM_decompsition पुस्तकालय, जिसमें YAAPT एल्गोरिदम का कार्यान्वयन है। अलग फ़ाइल में (फ़ाइल PratPitch.txt ), प्रैट से F0 मान डालें (यह मैन्युअल रूप से किया जा सकता है: ध्वनि फ़ाइल का चयन करें, दृश्य और संपादन पर क्लिक करें, संपूर्ण फ़ाइल का चयन करें और शीर्ष मेनू में पिच-पिच सूची का चयन करें)।

अब तीनों एल्गोरिदम (YIN, YAAPT, प्रैट) के परिणामों की तुलना करें।




चित्रा 4. YIN, YAAPT और प्रैट एल्गोरिदम के संचालन की तुलना।

हम देखते हैं कि डिफ़ॉल्ट मापदंडों के साथ, YIN काफी खटखटाया जाता है, प्रैट की तुलना में कम मूल्यों के साथ एक बहुत ही सपाट प्रक्षेपवक्र हो रहा है और पुरुष और महिला आवाज़ों के साथ-साथ भावनात्मक और गैर-भावनात्मक भाषण के बीच संक्रमण को खो रहा है।

YAAPT भावनात्मक महिला भाषण में बहुत उच्च स्वर में फिसल गया, लेकिन समग्र रूप से बेहतर ढंग से प्रबंधित हुआ। इसकी विशिष्ट विशेषताओं के कारण, YAAPT बेहतर काम करता है - निश्चित रूप से सही जवाब देना असंभव है, लेकिन यह माना जा सकता है कि भूमिका तीन स्रोतों से उम्मीदवारों को प्राप्त करने में निभाई जाती है और यिन की तुलना में उनके वजन की अधिक सावधानीपूर्वक गणना की जाती है।

निष्कर्ष

चूंकि मौलिक स्वर (F0) की आवृत्ति को एक या दूसरे रूप में निर्धारित करने का सवाल लगभग सभी के समक्ष उठता है जो ध्वनि के साथ काम करता है, इसे हल करने के कई तरीके हैं। प्रत्येक मामले में ऑडियो सामग्री की आवश्यक सटीकता और सुविधाओं का प्रश्न यह निर्धारित करता है कि मापदंडों का चयन करना कितनी सावधानी से आवश्यक है, या किसी अन्य मामले में, आप खुद को YAAPT जैसे मूल समाधान तक सीमित कर सकते हैं। भाषण प्रक्रिया के लिए एल्गोरिथ्म के मानक के रूप में प्रैट को लेते हुए (हालांकि, शोधकर्ताओं की एक बड़ी संख्या इसका उपयोग करती है), हम यह निष्कर्ष निकाल सकते हैं कि वाईएएपीटी पहले सन्निकटन के लिए, यिन की तुलना में अधिक विश्वसनीय और सटीक है, हालांकि हमारा उदाहरण इसके लिए जटिल निकला।

ईवा काज़िमिरोवा, न्यूरोडाटा लैब रिसर्चर, स्पीच प्रोसेसिंग स्पेशलिस्ट।

Offtop : क्या आप लेख पसंद करते हैं? वास्तव में, हमारे पास एमएल, गणित और प्रोग्रामिंग में ऐसे दिलचस्प कार्यों का एक समूह है, और हमें दिमाग की आवश्यकता है। क्या आप इसमें रुचि रखते हैं? हमारे पास आओ! ईमेल: hr@neurodatalab.com