भाषण संश्लेषण प्रौद्योगिकी अवलोकन

सभी को नमस्कार! मेरा नाम व्लाद है और मैं भाषण प्रौद्योगिकियों के टिंकऑफ टीम में डेटा वैज्ञानिक के रूप में काम करता हूं जो हमारी आवाज सहायक ओलेग में उपयोग किया जाता है।

इस लेख में, मैं उद्योग में प्रयुक्त भाषण संश्लेषण प्रौद्योगिकियों का एक संक्षिप्त अवलोकन देना चाहता हूं और अपने स्वयं के संश्लेषण इंजन के निर्माण में हमारी टीम के अनुभव को साझा करना चाहता हूं।

वाक् संश्लेषण

भाषण संश्लेषण पाठ पर आधारित ध्वनि का निर्माण है। यह समस्या आज दो तरीकों से हल हो गई है:

• इकाई चयन [1], या एक समवर्ती दृष्टिकोण। यह रिकॉर्डेड ऑडियो के ग्लूइंग अंशों पर आधारित है। 90 के दशक के उत्तरार्ध से, यह लंबे समय से भाषण संश्लेषण इंजन के विकास के लिए वास्तविक मानक माना जाता रहा है। उदाहरण के लिए, सिरी [2] में इकाई चयन विधि द्वारा लगने वाली आवाज पाई जा सकती है।
• पैरामीट्रिक स्पीच सिंथेसिस [3], जिसका सार एक संभाव्य मॉडल का निर्माण करना है जो किसी दिए गए पाठ के लिए ऑडियो सिग्नल के ध्वनिक गुणों की भविष्यवाणी करता है।

इकाई चयन मॉडल का भाषण उच्च गुणवत्ता, कम परिवर्तनशीलता का है और प्रशिक्षण के लिए बड़ी मात्रा में डेटा की आवश्यकता होती है। एक ही समय में, पैरामीट्रिक मॉडल के प्रशिक्षण के लिए, बहुत कम मात्रा में डेटा की आवश्यकता होती है, वे अधिक विविध इंटोनेशन उत्पन्न करते हैं, लेकिन हाल ही में जब तक वे इकाई चयन दृष्टिकोण की तुलना में एक समग्र बल्कि खराब ध्वनि की गुणवत्ता से पीड़ित थे।

हालांकि, गहरी सीखने की प्रौद्योगिकियों के विकास के साथ, पैरामीट्रिक संश्लेषण मॉडल ने सभी गुणवत्ता वाले मैट्रिक्स में महत्वपूर्ण वृद्धि हासिल की है और वे भाषण बनाने में सक्षम हैं जो मानव भाषण से व्यावहारिक रूप से अप्रभेद्य हैं।

गुणवत्ता मैट्रिक्स

यह बोलने से पहले कि कौन से भाषण संश्लेषण मॉडल बेहतर हैं, आपको गुणवत्ता मीट्रिक निर्धारित करने की आवश्यकता है जिसके द्वारा एल्गोरिदम की तुलना की जाएगी।

चूंकि एक ही पाठ को अनंत तरीकों से पढ़ा जा सकता है, एक विशिष्ट वाक्यांश का उच्चारण करने का सही तरीका मौजूद नहीं है। इसलिए, अक्सर भाषण संश्लेषण की गुणवत्ता के लिए मैट्रिक्स व्यक्तिपरक होते हैं और श्रोता की धारणा पर निर्भर होते हैं।

मानक मीट्रिक एमओएस (माध्य राय स्कोर) है, भाषण की स्वाभाविकता का एक औसत मूल्यांकन, 1 से 5 के पैमाने पर संश्लेषित ऑडियो के लिए मूल्यांकनकर्ताओं द्वारा दिया गया है। एक का अर्थ है पूरी तरह से ध्वन्यात्मक ध्वनि, और पांच का अर्थ है कि भाषण मानव से अविवेच्य है। वास्तविक लोगों के रिकॉर्ड आमतौर पर लगभग 4.5 मिलते हैं, और 4 से अधिक का मूल्य काफी अधिक माना जाता है।

वाक् संश्लेषण कैसे काम करता है

किसी भी भाषण संश्लेषण प्रणाली के निर्माण का पहला चरण प्रशिक्षण के लिए डेटा एकत्र करना है। आमतौर पर ये उच्च-गुणवत्ता वाली ऑडियो रिकॉर्डिंग हैं, जिस पर उद्घोषक विशेष रूप से चयनित वाक्यांशों को पढ़ता है। प्रशिक्षण इकाई चयन मॉडल के लिए आवश्यक डेटासेट का अनुमानित आकार शुद्ध भाषण [२] का १०-२० घंटे है, जबकि तंत्रिका नेटवर्क पैरामीट्रिक विधियों के लिए, ऊपरी अनुमान लगभग २५ घंटे [४, ५] है।

हम दोनों संश्लेषण प्रौद्योगिकियों पर चर्चा करते हैं।

इकाई चयन

आमतौर पर, स्पीकर का रिकॉर्ड किया गया भाषण उन सभी संभावित मामलों को कवर नहीं कर सकता है जिनमें संश्लेषण का उपयोग किया जाएगा। इसलिए, विधि का सार पूरे ऑडियो बेस को छोटे टुकड़ों में विभाजित करना है, जिन्हें यूनिट कहा जाता है, जिन्हें तब न्यूनतम पोस्ट-प्रोसेसिंग का उपयोग करके एक साथ चिपकाया जाता है। इकाइयाँ आमतौर पर न्यूनतम ध्वनिक भाषा इकाइयाँ होती हैं, जैसे कि अर्ध-फ़ोन या डिप्थॉन [2]।
पूरी पीढ़ी की प्रक्रिया में दो चरण होते हैं: एनएलपी फ्रंटेंड, जो पाठ के भाषाई प्रतिनिधित्व को निकालने के लिए जिम्मेदार है, और बैकएंड, जो दिए गए भाषाई विशेषताओं के लिए यूनिट पेनल्टी फ़ंक्शन की गणना करता है। NLP सीमा में शामिल हैं:

1. पाठ को सामान्य करने का कार्य सभी गैर-अक्षर वर्णों (संख्या, प्रतिशत संकेत, मुद्राएं, और इसी तरह) का उनके मौखिक प्रतिनिधित्व में अनुवाद है। उदाहरण के लिए, "5%" को "पाँच प्रतिशत" में परिवर्तित किया जाना चाहिए।
2. एक सामान्यीकृत पाठ से भाषाई विशेषताओं को निकालना: फोनम प्रतिनिधित्व, तनाव, भाषण के कुछ हिस्सों और इतने पर।

आमतौर पर, एनएलपी सीमा को एक विशिष्ट भाषा के लिए मैन्युअल रूप से निर्धारित नियमों का उपयोग करके लागू किया जाता है, लेकिन हाल ही में मशीन लर्निंग मॉडल [7] के उपयोग के लिए एक बढ़ती पूर्वाग्रह रहा है।

बैकएंड सबसिस्टम द्वारा अनुमानित दंड लक्ष्य लागत, या किसी विशेष फोनम के लिए इकाई के ध्वनिक प्रतिनिधित्व के पत्राचार और समवर्ती लागत, अर्थात्, अपने पड़ोसी इकाइयों को जोड़ने की उपयुक्तता का योग है। ठीक कार्यों का मूल्यांकन करने के लिए, कोई नियम या पैरामीट्रिक संश्लेषण के पहले से प्रशिक्षित प्रशिक्षित ध्वनिक मॉडल का उपयोग कर सकता है [2]। उपरोक्त परिभाषित दंड के दृष्टिकोण से इकाइयों के सबसे इष्टतम अनुक्रम का चयन विटर्बी एल्गोरिथ्म [1] का उपयोग करके होता है।

अंग्रेजी भाषा के लिए MOS इकाई चयन मॉडल के अनुमानित मूल्य: 3.7-4.1 [2, 4, 5]।

इकाई चयन दृष्टिकोण के लाभ:

• प्राकृतिक ध्वनि।
• उच्च गति पीढ़ी।
• छोटे आकार के मॉडल - यह आपको अपने मोबाइल डिवाइस पर सीधे संश्लेषण का उपयोग करने की अनुमति देता है।

नुकसान:

• संश्लेषित भाषण नीरस है, इसमें भावनाएं नहीं हैं।
• विशेषता चमकदार कलाकृतियों।
• सभी प्रकार के संदर्भों को कवर करने के लिए ऑडियो डेटा के पर्याप्त बड़े प्रशिक्षण आधार की आवश्यकता होती है।
• सिद्धांत रूप में, यह वह ध्वनि उत्पन्न नहीं कर सकता है जो प्रशिक्षण सेट में नहीं मिली है।

पैरामीट्रिक भाषण संश्लेषण

पैरामीट्रिक दृष्टिकोण एक संभाव्य मॉडल के निर्माण के विचार पर आधारित है जो किसी दिए गए पाठ की ध्वनिक विशेषताओं के वितरण का अनुमान लगाता है।
पैरामीट्रिक संश्लेषण में भाषण पीढ़ी की प्रक्रिया को चार चरणों में विभाजित किया जा सकता है:

1. एनएलपी की सीमा इकाई चयन दृष्टिकोण के अनुसार डेटा प्रीप्रोसेसिंग का एक ही चरण है, जिसके परिणामस्वरूप बड़ी संख्या में संदर्भ-संवेदनशील भाषाई विशेषताएं हैं।
2. अवधि मॉडल की भविष्यवाणी की गई अवधि।
3. एक ध्वनिक मॉडल जो भाषाई लोगों पर ध्वनिक विशेषताओं के वितरण को पुनर्स्थापित करता है। ध्वनिक विशेषताओं में मौलिक आवृत्ति मान, सिग्नल का वर्णक्रमीय प्रतिनिधित्व, और इसी तरह शामिल हैं।
4. ध्वनि तरंग में ध्वनिक सुविधाओं का अनुवाद करने वाला एक वोडर।

प्रशिक्षण अवधि और ध्वनिक मॉडल के लिए, छिपे हुए मार्कोव मॉडल [3], गहरे तंत्रिका नेटवर्क या उनकी आवर्तक किस्मों [6] का उपयोग किया जा सकता है। एक पारंपरिक शब्दकोष स्रोत-फिल्टर मॉडल [3] पर आधारित एक एल्गोरिथ्म है, जो मानता है कि भाषण मूल संकेत के लिए रैखिक शोर फिल्टर को लागू करने का परिणाम है।
शास्त्रीय पैरामीट्रिक विधियों की समग्र भाषण गुणवत्ता ध्वनि उत्पादन प्रक्रिया की संरचना के बारे में स्वतंत्र धारणाओं की बड़ी संख्या के कारण काफी कम है।

हालांकि, गहरी सीखने की प्रौद्योगिकियों के आगमन के साथ, अंत-टू-एंड मॉडल को प्रशिक्षित करना संभव हो गया है जो सीधे पत्र द्वारा ध्वनिक संकेतों की भविष्यवाणी करते हैं। उदाहरण के लिए, तंत्रिका नेटवर्क टैकोट्रॉन [4] और टैकोट्रॉन 2 [5] अक्षरों का एक अनुक्रम इनपुट करते हैं और sek2seq एल्गोरिथ्म [8] का उपयोग करके चॉक स्पेक्ट्रोग्राम को वापस करते हैं। इस प्रकार, शास्त्रीय दृष्टिकोण के 1-3 चरण एकल तंत्रिका नेटवर्क द्वारा प्रतिस्थापित किए जाते हैं। नीचे दिए गए आरेख टैकोट्रॉन 2 नेटवर्क की वास्तुकला को दर्शाता है, जो काफी उच्च ध्वनि गुणवत्ता प्राप्त करता है।

संश्लेषित भाषण की गुणवत्ता में उल्लेखनीय वृद्धि का एक अन्य कारक डिजिटल सिग्नल प्रोसेसिंग एल्गोरिदम के बजाय न्यूरल नेटवर्क वोकॉडर्स का उपयोग था।

इस तरह के पहले वोडर वेवनेट न्यूरल नेटवर्क थे [9], जो क्रमिक रूप से, कदम से कदम, ध्वनि तरंग के आयाम की भविष्यवाणी करते थे।

नेटवर्क आर्किटेक्चर में अधिक संदर्भ पर कब्जा करने और कनेक्शन को छोड़ने के लिए अंतराल के साथ बड़ी संख्या में दोषपूर्ण परतों के उपयोग के कारण, इकाई चयन मॉडल की तुलना में एमओएस में लगभग 10% सुधार प्राप्त किया गया था। नीचे दिए गए आरेख वेवनेट नेटवर्क की वास्तुकला को दर्शाता है।

वेवनेट का मुख्य नुकसान एक सीरियल सिग्नल सैंपलिंग सर्किट से जुड़ी कम गति है। इस समस्या को या तो एक विशिष्ट लोहे की वास्तुकला के लिए इंजीनियरिंग अनुकूलन का उपयोग करके या तेजी से एक के साथ नमूना योजना को प्रतिस्थापित करके हल किया जा सकता है।
दोनों दृष्टिकोणों को उद्योग में सफलतापूर्वक लागू किया गया है। पहला Tinkoff.ru पर है, और दूसरे दृष्टिकोण के हिस्से के रूप में, Google ने 2017 में समानांतर वेवनेट [10] नेटवर्क पेश किया, जिसकी उपलब्धियों का उपयोग Google सहायक में किया जाता है।

तंत्रिका नेटवर्क विधियों के लिए एमओएस के अनुमानित मूल्य: 4.4-4.5 [5, 11], अर्थात संश्लेषित भाषण व्यावहारिक रूप से मानव भाषण से अलग नहीं है।

पैरामीट्रिक संश्लेषण के लाभ:

• एंड-टू-एंड दृष्टिकोण का उपयोग करते समय प्राकृतिक और चिकनी ध्वनि।
• इंटन में विभिन्न प्रकार।
• इकाई चयन मॉडल की तुलना में कम डेटा का उपयोग करें।

नुकसान:

• इकाई चयन की तुलना में कम गति।
• महान कम्प्यूटेशनल जटिलता।

Tinkoff भाषण संश्लेषण कैसे काम करता है

समीक्षा से निम्नानुसार, तंत्रिका नेटवर्क पर आधारित पैरामीट्रिक भाषण संश्लेषण के तरीके वर्तमान में इकाई चयन दृष्टिकोण की गुणवत्ता में काफी बेहतर हैं और विकसित करने के लिए बहुत सरल हैं। इसलिए, अपने स्वयं के संश्लेषण इंजन का निर्माण करने के लिए, हमने उनका उपयोग किया।
प्रशिक्षण मॉडल के लिए, एक पेशेवर वक्ता के शुद्ध भाषण के लगभग 25 घंटे का उपयोग किया गया था। पठन पाठकों को विशेष रूप से चुना गया था ताकि बोलचाल की ध्वन्यात्मकता को पूरी तरह से कवर किया जा सके। इसके अलावा, इंटोनेशन में संश्लेषण में अधिक विविधता जोड़ने के लिए, हमने उद्घोषक को संदर्भ के आधार पर एक अभिव्यक्ति के साथ ग्रंथों को पढ़ने के लिए कहा।

हमारे समाधान की वास्तुकला इस तरह से दिखाई देती है:

• एनएलपी दृश्यपटल, जिसमें तंत्रिका नेटवर्क पाठ सामान्यीकरण और ठहराव और तनाव रखने के लिए एक मॉडल शामिल है।
• टैकोट्रॉन 2 इनपुट के रूप में पत्रों को स्वीकार करना।
• सीपीयू पर वास्तविक समय में काम करते हुए ऑटोरेग्रेसिव वेवनेट।

इस आर्किटेक्चर के लिए धन्यवाद, हमारा इंजन वास्तविक समय में उच्च-गुणवत्ता वाला अभिव्यंजक भाषण उत्पन्न करता है, इसके लिए एक शब्दकोष शब्दकोश के निर्माण की आवश्यकता नहीं होती है, और यह व्यक्तिगत शब्दों में तनाव को नियंत्रित करना संभव बनाता है। संश्लेषित ऑडियो के उदाहरण लिंक पर क्लिक करके सुना जा सकता है।

संदर्भ:

[१] एजे हंट, एडब्ल्यू ब्लैक। एक बड़े भाषण डेटाबेस, ICASSP, 1996 का उपयोग करते हुए एक संघटक भाषण संश्लेषण प्रणाली में इकाई चयन।
[२] टी। कैपेस, पी। कोल्स, ए। कोंकी, एल। गोलिपोर, ए। हडजीखर्खानी, क्यू। हू, एन। हडलस्टन, एम। हंट, जे। ली।, एम। नीरचेर, के। प्रह्लाद, टी। रायतिओ , आर। रासीपुरम, जी। टाउनसेंड, बी। विलियमसन, डी। विनार्स्की, जेड वू, एच। झांग। सिरी ऑन-डिवाइस डीप लर्निंग-गाइडेड यूनिट सिलेक्शन टेक्स्ट-टू-स्पीच सिस्टम, इंटर्सपीच, 2017।
[३] एच। ज़ेन, के। तोकुडा, एडब्ल्यू ब्लैक। सांख्यिकीय पैरामीट्रिक भाषण संश्लेषण, भाषण संचार, वॉल्यूम। 51, नहीं। 11, पीपी। 1039-1064, 2009।
[४] युकुआन वांग, आरजे स्केरी-रयान, डेज़ी स्टैंटन, योंगहुई वू, रॉन जे। वीस, नवदीप जेटली, ज़ोंगेंग यांग, यिंग ज़ियाओ, ज़ीफ़ेंग चेन, सैमी बेंगियो, क्वोक ले, यानिस एगिओमिरैनिज़ैनिस, रोब क्लार्क, रिफ़ ए। सौरास । टैकोट्रॉन: टू-एंड-टू-एंड स्पीच सिंथेसिस।
] मेल स्पेक्ट्रोग्राम भविष्यवाणियों पर कंडीशनिंग वेनेट द्वारा प्राकृतिक टीटीएस संश्लेषण।
[६] हेगा ज़ेन, एंड्रयू सीनियर, माइक शस्टर। गहरी तंत्रिका नेटवर्क का उपयोग करते हुए सांख्यिकीय पैरामीट्रिक भाषण संश्लेषण।
[[] हाओ झांग, रिचर्ड गले, एक्सल एच। एनजी, फेलिक्स स्टाह्लबर्ग, शियाओचांग पेंग, काइल गोर्मन, ब्रायन रोर्क। भाषण अनुप्रयोगों के लिए पाठ सामान्यीकरण के तंत्रिका मॉडल।
[S] इल्या सुस्क्वर, ओरोल विनील्स, क्वोक वी। ले। तंत्रिका नेटवर्क के साथ अनुक्रम सीखने के अनुक्रम।
[९] आरोन वैन डेन ओर्ड, सैंडर डाइलेमैन, हेगा ज़ेन, करेन सिमोनियन, ओरोल विनयल्स, एलेक्स ग्रेव्स, नाल कल्ब्रेनर, एंड्रयू सीनियर, कोरे कवुकुकोग्लू। वेवनेट: रॉ ऑडियो के लिए एक जनरेटिव मॉडल।
[१०] हारून वैन डेन ओर्ड, याज़े ली, इगोर बाबूसकिन, करेन सिमोनियन, ओरोल विनयल्स, कोरे कवकुकोग्लु, जॉर्ज वैन डेन ड्रेस, एडवर्ड लॉकहार्ट, लुइस सी। कोबो, फ्लोरियन स्टिमबर्ग, नॉर्मन कैसग्रैंड, डोमिनिक ग्रीवे, सेब नूर, सैंडर्न , इरिच एल्सेन, नाल कल्ब्रेनर, हेगा ज़ेन, एलेक्स ग्रेव्स, हेलेन किंग, टॉम वाल्टर्स, डैन बेलोव, डेमिस हसबिस। पैरेलल वेवनेट: फास्ट हाई-फिडेलिटी स्पीच सिंथेसिस।
[११] वेई पिंग किनन पेंग जीतोंग चेन। क्लारीनेट: एंड-टू-एंड टेक्स्ट-टू-स्पीच में समानांतर वेव जनरेशन।
[१२] डारियो रीथेज, जोर्डी पोंस, जेवियर सेरा। वाक्नेट फॉर स्पीच डेनोइजिंग।