उच्च गुणवत्ता, हल्के और अनुकूलनीय पाठ से वाक् प्रौद्योगिकी LPCNet का उपयोग कर

गहरी शिक्षा में हालिया प्रगति भाषण संश्लेषण प्रणाली (इसके बाद - टीटीएस) के विकास में महत्वपूर्ण सुधार लाती है। यह बोलने वालों की आवाज़ और शैली के अध्ययन के अधिक प्रभावी और तेज़ तरीकों के उपयोग के साथ-साथ अधिक प्राकृतिक और उच्च-गुणवत्ता वाले भाषण के संश्लेषण के कारण है।

हालांकि, इसे प्राप्त करने के लिए, अधिकांश टीटीएस सिस्टम को बड़े और जटिल तंत्रिका नेटवर्क मॉडल का उपयोग करना चाहिए जो कि प्रशिक्षित करना मुश्किल है और जो कि GPU के साथ भी वास्तविक समय के भाषण संश्लेषण की अनुमति नहीं देते हैं।

इन समस्याओं को हल करने के लिए, हमारी आईबीएम रिसर्च एआई टीम ने एक मॉड्यूलर वास्तुकला के आधार पर तंत्रिका नेटवर्क संश्लेषण की एक नई विधि विकसित की है। यह विधि उनके उत्पादन संकेतों के मध्यवर्ती प्रसंस्करण के साथ तीन गहरे तंत्रिका नेटवर्क (इसके बाद DNN के रूप में संदर्भित) को जोड़ती है। हमने अपने लेख "हाई-क्वालिटी, लाइटवेट और एडेप्टेबल टीटीएस टेक्नोलॉजी का उपयोग करते हुए एलपीसीनेट का उपयोग करते हुए" प्रस्तुत किया है। इंटर्सपीच 2019 में। टीटीएस आर्किटेक्चर हल्का है और वास्तविक समय में उच्च-गुणवत्ता वाले भाषण को संश्लेषित कर सकता है। प्रत्येक नेटवर्क स्पीकर की आवाज़ के विभिन्न पहलुओं में माहिर है, जो आपको दूसरों के स्वतंत्र रूप से किसी भी घटक को प्रभावी ढंग से प्रशिक्षित करने की अनुमति देता है।


आरेख 1. टीटीएस सिस्टम आर्किटेक्चर

हमारे दृष्टिकोण का एक और लाभ यह है कि कोर नेटवर्क को प्रशिक्षित करने के बाद, उन्हें आसानी से भाषण या आवाज की एक नई शैली के लिए अनुकूलित किया जा सकता है, यहां तक ​​कि प्रशिक्षण डेटा के छोटे संस्करणों पर भी, उदाहरण के लिए, ब्रांडिंग और अनुकूलन उद्देश्यों के लिए।

संश्लेषण प्रक्रिया में, एक विशिष्ट भाषा के लिए एक इंटरफ़ेस मॉड्यूल का उपयोग किया जाता है, जो इनपुट पाठ को भाषाई सुविधाओं के अनुक्रम में परिवर्तित करता है। फिर निम्नलिखित DNN एक के बाद एक लागू होते हैं:

1. अभियोजन की भविष्यवाणी

भाषण की समृद्ध विशेषताएं टीटीएस इकाई के चार-आयामी वेक्टर के रूप में प्रस्तुत की जाती हैं ( एसएमएम (छिपी मार्कोव मॉडल) के अनुसार ध्वनि स्थितियों में लगभग एक तिहाई), जिसमें लॉग-अवधि, प्रारंभिक और अंतिम लॉग-पिच, साथ ही लॉग-एनर्जी भी शामिल है। इन सुविधाओं को प्रशिक्षण प्रक्रिया के दौरान निर्धारित किया जाता है, इसलिए उन्हें संश्लेषण के दौरान इंटरफ़ेस द्वारा प्राप्त पाठ की सुविधाओं द्वारा भविष्यवाणी की जा सकती है। न केवल प्राकृतिक और जीवंत ध्वनि के लिए, बल्कि प्रशिक्षण या अनुकूलन के लिए अभिप्राय वक्ता के भाषण शैली का सबसे पूरा प्रतिबिंब होना चाहिए। स्पीकर की आवाज़ के लिए पेशेवरों का अनुकूलन वैरिएशनल ऑटो एनकोडर (VAE) पर आधारित है।


योजना 2. अभियोक्ता जनरेटर का प्रशिक्षण और पुन: प्रशिक्षण

2. ध्वनिक सुविधाओं की भविष्यवाणी

ध्वनिक फ़ीचर वैक्टर छोटे 10-मिलीसेकंड फ्रेम में भाषण का एक वर्णक्रमीय प्रतिनिधित्व प्रदान करते हैं जिससे वास्तविक ध्वनि उत्पन्न की जा सकती है। ध्वनिक विशेषताओं को सीखने की प्रक्रिया में निर्धारित किया जाता है, और उन्हें संश्लेषण के दौरान ध्वन्यात्मक निशान और प्रोसोडी द्वारा भविष्यवाणी की जा सकती है।


योजना 3. नेटवर्क सिंथेसाइज़र

बनाया गया DNN मॉडल ऑडियो डेटा (आवाज उद्घोषक), प्रशिक्षण या अनुकूलन के लिए आवश्यक है। मॉडल के आर्किटेक्चर में ध्वन्यात्मक और स्वर संरचना के अनुक्रम में स्थानीय संदर्भ और समय की निर्भरता को निकालने के लिए डिज़ाइन किए गए दृढ़ और आवर्तक परत होते हैं। DNN अपने पहले और दूसरे व्युत्पन्न से ध्वनिक सुविधाओं की भविष्यवाणी करता है। इसके बाद अधिकतम संभावना विधि और फॉर्मेंट फ़िल्टर लागू किए जाते हैं जो बेहतर ध्वनि वाले भाषण उत्पन्न करने में मदद करते हैं।

3. तंत्रिका स्वर

एक तंत्रिका वोकडर ध्वनिक विशेषताओं से भाषण उत्पन्न करने के लिए जिम्मेदार है। वह स्पीकर के प्राकृतिक भाषण पैटर्न से सीखता है, अपनी संबंधित विशेषताओं को देखते हुए। तकनीकी रूप से, हम एक नए, हल्के, उच्च-गुणवत्ता वाले तंत्रिका वोकडर का उपयोग करने वाले पहले व्यक्ति थे जिन्होंने एलपीसीनेट नामक एक पूरी तरह से व्यावसायिक एटीएस प्रणाली में उपयोग किया।

इस शब्दकोष की नवीनता यह है कि यह DNN का उपयोग करके सीधे एक जटिल भाषण संकेत की भविष्यवाणी करने की कोशिश नहीं करता है। इसके बजाय, DNN केवल कम जटिल अवशिष्ट आवाज पथ संकेत की भविष्यवाणी करता है, और फिर इसे अंतिम भाषण संकेत में परिवर्तित करने के लिए रैखिक भविष्य कहनेवाला कोडिंग (LPC) फ़िल्टर का उपयोग करता है।


योजना 4. तंत्रिका वोकडर LPCNet

आवाज का अनुकूलन

लक्ष्य स्पीकर से ऑडियो डेटा की थोड़ी मात्रा के आधार पर तीन नेटवर्क को पुनः प्राप्त करके आवाज को अनुकूलन आसानी से प्राप्त किया जाता है। हमारे लेख में, हम भाषण गुणवत्ता के मामले में अनुकूलन प्रयोगों के परिणामों और सच्चे वक्ता के भाषण में इसकी समानता को प्रस्तुत करते हैं। यह पृष्ठ आठ अलग-अलग वीसीटीके (वॉयस क्लोनिंग टूलकिट) वक्ताओं के अनुकूलन के उदाहरण भी दिखाता है, जिनमें से 4 पुरुष हैं और 4 महिलाएं हैं।

सुनने के परिणाम

नीचे दिया गया आंकड़ा वीसीटीके वक्ताओं के संश्लेषित और प्राकृतिक भाषण पैटर्न के परीक्षण के परिणाम दिखाता है। मीन ओपिनियन स्कोर (MOS) मान श्रोताओं के 1 से 5 के पैमाने पर भाषण की गुणवत्ता के विश्लेषण पर आधारित होते हैं। नमूनों के जोड़े के बीच समानता का आकलन 1 से 4 के पैमाने पर छात्रों द्वारा किया गया था।

हमने संश्लेषित भाषण की गुणवत्ता को मापा, साथ ही "लाइव" बोलने वालों के भाषण के लिए इसकी समानता, वक्ताओं के प्राकृतिक भाषण के साथ 5, 10 और 20 मिनट तक चलने वाली महिला और पुरुष अनुकूलित आवाज़ की तुलना की।

परीक्षण के परिणाम बताते हैं कि हम उच्च गुणवत्ता और उच्च समानता दोनों को बनाए रख सकते हैं, यहां तक ​​कि उन आवाजों के लिए भी जिन्हें पाँच मिनट के उदाहरणों पर प्रशिक्षित किया गया था।



आरेख 5. गुणवत्ता और समानता के लिए परीक्षणों के परिणाम

यह काम आईबीएम वॉटसन द्वारा किया गया था और बेहतर वॉयस क्वालिटी के साथ आईबीएम वॉटसन टीटीएस सेवा की नई रिलीज के लिए आधार प्रदान किया गया था ( आईबीएम वॉट्सन टीटीएस डेमो में "* V3" आवाज देखें)।