क्लोनिंग के साथ बहुभाषी भाषण संश्लेषण

हालांकि तंत्रिका नेटवर्क का उपयोग भाषण संश्लेषण के लिए बहुत पहले नहीं किया जाना शुरू हुआ था ( उदाहरण के लिए ), वे पहले से ही शास्त्रीय दृष्टिकोण से आगे निकलने में कामयाब रहे हैं और हर साल वे नए और नए कार्यों का अनुभव करते हैं।

उदाहरण के लिए, कुछ महीने पहले वॉयस क्लोनिंग के साथ वाक् संश्लेषण का कार्यान्वयन रियल-टाइम-वॉयस-क्लोनिंग था । आइए यह पता लगाने की कोशिश करें कि इसमें क्या शामिल है और हमारे बहुभाषी (रूसी-अंग्रेजी) फोनेम मॉडल का एहसास है।

संरचना

हमारे मॉडल में चार तंत्रिका नेटवर्क शामिल होंगे। पहला पाठ को स्वर-समूह (g2p) में बदल देगा, दूसरा उस भाषण को परिवर्तित कर देगा जिसे हम संकेतों (संख्याओं) के वेक्टर में क्लोन करना चाहते हैं। तीसरा एक पहले दो के आउटपुट के आधार पर मेल स्पेक्ट्रोग्राम को संश्लेषित करेगा। और अंत में, चौथे को स्पेक्ट्रोग्राम से ध्वनि प्राप्त होगी।

डेटा सेट

इस मॉडल को भाषण की बहुत जरूरत है। नीचे आधार हैं जो इसके साथ मदद करेंगे।

वर्ड प्रोसेसिंग

पहला कार्य टेक्स्ट प्रोसेसिंग होगा। पाठ को उस रूप में कल्पना करें जिसमें इसे आगे आवाज़ दी जाएगी। हम शब्दों में संख्याओं का प्रतिनिधित्व करेंगे, और हम संक्षिप्त रूप खोलेंगे। संश्लेषण पर लेख में और पढ़ें। यह एक कठिन काम है, इसलिए मान लीजिए कि हमने पहले ही पाठ संसाधित किया है (इसे ऊपर के डेटाबेस में संसाधित किया गया है)।

पूछा जाने वाला अगला प्रश्न यह है कि क्या अंगूर या फोनीमे रिकॉर्डिंग का उपयोग करना है। मोनोफोनिक और मोनोलिंगुअल आवाज के लिए, एक अक्षर मॉडल भी उपयुक्त है। यदि आप एक बहु-आवाज बहुभाषी मॉडल के साथ काम करना चाहते हैं, तो मैं आपको प्रतिलेखन (Google भी ) का उपयोग करने की सलाह देता हूं।

G2P

रूसी भाषा के लिए, रूसी_जी 2 पी नामक एक कार्यान्वयन है। यह रूसी भाषा के नियमों पर बनाया गया है और कार्य के साथ अच्छी तरह से मुकाबला करता है, लेकिन इसके नुकसान भी हैं। सभी शब्द तनाव नहीं, और एक बहुभाषी मॉडल के लिए भी उपयुक्त नहीं हैं। इसलिए, उसके लिए बनाए गए शब्दकोश को लें, अंग्रेजी भाषा के लिए शब्दकोश जोड़ें और तंत्रिका नेटवर्क को खिलाएं (उदाहरण के लिए, 1 , 2 )

इससे पहले कि आप नेटवर्क को प्रशिक्षित करें, यह विचार करने योग्य है कि विभिन्न भाषाओं में से कौन सी ध्वनि समान लगती है, और आप उनके लिए एक चरित्र का चयन कर सकते हैं, और जिसके लिए यह असंभव है। जितनी अधिक ध्वनियाँ हैं, मॉडल को सीखना उतना ही कठिन है, और यदि उनमें से बहुत कम हैं, तो मॉडल में एक उच्चारण होगा। तनावग्रस्त स्वरों के साथ अलग-अलग पात्रों पर जोर देना याद रखें। अंग्रेजी भाषा के लिए, माध्यमिक तनाव एक छोटी भूमिका निभाता है, और मैं इसे अलग नहीं करूंगा।

स्पीकर कोडिंग

नेटवर्क आवाज द्वारा उपयोगकर्ता की पहचान करने के कार्य के समान है। आउटपुट पर, विभिन्न उपयोगकर्ताओं को संख्याओं के साथ अलग-अलग वैक्टर मिलते हैं। मैं खुद CorentinJ के कार्यान्वयन का उपयोग करने का सुझाव देता हूं, जो कि लेख पर आधारित है। मॉडल 768 नोड्स के साथ एक तीन-परत LSTM है, जिसके बाद 256 न्यूरॉन्स की पूरी तरह से जुड़ी हुई परत होती है, जो 256 नंबरों का वेक्टर देती है।

अनुभव से पता चला है कि अंग्रेजी में प्रशिक्षित एक नेटवर्क रूसी के साथ अच्छी तरह से बात करता है। यह जीवन को बहुत सरल करता है, क्योंकि प्रशिक्षण के लिए बहुत अधिक डेटा की आवश्यकता होती है। मैं पहले से ही प्रशिक्षित मॉडल लेने की सलाह देता हूं और वोक्ससेलब और लीब्रिस्पीच के साथ-साथ सभी रूसी भाषण जो आप पाते हैं, से अंग्रेजी में फिर से पढ़ना। एनकोडर को वाक् अंशों के पाठ एनोटेशन की आवश्यकता नहीं होती है।

ट्रेनिंग

1. डेटा को संसाधित करने के लिए python encoder_preprocess.py <datasets_root> चलाएँ
2. एक अलग टर्मिनल में "विज़डम" चलाएं।
3. एनकोडर को प्रशिक्षित करने के लिए python encoder_train.py my_run <datasets_root> चलाएं

संश्लेषण

चलो संश्लेषण पर चलते हैं। जिन मॉडलों को मैं जानता हूं, उन्हें पाठ से सीधे ध्वनि नहीं मिलती है, क्योंकि यह मुश्किल है (बहुत अधिक डेटा)। सबसे पहले, पाठ वर्णक्रमीय रूप में ध्वनि पैदा करता है, और उसके बाद ही चौथा नेटवर्क एक परिचित आवाज में अनुवाद करेगा। इसलिए, हम पहले समझते हैं कि वर्णक्रमीय स्वर के साथ कैसे जुड़ा हुआ है। ध्वनि से स्पेक्ट्रोग्राम कैसे प्राप्त करें, इसका उलटा समस्या का पता लगाना आसान है।

ध्वनि को 10 ms (अधिकांश मॉडलों में डिफ़ॉल्ट) की वृद्धि में 25 ms के खंडों में विभाजित किया गया है। फिर, प्रत्येक टुकड़े के लिए फूरियर ट्रांसफॉर्म का उपयोग करते हुए, स्पेक्ट्रम की गणना की जाती है (हार्मोनिक दोलन, जिसका योग मूल संकेत देता है) और एक ग्राफ के रूप में प्रस्तुत किया जाता है, जहां ऊर्ध्वाधर पट्टी एक खंड (आवृत्ति में) का स्पेक्ट्रम है, और क्षैतिज में - खंडों का एक क्रम (समय में)। इस ग्राफ को स्पेक्ट्रोग्राम कहा जाता है। यदि आवृत्ति nonlinearly (ऊपरी आवृत्तियों की तुलना में बेहतर है) एन्कोडेड है, तो ऊर्ध्वाधर पैमाने बदल जाएगा (डेटा को कम करने के लिए आवश्यक है), फिर इस ग्राफ को मेल स्पेक्ट्रोग्राम कहा जाता है। यह मानव श्रवण कैसे काम करता है, यह है कि हम कम आवृत्तियों पर उच्चतर लोगों की तुलना में थोड़ा विचलन सुनते हैं, इसलिए ध्वनि की गुणवत्ता को नुकसान नहीं होगा

Tacotron 2 और Deepvoice 3 जैसे कई अच्छे स्पेक्ट्रोग्राम संश्लेषण कार्यान्वयन हैं। इनमें से प्रत्येक मॉडल का अपना कार्यान्वयन है, उदाहरण के लिए 1 , 2 , 3 , 4 । हम रेहान-मामा के टैकोट्रॉन मॉडल (कॉरेंटिनज की तरह) का उपयोग करेंगे।

टैकोट्रॉन एक ध्यान तंत्र के साथ seq2seq नेटवर्क पर आधारित है। लेख में विवरण पढ़ें।

ट्रेनिंग

यदि आप न केवल अंग्रेजी भाषण, hparams.p, बल्कि preprocess.py भी संश्लेषित करते हैं, तो बर्तन / प्रतीक को संपादित करना न भूलें।

सिंथेसिस के लिए अलग-अलग स्पीकर्स से बहुत अच्छी तरह से साफ-सुथरी आवाज की जरूरत होती है। यहां एक विदेशी भाषा मदद नहीं करेगी।

1. संसाधित ध्वनि और स्पेक्ट्रोग्राम बनाने के लिए python synthesizer_preprocess_audio.py <datasets_root> चलाएं
2. ध्वनि को एन्कोड करने के लिए python synthesizer_preprocess_embeds.py <datasets_root> चलाएँ (आवाज़ के संकेत प्राप्त करें)
3. python synthesizer_train.py my_run <datasets_root> को प्रशिक्षित करने के लिए python synthesizer_train.py my_run <datasets_root> चलाएं

vocoder

अब यह केवल स्पेक्ट्रोग्राम को ध्वनि में परिवर्तित करने के लिए रह गया है। इसके लिए, अंतिम नेटवर्क वाउचर है। प्रश्न उठता है, अगर फूरियर ट्रांसफॉर्म का उपयोग करके स्पेक्ट्रोग्राम को ध्वनि से प्राप्त किया जाता है, तो क्या अदृश्य परिवर्तन का उपयोग करके फिर से ध्वनि प्राप्त करना संभव है? इसका उत्तर हां और नहीं है। हार्मोनिक दोलन जो मूल संकेत बनाते हैं, उनमें आयाम और चरण दोनों होते हैं, और हमारे स्पेक्ट्रोग्राम में केवल आयाम के बारे में जानकारी होती है (मापदंडों को कम करने और स्पेक्ट्रोग्राम के साथ काम करने के लिए), इसलिए यदि हम उलटा फूरियर रूपांतरण करते हैं, तो हमें एक खराब ध्वनि मिलती है।

इस समस्या को हल करने के लिए, उन्होंने एक तेज ग्रिफिन-लिम एल्गोरिथ्म का आविष्कार किया। वह "खराब" ध्वनि प्राप्त करके, स्पेक्ट्रोग्राम के व्युत्क्रम फूरियर रूपांतरण करता है। फिर वह इस ध्वनि का सीधा रूपांतरण करता है और एक स्पेक्ट्रम प्राप्त करता है जिसमें पहले से ही चरण के बारे में थोड़ी जानकारी होती है, और आयाम प्रक्रिया में नहीं बदलता है। अगला, उलटा परिवर्तन फिर से लिया जाता है और एक क्लीनर ध्वनि प्राप्त की जाती है। दुर्भाग्य से, इस तरह के एक एल्गोरिथ्म द्वारा उत्पन्न भाषण की गुणवत्ता वांछित होने के लिए बहुत कुछ छोड़ देती है।

इसकी जगह न्यूरल वोकॉडर्स जैसे वेवनेट , वेवआरएनएन , वेवग्लो और अन्य ने ले ली। CorentinJ ने WaveRNN मॉडल का उपयोग फाचर्ड द्वारा किया

डेटा प्रीप्रोसेसिंग के लिए, दो दृष्टिकोणों का उपयोग किया जाता है। या तो ध्वनि से स्पेक्ट्रोग्राम प्राप्त करें (फूरियर रूपांतरण का उपयोग करके), या पाठ से (संश्लेषण मॉडल का उपयोग करके)। Google एक दूसरे दृष्टिकोण की सिफारिश करता है।

ट्रेनिंग

1. स्पेक्ट्रोग्राम को संश्लेषित करने के लिए python vocoder_preprocess.py <datasets_root> चलाएं
2. python vocoder_train.py <datasets_root> चलाएं

कुल मिलाकर

हमें बहुभाषी भाषण संश्लेषण का एक मॉडल मिला जो एक आवाज को क्लोन कर सकता है।
टूलबॉक्स चलाएँ: python demo_toolbox.py -d <datasets_root>
उदाहरण यहां सुने जा सकते हैं

युक्तियाँ और निष्कर्ष

• बहुत अधिक डेटा चाहिए (> 1000 वोट,> 1000 घंटे)
• ऑपरेशन की गति केवल कम से कम 4 वाक्यों के संश्लेषण में वास्तविक समय के साथ तुलनीय है
• एनकोडर के लिए, अंग्रेजी भाषा के लिए पूर्व-प्रशिक्षित मॉडल का उपयोग करें, थोड़ा पीछे हटने का। वह अच्छा कर रही है
• "स्वच्छ" डेटा पर प्रशिक्षित एक सिंथेसाइज़र बेहतर काम करता है, लेकिन क्लोन एक से भी बदतर है जो एक बड़ी मात्रा में प्रशिक्षित है, लेकिन गंदे डेटा
• मॉडल केवल उस डेटा पर अच्छी तरह से काम करता है जिस पर मैंने अध्ययन किया था

आप कोलाब का उपयोग करके अपनी आवाज़ को ऑनलाइन संश्लेषित कर सकते हैं, या जीथब पर मेरे कार्यान्वयन को देख सकते हैं और मेरे भार को डाउनलोड कर सकते हैं ।