टैकोट्रॉन 2 आर्किटेक्चर का उपयोग करते हुए तंत्रिका नेटवर्क भाषण संश्लेषण, या "एलाइनमेंट प्राप्त करें या ट्रायइन मरें"।

हमारी टीम को कार्य दिया गया था: भाषण संश्लेषण Tacotron2 लेखक डीपमाइंड के कृत्रिम तंत्रिका नेटवर्क के काम के परिणामों को दोहराने के लिए। यह कांटेदार रास्ते के बारे में एक कहानी है जो हम परियोजना के कार्यान्वयन के दौरान चले थे।

कंप्यूटर भाषण संश्लेषण का कार्य लंबे समय से वैज्ञानिकों और तकनीकी विशेषज्ञों के लिए रुचि रखता है। हालांकि, शास्त्रीय तरीके भाषण के संश्लेषण की अनुमति नहीं देते हैं, मानव से अप्रभेद्य। और यहाँ, कई अन्य क्षेत्रों की तरह, गहन शिक्षा बचाव के लिए आई।

आइए क्लासिक संश्लेषण विधियों को देखें।

संघात्मक भाषण संश्लेषण

यह विधि पूर्व-रिकॉर्डिंग लघु ऑडियो अंशों पर आधारित है, जो तब सुसंगत भाषण बनाने के लिए संयुक्त हैं। यह बहुत साफ और स्पष्ट है, लेकिन भावनात्मक और सहज घटकों से पूरी तरह से रहित है, अर्थात यह अप्राकृतिक लगता है। और सभी क्योंकि भावनाओं और प्रोसोडी के सभी संभावित संयोजनों में उच्चारण सभी संभव शब्दों की ऑडियो रिकॉर्डिंग प्राप्त करना असंभव है। समसामयिक प्रणालियों को शब्दों को बनाने के लिए विशाल डेटाबेस और हार्ड-कोडिंग संयोजन की आवश्यकता होती है। एक विश्वसनीय प्रणाली विकसित करने में बहुत समय लगता है।

पैरामीट्रिक भाषण संश्लेषण

उच्च डेटा आवश्यकताओं और विकास के समय के कारण कॉन्टैक्शनल टीटीएस एप्लिकेशन सीमित हैं। इसलिए, एक सांख्यिकीय पद्धति विकसित की गई जो डेटा की प्रकृति की पड़ताल करती है। यह आवृत्ति, आयाम स्पेक्ट्रम आदि जैसे मापदंडों के संयोजन से भाषण उत्पन्न करता है।

पैरामीट्रिक संश्लेषण में दो चरण होते हैं।

1. सबसे पहले, भाषाई विशेषताएं, जैसे कि फ़ोनेम्स, अवधि, आदि को पाठ से निकाला जाता है।
2. फिर, वेकोडर (तरंग उत्पन्न करने वाली प्रणाली) के लिए, संकेत निकाले जाते हैं जो संबंधित भाषण संकेत का प्रतिनिधित्व करते हैं: सेप्रस्ट्रम, आवृत्ति, रैखिक स्पेक्ट्रोग्राम, चॉक स्पेक्ट्रोग्राम।
3. ये मैन्युअल रूप से कॉन्फ़िगर किए गए पैरामीटर, भाषाई विशेषताओं के साथ, वोडर मॉडल में स्थानांतरित किए जाते हैं, और यह ध्वनि तरंग उत्पन्न करने के लिए कई जटिल रूपांतरण करता है। एक ही समय में, वोकोडर भाषण मापदंडों का मूल्यांकन करता है, जैसे कि चरण, प्रोसोडी, इंटोनेशन और अन्य।

यदि हम मापदंडों को अनुमानित कर सकते हैं जो इसकी प्रत्येक इकाई पर भाषण को परिभाषित करते हैं, तो हम एक पैरामीट्रिक मॉडल बना सकते हैं। पैरामीट्रिक सिंथेसिस को कंसेंटिव सिस्टम की तुलना में काफी कम डेटा और कड़ी मेहनत की आवश्यकता होती है।

सैद्धांतिक रूप से, सब कुछ सरल है, लेकिन व्यवहार में कई कलाकृतियां हैं जो एक "गूंज" ध्वनि के साथ गूढ़ भाषण देती हैं, जो कि एक प्राकृतिक ध्वनि की तरह बिल्कुल नहीं है।

तथ्य यह है कि संश्लेषण के प्रत्येक चरण में हम कुछ विशेषताओं को कोड करते हैं और यथार्थवादी-ध्वनि वाले भाषण प्राप्त करने की उम्मीद करते हैं। लेकिन चयनित डेटा हमारे भाषण की समझ पर आधारित है, और मानव ज्ञान निरपेक्ष नहीं है, इसलिए, उठाए गए संकेत सबसे अच्छा संभव समाधान नहीं होंगे।

और यहाँ दीप लर्निंग अपने सभी वैभव में दृश्य में प्रवेश करता है।

डीप न्यूरल नेटवर्क एक शक्तिशाली उपकरण है, जो सैद्धांतिक रूप से, एक मनमाने ढंग से जटिल फ़ंक्शन को अनुमानित कर सकता है, अर्थात् आउटपुट डेटा स्पेस Y में कुछ इनपुट डेटा स्पेस X लाता है। हमारे कार्य के संदर्भ में, ये क्रमशः भाषण के साथ पाठ और ऑडियो होंगे।

डेटा प्रीप्रोसेसिंग

शुरू करने के लिए, हम यह निर्धारित करेंगे कि हमारे पास इनपुट के रूप में क्या है और हम आउटपुट पर क्या प्राप्त करना चाहते हैं।

इनपुट पाठ होगा, और आउटपुट एक चॉक स्पेक्ट्रोग्राम होगा। यह असतत ऑडियो सिग्नल में तेजी से फूरियर रूपांतरण को लागू करके प्राप्त निम्न-स्तरीय प्रतिनिधित्व है। यह तुरंत ध्यान दिया जाना चाहिए कि इस तरह से प्राप्त स्पेक्ट्रोग्राम को अभी भी गतिशील रेंज को संकुचित करके सामान्यीकृत करने की आवश्यकता है । यह आपको रिकॉर्डिंग में सबसे तेज और सबसे शांत ध्वनि के बीच प्राकृतिक संबंध को कम करने की अनुमति देता है। हमारे प्रयोगों में, स्पेक्ट्रोग्राम का उपयोग कम हो गया [-4; 4] के लिए सबसे अच्छा साबित हुआ।


चित्र 1: भाषण श्रव्य सिग्नल का चॉक स्पेक्ट्रोग्राम [-4; 4] तक कम हो गया।

प्रशिक्षण डेटा सेट के रूप में, हमने LJSpeech डेटासेट चुना, जिसमें 2-10 सेकंड के लिए 13,100 ऑडियो ट्रैक हैं। और ऑडियो पर दर्ज अंग्रेजी भाषण के अनुरूप पाठ के साथ एक फ़ाइल।

उपरोक्त परिवर्तनों का उपयोग करते हुए ध्वनि को चॉक स्पेक्ट्रोग्राम में एन्कोड किया गया है। पाठ का टोकन और रूपांतरण किया गया है।

पूर्णांकों के अनुक्रम में। मुझे तुरंत इस बात पर ज़ोर देना चाहिए कि ग्रंथों को सामान्यीकृत किया गया है: सभी संख्याएँ मौखिक रूप से लिखी गई हैं, और संभव संक्षिप्त रूप से डिक्रिपर्ड हैं, उदाहरण के लिए: "श्रीमती। रॉबिन्सन ”-“ मिसिस रॉबिन्सन ”।

इस प्रकार, प्रीप्रोसेसिंग के बाद, हमें डिस्क पर npy फ़ाइलों में दर्ज संख्यात्मक अनुक्रमों और चाक स्पेक्ट्रोग्रामों के संख्यात्मक सरणियों के सेट मिलते हैं।

ताकि प्रशिक्षण स्तर पर पैच टेंसर्स के सभी आयामों का संयोग हो, हम लघु अनुक्रमों में पैडिंग जोड़ देंगे। ग्रंथों के रूप में अनुक्रम के लिए, इन्हें पैडिंग 0 के लिए आरक्षित किया जाएगा, और स्पेक्ट्रोग्राम के लिए, फ़्रेम, जिनका मान हमारे द्वारा निर्धारित न्यूनतम स्पेक्ट्रोग्राम से थोड़ा कम है। इन पैडिंग को अलग करने, शोर और मौन से अलग करने के लिए यह सिफारिश की जाती है।

अब हमारे पास पाठ और ऑडियो का प्रतिनिधित्व करने वाले डेटा हैं जो एक कृत्रिम तंत्रिका नेटवर्क द्वारा प्रसंस्करण के लिए उपयुक्त हैं। आइए फ़ीचर प्रिडिक्शन नेट की वास्तुकला को देखें, जिसे पूरे संश्लेषण प्रणाली के केंद्रीय तत्व के नाम से Tacronron2 कहा जाएगा।

आर्किटेक्चर

टैकोट्रॉन 2 एक नेटवर्क नहीं है, लेकिन दो: फ़ीचर प्रिडिक्शन नेट और एनएन- वोकटर वेवनेट । मूल लेख, साथ ही साथ किए गए कार्य की हमारी अपनी दृष्टि, हमें फ़ीचर भविष्यवाणी नेट को पहले वायलिन के रूप में विचार करने की अनुमति देती है, जबकि वेवनेट वोकोडर एक परिधीय प्रणाली की भूमिका निभाता है।

Tacotron2 वास्तुकला के अनुक्रम का एक क्रम है । इसमें एक एनकोडर (एनकोडर) होता है, जो इनपुट सिग्नल (प्रतीक टोकन) के कुछ आंतरिक प्रतिनिधित्व, और एक डिकोडर (डिकोडर) बनाता है, जो इस प्रतिनिधित्व को एक चॉक स्पेक्ट्रोग्राम में बदल देता है। इसके अलावा नेटवर्क का एक अत्यंत महत्वपूर्ण तत्व तथाकथित पोस्टनेट है , जिसे डिकोडर द्वारा उत्पन्न स्पेक्ट्रोग्राम में सुधार करने के लिए डिज़ाइन किया गया है।


चित्र 2: टैकोट्रॉन 2 नेटवर्क आर्किटेक्चर।

आइए नेटवर्क ब्लॉक और उनके मॉड्यूल के बारे में अधिक विस्तार से विचार करें।

पहली एनकोडर परत एंबेडिंग परत है। वर्णों का प्रतिनिधित्व करने वाली प्राकृतिक संख्याओं के अनुक्रम के आधार पर, यह बहुआयामी (512-आयामी) वैक्टर बनाता है।

इसके बाद, एम्बेडिंग वैक्टर को तीन एक आयामी सजातीय परतों के एक ब्लॉक में खिलाया जाता है। प्रत्येक परत में लंबाई के 512 फिल्टर शामिल हैं। यह मान इस संदर्भ में एक अच्छा फिल्टर आकार है, क्योंकि यह एक निश्चित चरित्र को कैप्चर करता है, साथ ही इसके दो पिछले और दो बाद के पड़ोसियों को भी। मिनी-बैच के सामान्यीकरण और ReLU सक्रियण के बाद प्रत्येक आक्षेपिक परत होती है।

दिवाला ब्लॉक के बाद प्राप्त टेनर्स को द्विदिश LSTM परतों, 256 न्यूरॉन्स प्रत्येक पर लागू किया जाता है। फ़ॉरवर्ड और रिटर्न परिणाम संक्षिप्त हैं।

डिकोडर में एक आवर्तक वास्तुकला है, अर्थात प्रत्येक बाद के चरण में, पिछले चरण से आउटपुट का उपयोग किया जाता है। यहां वे स्पेक्ट्रोग्राम के एक फ्रेम होंगे। एक और महत्वपूर्ण, यदि कुंजी नहीं है, तो इस प्रणाली का तत्व नरम (प्रशिक्षित) ध्यान का तंत्र है - एक अपेक्षाकृत नई तकनीक जो अधिक से अधिक लोकप्रियता प्राप्त कर रही है। डिकोडर के प्रत्येक चरण पर, एक संदर्भ वेक्टर बनाने के लिए ध्यान और वजन के उपयोग पर ध्यान दें:

• एक पूरी तरह से जुड़े परत पर डिकोडर के आरएनएन नेटवर्क के पिछले छिपे हुए राज्य का प्रक्षेपण,
• पूरी तरह से जुड़े परत पर एनकोडर आउटपुट का प्रक्षेपण,
• साथ ही योज्य (डिकोडर के प्रत्येक समय चरण पर संचित) ध्यान भार।

ध्यान के विचार को इस प्रकार समझा जाना चाहिए: "वर्तमान विकोडक कदम पर एनकोडर डेटा के किस भाग का उपयोग किया जाना चाहिए"।


चित्र 3: ध्यान तंत्र की योजना।

डिकोडर के प्रत्येक चरण में, संदर्भ वेक्टर C _{i की} गणना _की जाती है (ऊपर दिए गए चित्र में "एनकोडर आउटपुट में भाग लिया" के रूप में इंगित किया गया है), जो एनकोडर आउटपुट ( एच ) और ध्यान भार ( α ) का उत्पाद है:



जहां α _ij सूत्र द्वारा गणना किए गए ध्यान भार हैं:



जहाँ _ej तथाकथित "ऊर्जा" है, जिसका गणना सूत्र आपके द्वारा उपयोग किए जाने वाले ध्यान तंत्र के प्रकार पर निर्भर करता है (हमारे मामले में, यह हाइब्रिड प्रकार होगा, जिसमें स्थान-आधारित ध्यान और सामग्री-आधारित ध्यान दोनों का उपयोग किया जाता है)। ऊर्जा की गणना सूत्र द्वारा की जाती है:

e _ij = v _aT tanh (Ws _i-1 + Vh _j + Uf _{i, j} + b)

जहां:

• डिकोडर के LSTM नेटवर्क की पिछली _i-1 - पिछली छिपी हुई स्थिति,
• α _i-1 - पिछला ध्यान भार,
• h _j एन्कोडर की jth छिपी हुई अवस्था है,
• डब्ल्यू , वी , यू , वी _ए और बी प्रशिक्षण पैरामीटर हैं,
• f _{i, j} - सूत्र द्वारा परिकलित स्थान-संकेत:
  
  f _i = F * α _i-1
  
  जहां एफ कनवल्शन ऑपरेशन है।

क्या हो रहा है इसकी स्पष्ट समझ के लिए, हम जोड़ते हैं कि नीचे वर्णित कुछ मॉड्यूल डिकोडर के पिछले चरण से जानकारी के उपयोग को मानते हैं। लेकिन अगर यह पहला कदम है, तो जानकारी शून्य मानों के दसियों होगी, जो पुनरावृत्ति संरचनाओं का निर्माण करते समय एक सामान्य अभ्यास है।

अब ऑपरेशन एल्गोरिथ्म पर विचार करें ।

सबसे पहले, पिछले समय के कदम से डिकोडर आउटपुट को एक छोटे प्रीनेट मॉड्यूल में खिलाया जाता है, जो 256 न्यूरॉन्स की दो पूरी तरह से जुड़ी परतों का एक ढेर है, जो 0.5 की दर के साथ ड्रॉपआउट परतों के साथ वैकल्पिक है। इस मॉड्यूल की एक विशिष्ट विशेषता यह है कि ड्रॉपआउट का उपयोग न केवल मॉडल प्रशिक्षण चरण में, बल्कि आउटपुट चरण में भी किया जाता है।

ध्यान तंत्र के परिणामस्वरूप प्राप्त संदर्भ वेक्टर के साथ संघनन में प्रीनेट आउटपुट इनपुट को एक यूनिडायरेक्शनल दो-परत LSTM नेटवर्क, प्रत्येक परत में 1024 न्यूरॉन्स में इनपुट के लिए खिलाया जाता है।

फिर, एक ही (और संभवतः अलग) संदर्भ वेक्टर के साथ LSTM परतों के आउटपुट का संघनन 80 न्यूरॉन्स के साथ एक पूरी तरह से जुड़ा हुआ परत में खिलाया जाता है, जो स्पेक्ट्रोग्राम के चैनलों की संख्या से मेल खाती है। डिकोडर की यह अंतिम परत फ्रेम द्वारा अनुमानित स्पेक्ट्रोग्राम फ्रेम बनाती है। और पहले से ही इसका आउटपुट प्रीनेट में डिकोडर के अगली बार के इनपुट के रूप में दिया जाता है।

हमने पिछले पैराग्राफ में क्यों उल्लेख किया है कि संदर्भ वेक्टर पहले से ही अलग हो सकता है? LSTM नेटवर्क के अव्यक्त अवस्था के इस चरण में प्राप्त होने के बाद संभव सदिशों का पुनरावर्तन करना संभव दृष्टिकोणों में से एक है। हालांकि, हमारे प्रयोगों में इस दृष्टिकोण ने खुद को सही नहीं ठहराया।

80-न्यूरॉन पूरी तरह से जुड़ी हुई परत पर प्रक्षेपण के अलावा, एक संदर्भ सदिश के साथ LSTM परतों के आउटपुट का संघनन एक न्यूरॉन के साथ पूरी तरह से जुड़ा हुआ परत में खिलाया जाता है, इसके बाद सिग्मॉइड सक्रियण होता है - यह एक "स्टॉप टोकन भविष्यवाणी" परत है। वह इस संभावना की भविष्यवाणी करता है कि डिकोडर के इस चरण पर बनाया गया फ्रेम अंतिम है। यह परत तय नहीं की गई है, लेकिन मॉडल आउटपुट स्तर पर मनमाना लंबाई उत्पन्न करने के लिए डिज़ाइन किया गया है। यही है, आउटपुट स्तर पर, यह तत्व डिकोडर के चरणों की संख्या निर्धारित करता है। इसे बाइनरी क्लासिफायरियर माना जा सकता है।

इसके सभी चरणों से डिकोडर का आउटपुट अनुमानित स्पेक्ट्रोग्राम होगा। हालाँकि, यह सब नहीं है। स्पेक्ट्रोग्राम की गुणवत्ता में सुधार करने के लिए, इसे पोस्टनेट मॉड्यूल के माध्यम से पारित किया जाता है, जो प्रत्येक में 512 फिल्टर के साथ पांच एक-आयामी आयामी परतों का एक ढेर है और 5 के फिल्टर आकार के साथ। बैच सामान्यीकरण और स्पर्शरेखा सक्रियण प्रत्येक परत का पालन करते हैं (अंतिम को छोड़कर)। स्पेक्ट्रोग्राम के आयाम पर लौटने के लिए, हम 80-न्यूरॉन्स के साथ पूरी तरह से जुड़े परत के माध्यम से पोस्ट-नेट आउटपुट डेटा पास करते हैं और प्राप्त डेटा को डिकोडर के प्रारंभिक परिणाम के साथ जोड़ते हैं। हमें टेक्स्ट से उत्पन्न चॉक स्पेक्ट्रोग्राम मिलता है। लाभ।

सभी कंफ्यूजनल मॉड्यूल को 0.5 की दर के साथ ड्रॉपआउट लेयर्स के साथ नियमित किया जाता है, और नए जोनआउट विधि के साथ पुनरावृत्ति परतों को 0.1 की दर के साथ। यह काफी सरल है: LSTM नेटवर्क के अगली बार के चरण में वर्तमान चरण में प्राप्त अव्यक्त स्थिति और सेल स्थिति को लागू करने के बजाय, हम पिछले चरण के मानों के साथ डेटा के भाग को प्रतिस्थापित करते हैं। यह प्रशिक्षण चरण और प्रत्याहार अवस्था दोनों में किया जाता है। इस स्थिति में, केवल छिपे हुए राज्य (जो अगले LSTM चरण में पास हो जाता है) को प्रत्येक चरण में ज़ोनआउट विधि से अवगत कराया जाता है, जबकि वर्तमान चरण में LSTM सेल का आउटपुट अपरिवर्तित रहता है।

हमने पियरटेक को गहन शिक्षण ढांचे के रूप में चुना। हालांकि नेटवर्क के कार्यान्वयन के समय यह पूर्व-रिलीज़ की स्थिति में था, लेकिन यह पहले से ही कृत्रिम तंत्रिका नेटवर्क के निर्माण और प्रशिक्षण के लिए एक बहुत शक्तिशाली उपकरण था। अपने काम में, हम अन्य फ्रेमवर्क का उपयोग करते हैं जैसे कि टेन्सरफ्लो और केरस। हालांकि, गैर-मानक कस्टम संरचनाओं को लागू करने की आवश्यकता के कारण बाद को छोड़ दिया गया था, और अगर हम TensorFlow और PyTorch की तुलना करते हैं, तो दूसरे का उपयोग करते समय, यह महसूस नहीं होता है कि मॉडल पायथन भाषा से फाड़ा गया है। हालाँकि, हम यह दावा करने का उपक्रम नहीं करते हैं कि उनमें से एक बेहतर है और दूसरा बदतर है। एक विशेष ढांचे का उपयोग विभिन्न कारकों पर निर्भर हो सकता है।

नेटवर्क को बैकप्रोपैजेशन विधि द्वारा प्रशिक्षित किया जाता है। ADAM का उपयोग पोस्टनेट से पहले और बाद में एक अनुकूलक, मीन स्क्वायर त्रुटि के साथ-साथ स्टॉप टोकन भविष्यवाणी परत के वास्तविक और अनुमानित मूल्यों के ऊपर बाइनरी क्रॉस एन्ट्रॉपी के रूप में किया जाता है, त्रुटि कार्यों के रूप में उपयोग किया जाता है। परिणामी त्रुटि इन तीनों का एक सरल योग है।

मॉडल को एक एकल GeForce 1080Ti GPU पर 11 जीबी मेमोरी के साथ प्रशिक्षित किया गया था।

दृश्य

इतने बड़े मॉडल के साथ काम करते समय, यह देखना महत्वपूर्ण है कि सीखने की प्रक्रिया कैसी होती है। और यहाँ TensorBoard एक सुविधाजनक उपकरण बन गया। हमने प्रशिक्षण और सत्यापन पुनरावृत्तियों दोनों में त्रुटि के मूल्य को ट्रैक किया। इसके अलावा, हमने लक्ष्य स्पेक्ट्रोग्राम प्रदर्शित किए, प्रशिक्षण चरण में स्पेक्ट्रोग्राम की भविष्यवाणी की, सत्यापन चरण में स्पेक्ट्रोग्राम की भविष्यवाणी की, और संरेखण, जो सभी प्रशिक्षण चरणों से एक additively संचित ध्यान वजन है।

यह संभव है कि पहले आपका ध्यान बहुत अधिक जानकारीपूर्ण न हो:


चित्र 4: खराब प्रशिक्षित ध्यान तराजू का एक उदाहरण।

लेकिन आपके सभी मॉड्यूल स्विस घड़ी की तरह काम करना शुरू करने के बाद, आपको अंत में कुछ इस तरह से मिलेंगे:


चित्रा 5: सफलतापूर्वक प्रशिक्षित ध्यान तराजू का उदाहरण।

इस चार्ट का क्या मतलब है? डिकोडर के प्रत्येक चरण पर, हम स्पेक्ट्रोग्राम के एक फ्रेम को डिकोड करने का प्रयास करते हैं। हालांकि, यह स्पष्ट नहीं है कि डिकोडर के प्रत्येक चरण पर एनकोडर को किस जानकारी का उपयोग करने की आवश्यकता है। यह माना जा सकता है कि यह पत्राचार प्रत्यक्ष होगा। उदाहरण के लिए, यदि हमारे पास 200 वर्णों का इनपुट पाठ अनुक्रम और 800 फ़्रेमों का एक संगत स्पेक्ट्रोग्राम है, तो प्रत्येक वर्ण के लिए 4 फ़्रेम होंगे। हालाँकि, आपको यह स्वीकार करना होगा कि इस तरह के स्पेक्ट्रोग्राम के आधार पर उत्पन्न भाषण पूरी तरह से स्वाभाविकता से रहित होगा। हम कुछ शब्दों का तेजी से उच्चारण करते हैं, कुछ धीमा, कहीं हम रोकते हैं, लेकिन कहीं हम नहीं करते हैं। और विचार करें कि सभी संभव संदर्भ संभव नहीं हैं। इसीलिए ध्यान पूरी प्रणाली का एक प्रमुख तत्व है: यह एक विशिष्ट फ्रेम को उत्पन्न करने के लिए आवश्यक जानकारी प्राप्त करने के लिए डिकोडर कदम और एनकोडर की जानकारी के बीच पत्राचार को निर्धारित करता है। और ध्यान वजन का अधिक से अधिक मूल्य, अधिक "ध्यान भुगतान किया जाना चाहिए" एन्कोडर डेटा के संबंधित भाग के लिए जब स्पेक्ट्रोग्राम फ्रेम पैदा करते हैं।

प्रशिक्षण चरण में, यह ऑडियो उत्पन्न करने के लिए भी उपयोगी होगा, न कि केवल स्पेक्ट्रोग्राम और ध्यान की गुणवत्ता का मूल्यांकन करेगा। हालांकि, वेवनेट के साथ काम कर चुके लोग इस बात से सहमत होंगे कि प्रशिक्षण के स्तर पर इसे वोकडर के रूप में इस्तेमाल करना समय के लिहाज से अस्वीकार्य लक्जरी होगा। इसलिए, ग्रिफिन-लिम एल्गोरिथ्म का उपयोग करने की सिफारिश की जाती है, जो तेजी से फूरियर रूपांतरण के बाद सिग्नल के आंशिक पुनर्निर्माण की अनुमति देता है। आंशिक रूप से क्यों? तथ्य यह है कि जब हम सिग्नल को स्पेक्ट्रोग्राम में बदलते हैं, तो हम चरण की जानकारी खो देते हैं। हालाँकि, इस प्रकार प्राप्त ऑडियो की गुणवत्ता यह समझने के लिए पर्याप्त होगी कि आप किस दिशा में बढ़ रहे हैं।

सबक सीखा

यहां हम विकास प्रक्रिया के निर्माण पर कुछ विचार साझा करेंगे, उन्हें युक्तियों के प्रारूप में प्रस्तुत करेंगे। उनमें से कुछ काफी सामान्य हैं, अन्य अधिक विशिष्ट हैं।

वर्कफ़्लो के संगठन के बारे में :

• संस्करण नियंत्रण प्रणाली का उपयोग करें, स्पष्ट रूप से और स्पष्ट रूप से सभी परिवर्तनों का वर्णन करें। यह एक स्पष्ट सिफारिश की तरह लग सकता है, लेकिन फिर भी। इष्टतम वास्तुकला की खोज करते समय, लगातार परिवर्तन होते हैं। और कुछ संतोषजनक मध्यवर्ती परिणाम प्राप्त करने के बाद, अपने आप को एक चौकी बनाने के लिए सुनिश्चित करें ताकि आप बाद के परिवर्तनों को सुरक्षित रूप से कर सकें।
  
• हमारे दृष्टिकोण से, ऐसे आर्किटेक्चर में किसी को एनकैप्सुलेशन के सिद्धांतों का पालन करना चाहिए: एक वर्ग - एक पायथन मॉड्यूल। एमएल कार्यों में यह दृष्टिकोण आम नहीं है, लेकिन यह आपको अपना कोड बनाने और डीबगिंग और विकास को गति देने में मदद करेगा। दोनों कोड और वास्तुकला की आपकी दृष्टि में, इसे ब्लॉक, मॉड्यूल में ब्लॉक, और मॉड्यूल को परतों में विभाजित करते हैं। यदि मॉड्यूल में एक कोड है जो एक विशिष्ट भूमिका करता है, तो इसे एक मॉड्यूल क्लास विधि में संयोजित करें। ये सामान्य सत्य हैं, लेकिन हम उनके बारे में फिर से कहने के लिए बहुत आलसी नहीं थे।
  
• प्रलेखन के साथ सुपीरियर-शैली की कक्षाएं प्रदान करें। यह आपके और आपके सहकर्मियों दोनों के लिए काम को बहुत सरल करेगा जो आपके कोड को पढ़ेंगे।
  
• हमेशा अपने मॉडल का आर्किटेक्चर बनाएं। सबसे पहले, यह आपको इसकी समझ बनाने में मदद करेगा, और दूसरी बात, मॉडल के आर्किटेक्चर और हाइपरपरमेटर्स का एक साइड व्यू आपको अपने दृष्टिकोण में अशुद्धियों को जल्दी से पहचानने की अनुमति देगा।
  
• एक टीम के रूप में काम करने के लिए बेहतर है। यदि आप अकेले काम करते हैं, तब भी सहकर्मियों को इकट्ठा करें और अपने काम पर चर्चा करें। कम से कम, वे आपसे एक प्रश्न पूछ सकते हैं जो आपको कुछ विचारों तक ले जाएगा, लेकिन अधिकतम वे एक विशिष्ट अशुद्धि की ओर संकेत करेंगे जो आपको मॉडल को सफलतापूर्वक प्रशिक्षित करने की अनुमति नहीं देता है।
  
• एक और उपयोगी चाल पहले से ही डेटा प्रीप्रोसेसिंग से जुड़ी हुई है। मान लीजिए कि आप कुछ परिकल्पना का परीक्षण करने और मॉडल में उचित परिवर्तन करने का निर्णय लेते हैं। लेकिन प्रशिक्षण को फिर से शुरू करना, विशेष रूप से सप्ताहांत से पहले, जोखिम भरा होगा। दृष्टिकोण शुरू में गलत हो सकता है और आप समय बर्बाद करेंगे। फिर क्या करना है? फास्ट फूरियर ट्रांसफॉर्म विंडो का आकार बढ़ाएं। डिफ़ॉल्ट पैरामीटर 1024 है; इसे 4 या 8 बार बढ़ाएं। यह उचित समय में स्पेक्ट्रोग्राम को "निचोड़" देगा और सीखने में बहुत तेजी लाएगा। उनसे पुनर्प्राप्त ऑडियो कम गुणवत्ता वाला होगा, लेकिन यह अब आपका काम नहीं है? 2-3 घंटों में आप पहले से ही संरेखण प्राप्त कर सकते हैं (ध्यान के तराजू के "संरेखण", जैसा कि ऊपर की आकृति में दिखाया गया है), यह दृष्टिकोण की वास्तु शुद्धता की गवाही देगा और इसे पहले ही बड़े डेटा पर परीक्षण किया जा सकता है।
  

भवन और प्रशिक्षण मॉडल :

• हमने सुझाव दिया कि यदि बैचों को यादृच्छिक रूप से नहीं बनाया गया था, लेकिन उनकी लंबाई के आधार पर, वे मॉडल प्रशिक्षण की प्रक्रिया को गति देंगे और उत्पन्न स्पेक्ट्रोग्राम को बेहतर बनाएंगे। तार्किक धारणा, जो इस परिकल्पना पर आधारित है कि प्रशिक्षण नेटवर्क को अधिक उपयोगी संकेत (और पेडिंग नहीं) खिलाया जाता है, उतना ही बेहतर है। हालांकि, यह दृष्टिकोण खुद को सही नहीं ठहराता था, हमारे प्रयोगों में, हम इस तरह से नेटवर्क को प्रशिक्षित करने में सक्षम नहीं थे। यह संभवतः प्रशिक्षण के लिए उदाहरणों के चयन में यादृच्छिकता के नुकसान के कारण है।
  
• कुछ अनुकूलित प्रारंभिक अवस्थाओं के साथ आधुनिक नेटवर्क पैरामीटर इनिशियलाइज़ेशन एल्गोरिदम का उपयोग करें। उदाहरण के लिए, हमारे प्रयोगों में, हमने जेवियर यूनिफॉर्म वेट इनिशियलाइज़ेशन का उपयोग किया। यदि आपके मॉड्यूल में आपको मिनी-बैच और कुछ सक्रियण फ़ंक्शन द्वारा सामान्यीकरण का उपयोग करने की आवश्यकता है, तो उन्हें इस क्रम में एक दूसरे के साथ वैकल्पिक होना चाहिए। आखिरकार, यदि हम लागू करते हैं, उदाहरण के लिए, ReLU सक्रियण, तो हम तुरंत सभी नकारात्मक संकेत खो देते हैं जो एक विशेष बैच के डेटा को सामान्य करने की प्रक्रिया में शामिल होना चाहिए।
  
• एक विशिष्ट सीखने के चरण से, एक गतिशील सीखने की दर का उपयोग करें। यह वास्तव में त्रुटि मान को कम करने और उत्पन्न स्पेक्ट्रोग्राम की गुणवत्ता बढ़ाने में मदद करता है।
  
• पूरे डेटा सेट से इसे बैचों पर प्रशिक्षित करने के लिए मॉडल और असफल प्रयास करने के बाद, यह एक बैच पर इसे वापस लेने की कोशिश करने के लिए उपयोगी होगा। , alignment, ( ). , , .
  
  . . , – . , . , .
• RNN- . . , . ? LSTM- -.
  
• , LSTM-, « »: « , LSTM-. «» bf. , , , LSTM- ft 1/2. , : , «» 1/2, . bf , 1 2: ft ».
  
• seq2seq- . — , . ? , ( ).
  
• अब PyTorch ढांचे के लिए एक विशिष्ट सिफारिश। हालांकि डिकोडर में LSTM परत है, वास्तव में, इसका LSTM सेल, जो डिकोडर के प्रत्येक चरण पर अनुक्रम के केवल एक तत्व के लिए जानकारी प्राप्त करता है, यह torch.nn.LSTM वर्ग के बजाय torch.nn.LSTM का उपयोग करने के लिए अनुशंसित है। कारण यह है कि LSTM बैकएंड C में CUDNN लाइब्रेरी में लागू किया गया है, और पायथन में LSTMCell। यह ट्रिक आपको सिस्टम की गति को महत्वपूर्ण रूप से बढ़ाने की अनुमति देगा।

और लेख के अंत में, हम उन पाठों से भाषण पीढ़ी के उदाहरण साझा करेंगे जो प्रशिक्षण सेट में निहित नहीं थे।