यह LPCNet के बारे में पहले लेख की एक निरंतरता है। पहले डेमो में, हमने एक वास्तुकला प्रस्तुत की, जो तंत्रिका भाषण संश्लेषण की प्रभावशीलता को बढ़ाने के लिए सिग्नल प्रोसेसिंग और गहन सीखने को जोड़ती है। इस बार हम LPCNet को बहुत कम बिटरेट ( वैज्ञानिक लेख देखें ) के साथ एक तंत्रिका भाषण कोडेक में बदल देंगे। इसका उपयोग वर्तमान उपकरणों और यहां तक ​​कि फोन पर भी किया जा सकता है।

पहली बार, तंत्रिका न्यूरोडर फोन के एक प्रोसेसर कोर पर वास्तविक समय में काम करता है, न कि उच्च गति वाले GPU पर। 1600 बीपीएस की अंतिम बिटरेट साधारण ब्रॉडबैंड कोडेक्स की तुलना में लगभग दस गुना कम है। गुणवत्ता बहुत कम बिटरेट के साथ मौजूदा वोकोडर्स की तुलना में बेहतर है और अधिक पारंपरिक कोडेक्स के साथ तुलना में है जो उच्च बिटरेट का उपयोग करते हैं।

वेवफॉर्म एनकोडर्स एंड वोकॉडर्स

दो बड़े प्रकार के स्पीच कोडेक्स हैं: वेवफॉर्म कोडर्स और वोकोडर्स। वेवफॉर्म एनकोडर में ओपस, एएमआर / एएमआर-डब्ल्यूबी, और सभी कोडेक्स शामिल हैं जो संगीत के लिए उपयोग किए जा सकते हैं। वे मूल रूप से संभव के रूप में एक डिकोडेड तरंग प्रदान करने की कोशिश करते हैं - आमतौर पर कुछ अवधारणात्मक विशेषताओं को ध्यान में रखते हुए। दूसरी ओर, वोकोडर्स वास्तव में सिंथेसाइज़र हैं। एनकोडर भाषण पथ की पिच और आकार के बारे में जानकारी निकालता है, डिकोडर को यह जानकारी देता है, और वह भाषण को फिर से संश्लेषित करता है। यह स्पीच सिंथेसाइज़र में टेक्स्ट को पढ़ने के बाद लगभग स्पीच रिकग्निशन की तरह होता है, सिवाय इसके कि टेक्स्ट एनकोडर स्पीच रिकग्निशन की तुलना में बहुत सरल / तेज़ होता है (और थोड़ा और जानकारी देता है)।

वोकोडर्स 70 के दशक से मौजूद हैं, लेकिन चूंकि उनके डिकोडर भाषण संश्लेषण करते हैं, इसलिए वे पारंपरिक भाषण सिंथेसिस सिस्टम की तुलना में बहुत बेहतर नहीं हो सकते हैं, जो कि हाल ही में बहुत ही भयानक लग रहा था। यही कारण है कि वोकॉडर्स आमतौर पर 3 kB / s से कम गति पर उपयोग किए जाते थे। इसके अलावा, तरंग एनकोडर केवल सर्वोत्तम गुणवत्ता प्रदान करते हैं। यह हाल तक जारी रहा, जब तंत्रिका भाषण संश्लेषण प्रणाली जैसे वेवनेट दिखाई दिए । अचानक, संश्लेषण बहुत बेहतर लगने लगा, और निश्चित रूप से, वे लोग थे जो वेवनेट से एक वोडर बनाना चाहते थे।

LPCNet अवलोकन

वेवनेट बहुत उच्च गुणवत्ता वाले भाषण का उत्पादन करता है, लेकिन कंप्यूटिंग शक्ति के सैकड़ों गीगाफ्लॉप्स की आवश्यकता होती है। LPCNet ने कम्प्यूटेशनल जटिलता को काफी कम कर दिया। वेकोडर वेवआरएनएन पर आधारित है, जो एक आवर्तक तंत्रिका नेटवर्क (आरएनएन) और विरल मैट्रिस का उपयोग करके वेवनेट में सुधार करता है। LPCNet आगे रेखीय भविष्यवाणी (LPC) के साथ WaveRNN को बढ़ाता है, जिसने पुराने वोकॉडर्स में अच्छा प्रदर्शन किया। यह पिछले नमूनों के रैखिक संयोजन से एक नमूने की भविष्यवाणी करता है और, सबसे महत्वपूर्ण बात, यह तंत्रिका नेटवर्क की तुलना में कई गुना तेज बनाता है। बेशक, यह सार्वभौमिक नहीं है (अन्यथा 70 के दशक के गायक अच्छे लगेंगे), लेकिन यह तंत्रिका नेटवर्क पर लोड को गंभीरता से कम कर सकता है। यह आपको गुणवत्ता का त्याग किए बिना WaveRNN की तुलना में एक छोटे नेटवर्क का उपयोग करने की अनुमति देता है।


आइए LPCNet पर एक करीब से नज़र डालें। बाईं ओर के पीले भाग की गणना प्रति फ्रेम एक बार की जाती है, और इसके आउटपुट का उपयोग दाईं ओर (नीला) नेटवर्क नमूनाकरण आवृत्ति के लिए किया जाता है। कंप्यूटिंग यूनिट पिछले नमूनों और रैखिक भविष्यवाणी गुणांक के आधार पर समय टी पर एक नमूना की भविष्यवाणी करता है

संपीड़न की विशेषताएं

LPCNet 10 एमएस के लिए प्रति फ्रेम 20 वर्णों के वैक्टर से भाषण को संश्लेषित करता है। इनमें से, 18 संकेत cepstral गुणांक हैं जो स्पेक्ट्रम के आकार का प्रतिनिधित्व करते हैं। शेष दो ऊंचाई का वर्णन करते हैं: पिच अवधि (पिच की अवधि) के लिए एक पैरामीटर, और ताकत के लिए दूसरा (सिग्नल खुद के साथ कितना सहसंबंधित करता है, यदि आप पिच द्वारा देरी का परिचय देते हैं)। यदि आप फ्लोटिंग पॉइंट वैल्यू के रूप में पैरामीटर स्टोर करते हैं, तो यह सारी जानकारी स्टोरेज या ट्रांसमिशन के दौरान 64 kbit / s तक ले जाती है। यह बहुत अधिक है, क्योंकि यहां तक ​​कि ओपस कोडेक केवल 16 kbit / s (16 kHz मोनो के लिए) पर बहुत उच्च गुणवत्ता वाला भाषण कोडिंग प्रदान करता है। जाहिर है, आपको यहां मजबूत संपीड़न लागू करने की आवश्यकता है।

ऊंचाई

सभी कोडेक्स पिच पर बहुत अधिक निर्भर करते हैं, लेकिन वेवफॉर्म एनकोडर के विपरीत, जहां पिच "बस" अतिरेक को कम करने में मदद करता है, वोकोडर्स में कोई कमबैक नहीं होता है। यदि आप गलत ऊंचाई चुनते हैं, तो वे खराब-ध्वनि (या यहां तक ​​कि अवैध) भाषण उत्पन्न करना शुरू कर देंगे। विवरण में जाने (वैज्ञानिक लेख देखें), LPCNet एनकोडर ऊंचाई में गलती नहीं करने के लिए संघर्ष कर रहा है। खोज एक भाषण संकेत में समय सहसंबंधों की खोज के साथ शुरू होती है। नीचे देखें कि एक विशिष्ट खोज कैसे काम करती है।


पिच वह अवधि है जिसके दौरान पिच को दोहराया जाता है। एनीमेशन उस कदम की खोज करता है जो सिग्नल x (n) और उसकी प्रतिलिपि x (nT) के बीच अधिकतम सहसंबंध के साथ देरी से मेल खाता है। अधिकतम सहसंबंध के साथ टी मूल्य ऊंचाई की एक पिच है

इस जानकारी को परिणाम को बहुत अधिक घटाए बिना कुछ बिट्स के साथ एन्कोड किया जाना चाहिए। चूंकि हम एक लघुगणक पैमाने पर प्रकृति द्वारा आवृत्ति का अनुभव करते हैं (उदाहरण के लिए, प्रत्येक संगीत सप्तक पिछली आवृत्ति को दोगुना करता है), यह लघुगणक कोडिंग में समझ में आता है। अधिकांश लोगों में भाषण संकेत की ऊंचाई (हम यहां सोप्रानो को कवर करने की कोशिश नहीं कर रहे हैं) 62.5 और 500 हर्ट्ज के बीच है। सात बिट्स (128 संभावित मान) के साथ हमें लगभग एक चौथाई टोन (बीच और पहले और फिर के बीच का अंतर एक टोन) का संकल्प मिलता है।

तो, ऊंचाई के साथ समाप्त हो गया? खैर, इतनी जल्दी नहीं। 1960 के दशक की फिल्मों से लोग रोबोट की तरह नहीं बोलते हैं। 40-मिलीसेकंड पैकेट के भीतर भी आवाज की पिच अलग-अलग हो सकती है। आपको पैरामीटर को ऊंचाई को बदलने के लिए बिट्स को छोड़ते हुए इसे ध्यान में रखना चाहिए: पैकेट की शुरुआत और अंत के बीच के अंतर को 2.5 सेमी करने के लिए 3 बिट्स। अंत में, आपको पिच के चरणों के सहसंबंध को कोडित करने की आवश्यकता है, स्वर और व्यंजन (उदाहरण के लिए, s और f) के बीच अंतर करना। सहसंबंध के लिए दो बिट पर्याप्त हैं।

cepstrum

जबकि पिच में भाषण की बाहरी विशेषताओं (अभियोग, भावना, जोर, ...) शामिल हैं, वर्णक्रमीय विशेषता यह निर्धारित करती है कि क्या कहा गया था (चीनी जैसे तानवाला भाषाओं को छोड़कर, जहां पिच अर्थ के लिए महत्वपूर्ण है)। वोकल कॉर्ड किसी भी स्वर के लिए लगभग एक ही ध्वनि उत्पन्न करते हैं, लेकिन वोकल ट्रैक्ट का आकार निर्धारित करता है कि कौन सी ध्वनि बोली जाएगी। आवाज पथ एक फिल्टर के रूप में कार्य करता है, और एनकोडर का कार्य इस फिल्टर का मूल्यांकन करना और इसे डिकोडर को पास करना है। यह प्रभावी रूप से किया जा सकता है यदि आप स्पेक्ट्रम को एक सेप्टस्ट्रम में परिवर्तित करते हैं (हाँ, यह "स्पेक्ट्रम" अक्षरों के परिवर्तित क्रम के साथ है, ये हम डिजिटल सिग्नल प्रोसेसिंग में अजीब लोग हैं)।

16 kHz पर एक इनपुट सिग्नल के लिए, सेस्ट्रुम मूल रूप से हर 10 एमएस में 18 संख्याओं के एक वेक्टर का प्रतिनिधित्व करता है, जिसे जितना संभव हो सके संपीड़ित करने की आवश्यकता होती है। चूंकि हमारे पास 40 एमएस पैकेट में चार वैक्टर हैं और वे आम तौर पर एक-दूसरे के समान होते हैं, इसलिए हम यथासंभव अतिरेक को खत्म करना चाहते हैं। यह भविष्यवक्ता के रूप में पड़ोसी वैक्टर का उपयोग करके किया जा सकता है और केवल भविष्यवाणी और वास्तविक मूल्य के बीच अंतर को बता सकता है। उसी समय, हम पिछले पैकेजों पर बहुत अधिक निर्भर नहीं होना चाहते हैं यदि उनमें से एक गायब हो जाता है। ऐसा लगता है कि समस्या पहले ही हल हो गई है ...

यदि आपके पास केवल एक हथौड़ा है, तो सब कुछ एक नाखून जैसा दिखता है - अब्राहम मास्लो।

यदि आपने वीडियो कोडेक्स के साथ बहुत काम किया है , तो आप शायद बी-फ्रेम की अवधारणा के पार आए। वीडियो कोडेक्स के विपरीत, जो एक फ्रेम को कई पैकेटों में विभाजित करता है, हम, इसके विपरीत, एक पैकेट में कई फ्रेम होते हैं। हम कुंजी फ़्रेम को एन्कोडिंग द्वारा शुरू करते हैं, अर्थात्, स्वतंत्र वेक्टर, और पैकेट के अंत । यह वेक्टर बिना भविष्यवाणी के एन्कोड किया गया है, 37 बिट्स पर कब्जा कर रहा है: कुल ऊर्जा के लिए 7 (पहला cepstral गुणांक) और वेक्टर मात्रा का उपयोग कर अन्य मापदंडों के लिए 30 बिट्स (VQ)। फिर (पदानुक्रमित) बी-फ्रेम आते हैं। दो कीवर्ड में से (वर्तमान पैकेज से एक और पिछले एक से एक), उनके बीच एक cepstrum की भविष्यवाणी की जाती है। वास्तविक मूल्य और भविष्यवाणी के बीच अंतर को कोड करने के लिए एक भविष्यवक्ता के रूप में, आप दो प्रमुख फ़्रेमों या उनके औसत मूल्य में से किसी एक को चुन सकते हैं। हम फिर से VQ का उपयोग करते हैं और भविष्यवाणियों की पसंद सहित कुल 13 बिट्स का उपयोग करके इस वेक्टर को एनकोड करते हैं। अब हमारे पास केवल दो वैक्टर बचे हैं और बहुत कम बिट्स हैं। शेष वैक्टर के लिए पूर्वसूचक का चयन करने के लिए अंतिम 3 बिट्स का उपयोग करें। बेशक, यह सब आंकड़ा में समझना बहुत आसान है:


पैकेज के लिए सेफस्ट्रम भविष्यवाणी और मात्रा का ठहराव k। हरे रंग के वैक्टर को स्वतंत्र रूप से मात्राबद्ध किया जाता है, नीले रंग के वैक्टर की भविष्यवाणी की जाती है, और लाल वैक्टर अवशिष्ट परिमाणीकरण के बिना भविष्यवाणी का उपयोग करते हैं। भविष्यवाणी तीरों द्वारा दिखाई गई है।

यह सब एक साथ रखना

उपरोक्त सभी को जोड़ने पर, हमें प्रति 40 मिलीसेकंड पैकेट में 64 बिट्स या प्रति सेकंड 1600 बिट्स मिलते हैं। यदि आप सम्पीडन अनुपात की गणना करना चाहते हैं, तो असंपीड़ित ब्रॉडबैंड भाषण 256 केबीपीएस (प्रति नमूना 16 बिट्स पर 16 किलोहर्ट्ज़) है, जिसका अर्थ है कि 160 बार का संपीड़न अनुपात! बेशक, आप हमेशा क्वांटाइज़र के साथ खेल सकते हैं और कम या उच्च बिटरेट (गुणवत्ता पर एक समान प्रभाव के साथ) प्राप्त कर सकते हैं, लेकिन आपको कहीं और शुरू करने की आवश्यकता है। यहां लेआउट के साथ एक तालिका है जहां ये बिट्स जाते हैं।

बिट आवंटन
पैरामीटर	बिट
पिच पिच	6
ऊंचाई मॉडुलन	3
फिटकरी सहसंबंध	2
शक्ति	7
स्वतंत्र सेफस्ट्रम वीक्यू (40 एमएस)	30
अनुमानित VQ सिफट्रम (20 एमएस)	13
सेफस्ट्रम इंटरपोलेशन (10 एमएस)	3
केवल	64

प्रति पैकेट 40 एमएस पर 64 बिट्स, 25 पैकेट प्रति सेकंड, 1600 बीपीएस प्राप्त होता है।

कार्यान्वयन

LPCNet स्रोत कोड BSD लाइसेंस के तहत उपलब्ध है। इसमें एक पुस्तकालय शामिल है जो कोडेक के उपयोग को सरल करता है। कृपया ध्यान दें कि विकास समाप्त नहीं हुआ है: प्रारूप और एपीआई दोनों परिवर्तन के लिए बाध्य हैं। रिपॉजिटरी में एक lpcnet_demo डेमो एप्लिकेशन भी है जिसमें कमांड लाइन से कोडेक का परीक्षण करना आसान है। पूर्ण निर्देशों के लिए README.md फ़ाइल देखें।

कौन गहरी खुदाई करना चाहता है, नए अनुप्रयोगों को प्रशिक्षित करने और / या अन्य अनुप्रयोगों के लिए बिल्डिंग ब्लॉक के रूप में LPCNet का उपयोग करने का विकल्प है, जैसे कि भाषण संश्लेषण (LPCNet सिंथेसाइज़र का केवल एक घटक है, यह अपने आप संश्लेषण नहीं करता है)।

उत्पादकता

तंत्रिका भाषण संश्लेषण के लिए बहुत सारे संसाधनों की आवश्यकता होती है। पिछले साल के ICASSP सम्मेलन में, बास्टियन क्लेन और Google / DeepMind के सहयोगियों ने WaveNet पर आधारित 2400 बीपीएस कोडेक प्रस्तुत किया, जो कोडेक 2 से एक बिटस्ट्रीम प्राप्त करता है। यद्यपि यह आश्चर्यजनक लगता है, सैकड़ों गिगाफ्लॉप्स की कम्प्यूटेशनल जटिलता का मतलब है कि यह वास्तविक समय में महंगे जीपीयू और गंभीर प्रयास के बिना लॉन्च नहीं किया जा सकता है।

इसके विपरीत, हमारे 1600 बिट / एस कोडेक केवल 3 गीगाफ्लॉप का उत्पादन करता है और वास्तविक समय में बहुत अधिक किफायती उपकरणों पर काम करने के लिए डिज़ाइन किया गया है। वास्तव में, इसका उपयोग आज वास्तविक अनुप्रयोगों में किया जा सकता है। अनुकूलन को AVX2 / FMA और नियॉन इंस्ट्रक्शन सेट (केवल कोड असेंबलर के बिना) के लिए कुछ कोड लिखना आवश्यक है। इसके लिए धन्यवाद, अब हम वास्तविक समय में (और विशेष रूप से डिकोड) भाषण को न केवल पीसी पर, बल्कि अधिक या कम मोबाइल फोन पर भी एन्कोड कर सकते हैं। नीचे x86 और ARM प्रोसेसर पर प्रदर्शन है।

उत्पादकता
सीपीयू	आवृत्ति	एक कोर का%	वास्तविक समय के लिए
एएमडी 2990 डब्ल्यूएक्स (थ्रेडिपर)	3.0 GHz *	14%	7,0x
Intel Xeon E5-2640 v4 (ब्रॉडवेल)	2.4 GHz *	20%	5.0x
स्नैपड्रैगन 855 ( गैलेक्सी एस 10 पर कोर्टेक्स-ए 76)	2.82 गीगाहर्ट्ज़	31%	3.2x
स्नैपड्रैगन 845 ( Pixel 3 पर Cortex-A75)	2.5 GHz	68%	1,47x
AMD A1100 (Cortex-A57)	1.7 गीगाहर्ट्ज़	102%	0,98x
बीसीएम 2837 (रास्पबेरी पाई 3 पर कोर्टेक्स-ए 53)	1.2 GHz	310%	0,32x
* टर्बो मोड

संख्या बहुत दिलचस्प हैं। यद्यपि केवल ब्रॉडवेल और थ्रेड्रीपर दिखाए जाते हैं, एक्स 86 प्लेटफॉर्म पर, हसवेल और स्काईलेक प्रोसेसर का प्रदर्शन समान है (घड़ी की आवृत्ति को ध्यान में रखते हुए)। हालांकि, एआरएम प्रोसेसर एक दूसरे से काफी अलग हैं। यहां तक ​​कि आवृत्ति A76 में अंतर A53 की तुलना में पांच से छह गुना तेज है: यह काफी अपेक्षित है, क्योंकि A53 को मुख्य रूप से ऊर्जा दक्षता के लिए उपयोग किया जाता है (उदाहरण के लिए, big.LITTLE सिस्टम में)। फिर भी, LPCNet केवल एक कोर का उपयोग करके, एक आधुनिक फोन पर वास्तविक समय में अच्छी तरह से काम कर सकता है। हालांकि इसे रास्पबेरी पाई 3 पर वास्तविक समय में चलाना अच्छा होगा। अब यह बहुत दूर है, लेकिन कुछ भी असंभव नहीं है।

X86 पर, प्रदर्शन सीमा का कारण सैद्धांतिक अधिकतम पांच गुना है। जैसा कि आप जानते हैं, मैट्रिक्स-वेक्टर गुणा के संचालन मैट्रिक्स-मैट्रिक्स ऑपरेशन की तुलना में कम कुशल हैं क्योंकि प्रति ऑपरेशन अधिक डाउनलोड होते हैं - विशेष रूप से, प्रत्येक एफएमए ऑपरेशन के लिए एक मैट्रिक्स डाउनलोड। एक ओर, प्रदर्शन L2 कैश से संबंधित है, जो प्रति चक्र केवल 16 बिट प्रदान करता है। दूसरी ओर, इंटेल का दावा है कि L2 ब्रॉडवेल पर 32 बिट प्रति चक्र और स्काइलेक पर 64 बिट प्रति चक्र तक दे सकता है।

परिणाम

हमने कोडिंग गुणवत्ता की तुलना करने के लिए मुशरा-शैली के ऑडियो परीक्षण किए। परीक्षण की स्थिति:

• नमूना : मूल (यदि आपको मूल से बेहतर परिणाम मिलता है, तो आपके परीक्षण में स्पष्ट रूप से कुछ गड़बड़ है)
  
• 1600 बीपीएस एलपीसीनेट : हमारा डेमो
  
• असम्पीडित LPNet : "122 समतुल्य इकाइयों के साथ LPNet" पहले लेख से
  
• ओपस 9000 बीपीएस वाइडबैंड : सबसे कम बिटरेट जिस पर ओपस 1.3 ब्रॉडबैंड ऑडियो एन्कोड करता है
  
• 2400 बीपीएस पर एमईएलपी: कम बिट दर (कोडेक 2 की गुणवत्ता के समान) के साथ एक प्रसिद्ध विकोडर
  
• Speex 4000 bps : इस ब्रॉडबैंड वोकोडर का उपयोग कभी नहीं किया जाना चाहिए, लेकिन यह नीचे के लिए एक अच्छा संदर्भ है

पहले परीक्षण (सेट 1) में, हमारे पास दो पुरुषों और दो महिलाओं के बयानों के आठ भाषण टुकड़े हैं। पहले सेट में फाइलें एक ही डेटाबेस (यानी, एक ही रिकॉर्डिंग की स्थिति) से संबंधित थीं जो कि प्रशिक्षण के लिए उपयोग की गई थीं, लेकिन इन विशिष्ट लोगों को प्रशिक्षण सेट से बाहर रखा गया था। दूसरे परीक्षण (सेट 2) में, हमने ओपस टेस्ट (असम्पीडित) से कुछ फाइलों का इस्तेमाल किया, विभिन्न परिस्थितियों में ध्वनि की रिकॉर्डिंग, यह सुनिश्चित करने के लिए कि एलपीसीनेट कुछ सामान्यीकरण में जाता है। दोनों परीक्षणों में, प्रत्येक में 100 प्रतिभागी, इसलिए त्रुटियां काफी कम हैं। नीचे परिणाम देखें।


दो टेस्ट में सब्जेक्टिव क्वालिटी (MUSHRA)

सामान्य तौर पर, 1600 bps पर LPCNet 2400 बीपीएस पर MELP से बेहतर है, और ओपस से 9000 बीपीएस से बहुत पीछे नहीं है। उसी समय, असंपीड़ित LPCNet 9000 bps पर Opus की तुलना में गुणवत्ता में थोड़ा बेहतर है। इसका मतलब है कि 2000-6000 बीपीएस की सीमा में ओपस की तुलना में बेहतर गुणवत्ता प्रदान करना संभव है।

अपने आप को सुनो

यहाँ ऑडियो परीक्षण से नमूने हैं:

महिला (सेट 1)

• नमूना
• LPCNet 1600 बीपीएस
• असम्बद्ध LPNet
• ओपस 9000 बीपीएस
• एमईएलपी 2400 बीपीएस
• Speex 4000 बीपीएस

आदमी (सेट 1)

• नमूना
• LPCNet 1600 बीपीएस
• असम्बद्ध LPNet
• ओपस 9000 बीपीएस
• एमईएलपी 2400 बीपीएस
• Speex 4000 बीपीएस

मिश्रित (सेट 2)

• नमूना
• LPCNet 1600 बीपीएस
• असम्बद्ध LPNet
• ओपस 9000 बीपीएस
• एमईएलपी 2400 बीपीएस
• Speex 4000 बीपीएस

इसका उपयोग कहां किया जा सकता है?

हमारा मानना ​​है कि यह अपने आप में एक अच्छी तकनीक है, लेकिन इसमें व्यावहारिक अनुप्रयोग भी हैं। यहां कुछ विकल्प दिए गए हैं।

खराब जुड़े देशों में वीओआईपी

हर किसी का हमेशा हाई-स्पीड कनेक्शन नहीं होता है। कुछ देशों में, संचार बहुत धीमा और अविश्वसनीय है। एक 1600-बिट भाषण कोडेक सामान्य रूप से ऐसी परिस्थितियों में काम करता है, यहां तक ​​कि विश्वसनीयता के लिए कई बार पैकेट प्रेषित करता है। बेशक, पैकेट हेडर के ओवरहेड (आईपी + यूडीपी + आरटीपी के लिए 40 बाइट्स) के कारण, बड़े पैकेट बनाने के लिए बेहतर है: 40, 80, या 120 एमएस।

एमेच्योर / एचएफ रेडियो

अब दस वर्षों के लिए, डेविड रोवे रेडियो संचार के लिए भाषण कोडिंग पर काम कर रहा है। उन्होंने Codec2 विकसित किया , जो 700 से 3200 बीपीएस की गति से आवाज प्रसारित करता है। पिछले एक साल में, डेविड और मैंने चर्चा की कि तंत्रिका संश्लेषण का उपयोग करके कोडेक 2 में सुधार कैसे किया जाए, और अब हम अंततः इसे करते हैं। अपने ब्लॉग में, डेविड ने FreeDV के साथ एकीकरण के लिए LPCNet- आधारित कोडेक के अपने कार्यान्वयन के बारे में लिखा ।

पैकेट लॉस में वृद्धि की विश्वसनीयता

एक छोटी संख्या में बिट्स में एक सभ्य गुणवत्ता के बिटकॉइन को एनकोड करने की क्षमता एक अविश्वसनीय चैनल पर अतिरेक प्रदान करने के लिए उपयोगी है। ओपस में एक त्रुटि त्रुटि सुधार (एफईसी) तंत्र है जिसे एलबीआरआर के रूप में जाना जाता है, जो पिछले फ्रेम को कम बिटरेट के साथ एन्कोड करता है और वर्तमान फ्रेम में भेजता है। यह अच्छी तरह से काम करता है, लेकिन महत्वपूर्ण ओवरहेड जोड़ता है। 1600 बिट / एस स्ट्रीम दोहराव अधिक कुशल है।

योजनाओं

LPCNet का उपयोग करने की कई और संभावनाएँ हैं। उदाहरण के लिए, मौजूदा कोडेक्स (समान ओपस) में सुधार। अन्य कोडेक्स की तरह, ओपस की गुणवत्ता बहुत कम बिट्रेट्स (8000 बीपीएस से नीचे) पर बहुत तेज़ी से कम हो जाती है, क्योंकि वेवफॉर्म कोडेक में मूल से मिलान करने के लिए पर्याप्त बिट्स नहीं होते हैं। लेकिन प्रेषित रैखिक भविष्यवाणी की जानकारी एलपीसीनेट के लिए सभ्य-ध्वनि वाले भाषण को संश्लेषित करने के लिए पर्याप्त है - ओपस से बेहतर इस बिटरेट पर कर सकते हैं। इसके अलावा, ओपस (अवशिष्ट पूर्वानुमान) द्वारा प्रेषित बाकी जानकारी LPCNet को और भी बेहतर परिणाम देने में मदद करती है। एक अर्थ में, LPCNet को बिटस्ट्रीम को बदलने के बिना ओपस (या किसी भी अन्य कोडेक) की गुणवत्ता में सुधार करने के लिए एक फैंसी पोस्ट-फिल्टर के रूप में इस्तेमाल किया जा सकता है (अर्थात, पूर्ण संगतता बनाए रखते हुए)।

अतिरिक्त संसाधन

1. जे। एम। वालिन, जे। स्कोलगंड, 1.6 केबीपीएस वाइडबैंड न्यूरल वेकोडर का उपयोग एलपीसीनेट का उपयोग करते हुए , 2019 में भेजा गया , arXiv: 1903.12087 ।
2. जे। एम। वेलिन, जे। स्कोलगंड , एलपीसीनेट: उन्नत तंत्रिका भाषण संश्लेषण , रैखिक भविष्यवाणी के माध्यम से , प्रोक। ICASSP, 2019 , arXiv: 1810.11846 ।
3. ए। वैन डेन ओर्ड, एस। दिलमैन, एच। ज़ेन, के। सिमोनियन, ओ। विनील्स, ए। ग्रेव्स, एन। कल्कब्रेनर, ई। सेनोर, के। कवुकुग्लू, वेवनेट: अनप्रोसेस्ड साउंड के लिए जेनरेटर मॉडल ।
4. एन। कार्लह्रेनर, ई। एल्सन, सी। सिमोनियन, एस। नूरी, एन। कासाग्रेन्डे, ई। लॉकहर्ट, एफ। स्टिमबर्ग, ए। वैन डेन ओर्ड, एस। डिलमैन, के। कवकुग्लू, प्रभावी तंत्रिका ध्वनि संश्लेषण , 2018।
5. V.B.Klein, F.S.K Lim।, A.Lyubs, J.Skoglund, F. Stimberg, K. Wang, T.S. Walters, Wavenet , 2018 पर आधारित कम-बिटरेट भाषण कोडिंग
6. LPCNet का स्रोत कोड ।
7. डेविड रो के द्वारा LPCNet पर आधारित फ्री डीवीडी के लिए कोडेक ।
8. # सर्कस पर irc.freenode.net (→ वेब इंटरफेस ) पर विकास पर चर्चा में शामिल हों