भाषण की मान्यता के लिए कलदी क्यों अच्छा है? (अपडेटेड 12.25.2019)

मैं भाषण मान्यता में दिलचस्पी क्यों ले रहा हूं (और मुझे आशा है कि आप) सबसे पहले, यह दिशा कंप्यूटर भाषा विज्ञान के अन्य कार्यों की तुलना में सबसे लोकप्रिय में से एक है, क्योंकि भाषण मान्यता तकनीक अब लगभग हर जगह उपयोग की जाती है - बैंक की स्वचालित कॉल सेंटर में एक साधारण हाँ / ना को पहचानने से लेकर "छोटी सी बात" का समर्थन करने की क्षमता तक; "स्मार्ट कॉलम" जैसे "ऐलिस"। दूसरे, उच्च गुणवत्ता वाले भाषण मान्यता प्रणाली के लिए, इस तरह के सिस्टम को बनाने और कॉन्फ़िगर करने के लिए सबसे प्रभावी उपकरण ढूंढना आवश्यक है (यह लेख ऐसे उपकरणों में से एक के लिए समर्पित है)। अंत में, व्यक्तिगत रूप से मेरे लिए भाषण मान्यता के क्षेत्र में विशेषज्ञता चुनने का निस्संदेह "प्लस" यह है कि इस क्षेत्र में अनुसंधान के लिए प्रोग्रामर और भाषाई दोनों कौशल होना आवश्यक है। यह बहुत ही उत्तेजक है, विभिन्न विषयों में ज्ञान प्राप्त करने के लिए मजबूर करना।

आखिर कलदी, वाक् पहचान की अन्य रूपरेखाएँ क्यों हैं?

इस प्रश्न का उत्तर देने के लिए, यह मौजूदा एनालॉग्स और उनके द्वारा उपयोग किए जाने वाले एल्गोरिदम और प्रौद्योगिकियों पर विचार करने के लायक है (कलाडी में उपयोग किए गए एल्गोरिदम आगे लेख में वर्णित हैं):

• सीएमयू स्फिंक्स
  CMU स्फिंक्स (स्फिंक्स खोज इंजन के साथ भ्रमित नहीं होना चाहिए!) कार्नेगी मेलन विश्वविद्यालय के डेवलपर्स द्वारा बनाई गई एक भाषण मान्यता प्रणाली है और इसमें भाषण सुविधाओं, भाषण पहचान (मोबाइल उपकरणों पर) और ऐसी मान्यता के लिए प्रशिक्षण निकालने के लिए विभिन्न मॉड्यूल शामिल हैं। सीएमयू स्फिंक्स भाषाई मान्यता स्तर पर ध्वनिक-ध्वन्यात्मक मान्यता स्तर और सांख्यिकीय एन-ग्राम मॉडल में छिपे हुए मार्कोव मॉडल का उपयोग करता है। प्रणाली में कई दिलचस्प विशेषताएं भी हैं: लंबे भाषण की पहचान (उदाहरण के लिए, एक साक्षात्कार के टेप या ध्वनि रिकॉर्डिंग), सैकड़ों हजारों शब्द रूपों के एक बड़े शब्दकोश को जोड़ने की क्षमता, आदि। यह ध्यान रखना महत्वपूर्ण है कि सिस्टम लगातार विकसित हो रहा है, प्रत्येक संस्करण के साथ, पहचान की गुणवत्ता और प्रदर्शन में सुधार होता है। । इसके अलावा क्रॉस-प्लेटफॉर्म और सुविधाजनक दस्तावेज हैं। इस प्रणाली का उपयोग करने के बीच में, CMU स्फिंक्स "बॉक्स से बाहर" शुरू करने में असमर्थता को एकल करना संभव है, क्योंकि यहां तक ​​कि सरल समस्याओं को हल करने के लिए भाषा मॉडलिंग, आदि के क्षेत्र में ध्वनिक मॉडल को अपनाने पर ज्ञान की आवश्यकता होती है।
• जूलियस
  जूलियस 1997 से जापानी डेवलपर्स द्वारा विकसित किया गया है, और अब परियोजना क्योटो के उन्नत विज्ञान, प्रौद्योगिकी और प्रबंधन अनुसंधान संस्थान द्वारा समर्थित है। मॉडल एन-ग्राम और संदर्भ-संवेदनशील छिपे हुए मार्कोव मॉडल पर आधारित है, सिस्टम वास्तविक समय में भाषण को पहचानने में सक्षम है। नुकसान केवल जापानी भाषा मॉडल के लिए वितरण हैं (हालांकि एक VoxForge परियोजना है जो अन्य भाषाओं के लिए ध्वनिक मॉडल बनाती है, विशेष रूप से अंग्रेजी भाषा के लिए) और स्थिर अपडेट की कमी है।
• RWTH ASR
  मॉडल को राइन-वेस्टफेलियन तकनीकी विश्वविद्यालय के विशेषज्ञों द्वारा 2001 से विकसित किया गया है, जिसमें कई लाइब्रेरी और C ++ में लिखे टूल शामिल हैं। इस परियोजना में इंस्टॉलेशन डॉक्यूमेंटेशन, विभिन्न प्रशिक्षण प्रणाली, टेम्प्लेट, ध्वनिक मॉडल, भाषा मॉडल, तंत्रिका नेटवर्क का समर्थन आदि शामिल हैं। इसी समय, RWTH ASR व्यावहारिक रूप से क्रॉस-प्लेटफॉर्म है और इसकी गति कम है।
• HTK
  HTK (हिडन मार्कोव मॉडल टूलकिट) स्पीच रिकग्निशन टूल्स का एक सेट है जो 1989 में कैम्ब्रिज यूनिवर्सिटी में बनाया गया था। छिपी हुई मार्कोव मॉडल पर आधारित टूलकिट का उपयोग अक्सर भाषण पहचान प्रणाली बनाने के लिए एक अतिरिक्त उपकरण के रूप में किया जाता है (उदाहरण के लिए, इस ढांचे का उपयोग जूलियस डेवलपर्स द्वारा किया जाता है)। इस तथ्य के बावजूद कि स्रोत कोड सार्वजनिक रूप से उपलब्ध है, अंतिम उपयोगकर्ताओं के लिए सिस्टम बनाने के लिए HTK का उपयोग लाइसेंस द्वारा निषिद्ध है, यही कारण है कि टूलकिट अभी लोकप्रिय नहीं है। प्रणाली में अपेक्षाकृत कम गति और सटीकता भी है।

"ओपन सोर्स स्पीच रिकग्निशन सिस्टम का तुलनात्मक विश्लेषण" ( https://research-journal.org/technical/sravnitelnyj-analiz-sistem-raspoznavaniya-rechi-s-otkrytym-kodom/ ) लेख में, एक अध्ययन किया गया था, जिसके दौरान एक अध्ययन किया गया था। सिस्टम को अंग्रेजी भाषा के मामले (160 घंटे) में प्रशिक्षित किया गया और 10 घंटे के छोटे परीक्षण के मामले में लागू किया गया। नतीजतन, यह पता चला कि कलदी की उच्चतम मान्यता सटीकता है, गति के मामले में अपने प्रतिद्वंद्वियों की तुलना में थोड़ा तेज है। इसके अलावा, Kaldi प्रणाली उपयोगकर्ता को विभिन्न कार्यों के लिए एल्गोरिदम के सबसे अमीर चयन के साथ प्रदान करने में सक्षम है और उपयोग करने के लिए बहुत सुविधाजनक है। इसी समय, इस तथ्य पर जोर दिया जाता है कि प्रलेखन के साथ काम एक अनुभवहीन उपयोगकर्ता के लिए असुविधाजनक हो सकता है, जैसा कि यह भाषण मान्यता पेशेवरों के लिए डिज़ाइन किया गया है। लेकिन सामान्य तौर पर, कलदी अपने समकक्षों की तुलना में वैज्ञानिक अनुसंधान के लिए अधिक उपयुक्त है।

Kaldi कैसे स्थापित करें

1. Https://github.com/kaldi-asr/kaldi पर भंडार से संग्रह डाउनलोड करें :
   
2. संग्रह को अनपैक करें, कलड़ी-मास्टर / टूल / एक्स्ट्रा पर जाएं।
3. हम निष्पादित करते हैं ।/check_d dependencies.sh:
   
   यदि उसके बाद आपको "ऑल ओके" दिखाई नहीं देता है, तो फाइल कलंदी-मास्टर / टूल्स / INSTALL खोलें और वहां दिए गए निर्देशों का पालन करें।
4. हम निष्पादित करते हैं (कलाड़ी-मास्टर / उपकरण में होते हैं, कलाड़ी-मास्टर / उपकरण / एक्स्ट्रा में नहीं):
   
5. कलदी-गुरु / src पर जाएं।
6. हम चलाते हैं ./configure --sared, और आप CUDA (/ ./configure --cudatk-dir = / usr / स्थानीय / डूडा-8.0) में पथ निर्दिष्ट करके या CUDA तकनीक के साथ या उसके बिना अधिष्ठापन को कॉन्फ़िगर कर सकते हैं या प्रारंभिक मान को बदल सकते हैं "हाँ "क्रमशः" नहीं "(./ कॉन्फिग - युस-कुडा = न))।
   
   यदि आप एक ही समय में देखते हैं:
   
   
   
   या तो आपने चरण 4 का पालन नहीं किया, या आपको खुद को OpenFst डाउनलोड और इंस्टॉल करने की आवश्यकता है: http://www.openfst.org/twiki/bin/view/FST/FstDownload ।
7. हम निर्भर करते हैं।
8. हम मेक-जे को निष्पादित करते हैं। यह अनुशंसा की जाती है कि आप प्रोसेसर कोर की सही संख्या दर्ज करें जिसका उपयोग आप भवन निर्माण के दौरान करेंगे, उदाहरण के लिए, मेक-जे 2।
9. नतीजतन, हम प्राप्त करते हैं:
   

कलदी के साथ एक मॉडल का उपयोग करने का एक उदाहरण स्थापित किया गया है

एक उदाहरण के रूप में, मैंने कलड़ी-आरयू मॉडल संस्करण 0.6 का उपयोग किया, आप इसे इस लिंक से डाउनलोड कर सकते हैं :

1. डाउनलोड करने के बाद, फ़ाइल kaldi-ru-0.6 / decode.sh पर जाएं और स्थापित Kaldi को पथ निर्दिष्ट करें, यह मेरे लिए इस तरह दिखता है:
   
   
   
2. हम उस मॉडल को लॉन्च करते हैं, जिसमें उस फ़ाइल को इंगित किया जाता है जिसमें भाषण को मान्यता दी जानी है। आप डिकोडर- test.wav फ़ाइल का उपयोग कर सकते हैं, यह परीक्षण के लिए एक विशेष फ़ाइल है, यह पहले से ही इस फ़ोल्डर में है:
   
   
   
3. और यहाँ क्या मॉडल मान्यता प्राप्त है:
   

क्या एल्गोरिदम का उपयोग किया जाता है, क्या काम को रेखांकित करता है?

परियोजना के बारे में पूरी जानकारी http://kaldi-asr.org/doc/ पर देखी जा सकती है, यहां मैं कुछ मुख्य बिंदुओं पर प्रकाश डालूंगा:

• या तो ध्वनिक MFCC (मेल-फ़्रीक्वेंसी सेफ़स्ट्रल गुणांक) या थोड़ा कम लोकप्रिय PLPs (अवधारणात्मक रैखिक भविष्यवाणी - देखें । एच। हर्मैंस्की, "अवधारणात्मक रैखिक भविष्य कहनेवाला (PLP) विश्लेषण का विश्लेषण" ) इनपुट संकेत से ध्वनिक सुविधाओं को निकालने के लिए उपयोग किया जाता है। पहली विधि में, मूल सिग्नल के स्पेक्ट्रम को हर्ट्ज स्केल से चॉक स्केल में बदल दिया जाता है, और फिर सेफस्ट्रल गुणांक की गणना उल्टे कोसाइन ट्रांसफॉर्म (https://habr.com/en/post/1st828/) का उपयोग करके की जाती है। दूसरी विधि भाषण के प्रतिगमन प्रतिनिधित्व पर आधारित है: एक संकेत मॉडल का निर्माण किया जाता है जो एक रैखिक संयोजन द्वारा वर्तमान संकेत नमूने की भविष्यवाणी का वर्णन करता है - इनपुट और आउटपुट संकेतों और रैखिक भविष्यवाणी गुणांक के ज्ञात नमूनों का उत्पाद। कुछ शर्तों के तहत इन गुणांक को खोजने के लिए भाषण के संकेतों की गणना करने का कार्य कम किया जाता है।
• ध्वनिक मॉडलिंग मॉड्यूल में छिपे हुए मार्कोव मॉडल (HMM), गाऊसी वितरण (GMM) का मिश्रण मॉडल, गहरे तंत्रिका नेटवर्क, अर्थात् समय-विलंबीय तंत्रिका नेटवर्क (TDNN) शामिल हैं।
• भाषा मॉडलिंग एक परिमित राज्य मशीन या FST (परिमित-राज्य ट्रांसड्यूसर) का उपयोग करके किया जाता है। एफएसटी एक इनपुट चरित्र अनुक्रम से एक आउटपुट चरित्र अनुक्रम में मैपिंग को एन्कोड करता है, और संक्रमण के लिए वजन होता है जो आउटपुट में इनपुट चरित्र की गणना करने की संभावना निर्धारित करता है।
• डिकोडिंग आगे-रिवर्स एल्गोरिदम का उपयोग करके होती है।

कलाडी-आरयू -0.5 मॉडल बनाने के बारे में

रूसी भाषा के लिए, निकोलाई शिमिरोव द्वारा बनाया गया एक पूर्व-प्रशिक्षित मान्यता मॉडल है, जिसे कई साइटों और मंचों पर nsh के रूप में भी जाना जाता है।

• सुविधाओं को निकालने के लिए, MFCC विधि का उपयोग किया गया था, और ध्वनिक-ध्वन्यात्मक मॉडल स्वयं TDN प्रकार के तंत्रिका नेटवर्क पर आधारित है।
• प्रशिक्षण का नमूना YouTube से डाउनलोड किए गए रूसी में वीडियो का साउंडट्रैक था।
• एक भाषा मॉडल बनाने के लिए, हमने CMUdict डिक्शनरी का उपयोग किया और ठीक उसी शब्दावली का इस्तेमाल किया जो प्रशिक्षण सेट में थी। इस तथ्य के कारण कि शब्दकोश में विभिन्न शब्दों के समान उच्चारण थे, प्रत्येक शब्द को "संभावना" के मूल्य को निर्दिष्ट करने और उन्हें सामान्य करने का निर्णय लिया गया था।
• भाषा मॉडल को सीखने के लिए, RNNLM फ्रेमवर्क (आवर्तक तंत्रिका नेटवर्क भाषा मॉडल) का उपयोग किया गया था, जैसा कि नाम से पता चलता है, आवर्तक तंत्रिका नेटवर्क (अच्छे पुराने एन-ग्राम के बजाय) पर।

Google भाषण एपीआई और यांडेक्स भाषण किट के साथ तुलना

निश्चित रूप से, पिछले पैराग्राफ को पढ़ते हुए पाठकों में से एक ने सवाल पूछा: ठीक है, हमें पता चला कि कलदी अपने प्रत्यक्ष एनालॉग से बेहतर है, लेकिन Google और यैंडेक्स से मान्यता प्रणालियों के बारे में क्या? हो सकता है कि पहले वर्णित रूपरेखाओं की प्रासंगिकता संदिग्ध हो अगर इन दो दिग्गजों के उपकरण हैं? प्रश्न वास्तव में अच्छा है, तो चलो परीक्षण करते हैं!

• एक डेटासेट के रूप में, हम रिकॉर्ड करते हैं और कुख्यात VoxForge से संबंधित पाठ डिक्रिप्शन लेते हैं । परिणामस्वरूप, प्रत्येक सिस्टम ने 3677 ध्वनि फ़ाइलों को पहचाना, मुझे निम्न WER (वर्ड एरर रेट) मान मिले:
  
  
  
• VoxForge के रिकॉर्ड पृष्ठभूमि शोर, स्वरभंग, भाषण की गति, आदि की अनुपस्थिति में लगभग समान हैं। आइए कार्य को जटिल करते हैं: Open_stt सत्यापन सबकोर्पस लें, जिसमें फ़ोन वार्तालाप, YouTube वीडियो और ऑडियो पुस्तकों से ऑडियो क्लिप शामिल हैं, और WER और CER (वर्ण त्रुटि दर) का उपयोग करके प्रदर्शन का मूल्यांकन करें।
  
  पाठ टेप प्राप्त करने के बाद, मैंने देखा कि Google और यांडेक्स (कलदी के विपरीत) जैसे शब्दों को मान्यता दी
  "एक" के रूप में "1"। तदनुसार, ऐसे मामलों को ठीक करने की आवश्यकता थी (जैसा कि संदर्भ टेप में कहा गया है कि ओपन_स्टेट के लेखक प्रदान किए गए हैं, सब कुछ वर्णनात्मक शब्दों में प्रस्तुत किया गया है), जिसने अंतिम परिणाम को प्रभावित किया:
  
  
  

सारांशित करते हुए, हम कह सकते हैं कि सभी प्रणालियाँ लगभग समान स्तर पर कार्य का सामना कर रही हैं, और Kaland यांडेक्स स्पीच किट और Google भाषण एपीआई से बहुत अधिक हीन नहीं थीं। दूसरे मामले में, यैंडेक्स स्पीच किट में सबसे अच्छा प्रदर्शन है, जैसा कि यह उन प्रतियोगियों की तुलना में लघु ऑडियो फ़ाइलों को सबसे अच्छी तरह से पहचानता है जो उनमें से किसी भी भाग (Google के लिए, इन फ़ाइलों की संख्या बहुत बड़ी है) को पहचानने में असमर्थ थे। अंत में, यह ध्यान देने योग्य है कि कलदी को 28111 फाइलों को पहचानने में 12 घंटे से अधिक का समय लगा, अन्य प्रणालियां बहुत कम समय में प्रबंधित हुईं। लेकिन एक ही समय में, यैंडेक्स स्पीच किट और Google भाषण एपीआई "ब्लैक बॉक्स" होते हैं जो अन्य लोगों के सर्वर पर कहीं दूर तक काम करते हैं और ट्यूनिंग के लिए सुलभ नहीं होते हैं, लेकिन Kaldi को हाथ की कार्य की बारीकियों के लिए अनुकूलित किया जा सकता है - विशेषता शब्दावली (व्यावसायिकता, शब्दजाल, बोलचाल की भाषा), उच्चारण की विशेषताएं आदि। और यह सब मुफ्त और एसएमएस के बिना! प्रणाली एक प्रकार का डिजाइनर है, जिसका उपयोग हम सभी कुछ असामान्य और दिलचस्प बनाने के लिए कर सकते हैं।

मैं Yandex.Cloud टीम का आभार व्यक्त करता हूं , जिसने मुझे open_stt केस मान्यता के कार्यान्वयन में मदद की ।

मैं APDiMO NSU प्रयोगशाला में काम करता हूं:
वेबसाइट: https://bigdata.nsu.ru/
वीके ग्रुप: https://vk.com/lapdimo