End2End- बोली जाने वाली भाषा को समझने के लिए दृष्टिकोण

बोलचाल की भाषण मशीन को समझने के लिए कई दृष्टिकोण हैं: क्लासिक तीन-घटक दृष्टिकोण (एक भाषण मान्यता घटक, एक प्राकृतिक भाषा समझ घटक और एक निश्चित व्यापार तर्क के लिए जिम्मेदार घटक) और एक End2End दृष्टिकोण जिसमें चार कार्यान्वयन मॉडल शामिल हैं: प्रत्यक्ष, सहयोगी, बहु-मंच और मल्टी-टास्किंग। । आइए, Google के प्रयोगों के आधार पर, इन दृष्टिकोणों के सभी पेशेवरों और विपक्षों पर विचार करें, और विस्तार से विश्लेषण करें कि End2End दृष्टिकोण शास्त्रीय दृष्टिकोण की समस्याओं को हल क्यों करता है।



हम एआई एमटीएस केंद्र के प्रमुख डेवलपर निकिता सेमेनोव को मंजिल देते हैं।

नमस्ते! एक प्रस्तावना के रूप में, मैं जाने-माने वैज्ञानिकों जान लेकुन, जोशुआ बेनजियो और जेफरी हिंटन को उद्धृत करना चाहता हूं - ये कृत्रिम बुद्धिमत्ता के तीन अग्रणी हैं जिन्होंने हाल ही में सूचना प्रौद्योगिकी के क्षेत्र में सबसे प्रतिष्ठित पुरस्कारों में से एक - ट्यूरिंग अवार्ड प्राप्त किया है। 2015 में प्रकृति पत्रिका के मुद्दों में से एक में, उन्होंने एक बहुत ही दिलचस्प लेख "डीप लर्निंग" जारी किया, जिसमें एक दिलचस्प वाक्यांश था: "डीप लर्निंग हाथ से तैयार की गई विशेषताओं की आवश्यकता के बिना कच्चे संकेतों से निपटने की अपनी क्षमता के वादे के साथ आया था"। इसे सही ढंग से अनुवाद करना मुश्किल है, लेकिन इसका अर्थ कुछ इस तरह है: “दीप सीखने के लिए संकेतों के मैनुअल निर्माण की आवश्यकता के बिना कच्चे संकेतों का सामना करने की क्षमता का वादा किया गया था। मेरी राय में, डेवलपर्स के लिए यह सभी मौजूदा लोगों का मुख्य प्रेरक है।

क्लासिक दृष्टिकोण

तो, चलो क्लासिक दृष्टिकोण के साथ शुरू करते हैं। जब हम किसी मशीन के साथ बोलने की समझ के बारे में बात करते हैं, तो हमारा मतलब है कि हमारे पास एक निश्चित व्यक्ति है जो अपनी आवाज की मदद से कुछ सेवाओं को नियंत्रित करना चाहता है या कुछ तर्क के साथ उसकी आवाज के आदेशों का जवाब देने के लिए किसी प्रणाली की आवश्यकता महसूस करता है।

इस समस्या को कैसे हल किया जाता है? क्लासिक संस्करण में, एक प्रणाली का उपयोग किया जाता है, जो कि ऊपर वर्णित है, तीन बड़े घटक होते हैं: एक भाषण मान्यता घटक, एक प्राकृतिक भाषा को समझने के लिए एक घटक, और एक निश्चित व्यावसायिक तर्क के लिए जिम्मेदार घटक। यह स्पष्ट है कि सबसे पहले उपयोगकर्ता एक निश्चित ध्वनि संकेत बनाता है, जो वाक् पहचान घटक पर पड़ता है और ध्वनि से पाठ में बदल जाता है। फिर पाठ प्राकृतिक भाषा को समझने के घटक में आता है, जिसमें से एक निश्चित शब्दार्थ संरचना को बाहर निकाला जाता है, जो व्यावसायिक तर्क के लिए जिम्मेदार घटक के लिए आवश्यक है।



शब्दार्थ संरचना क्या है? यह एक तरह के कई कार्यों का सामान्यीकरण / एकत्रीकरण है - समझने में आसानी के लिए। संरचना में तीन महत्वपूर्ण भाग शामिल हैं: डोमेन का वर्गीकरण (विषय की एक निश्चित परिभाषा), इरादे का वर्गीकरण (यह समझने की आवश्यकता है कि क्या किया जाना चाहिए) और अगले चरण में विशिष्ट व्यावसायिक कार्यों के लिए आवश्यक कार्ड भरने के लिए नामित संस्थाओं का आवंटन। यह समझने के लिए कि शब्दार्थ संरचना क्या है, आप एक साधारण उदाहरण पर विचार कर सकते हैं, जिसे Google सबसे अधिक बार उद्धृत करता है। हमारे पास एक सरल अनुरोध है: "कृपया कुछ कलाकार का गाना बजाएं।"



इस अनुरोध में डोमेन और विषय संगीत है; आशय - एक गाना बजाना; "एक गाना बजाओ" कार्ड की विशेषताएं - किस तरह का गीत, किस तरह का कलाकार। इस तरह की संरचना एक प्राकृतिक भाषा को समझने का परिणाम है।

यदि हम बोलचाल की भाषा को समझने की एक जटिल और बहु-स्तरीय समस्या को हल करने के बारे में बात करते हैं, तो, जैसा कि मैंने कहा, इसमें दो चरण होते हैं: पहला भाषण मान्यता है, दूसरा प्राकृतिक भाषा समझ रहा है। शास्त्रीय दृष्टिकोण में इन चरणों का पूर्ण पृथक्करण शामिल है। पहले कदम के रूप में, हमारे पास एक निश्चित मॉडल है जो इनपुट पर एक ध्वनिक संकेत प्राप्त करता है, और आउटपुट पर, भाषा और ध्वनिक मॉडल और एक लेक्सिकॉन का उपयोग करके, इस ध्वनिक संकेत से सबसे संभावित मौखिक परिकल्पना को निर्धारित करता है। यह पूरी तरह से संभाव्य कहानी है - यह प्रसिद्ध बेयस सूत्र के अनुसार विघटित हो सकता है और एक सूत्र प्राप्त कर सकता है जो आपको नमूने की संभावना फ़ंक्शन को लिखने और अधिकतम संभावना विधि का उपयोग करने की अनुमति देता है। हमारे पास संकेत X की सशर्त संभावना है बशर्ते कि शब्द अनुक्रम W इस शब्द अनुक्रम की संभावना से गुणा हो।



पहला चरण जिससे हम गुजरे - हमें ध्वनि संकेत से मौखिक परिकल्पना मिली। इसके बाद दूसरा घटक आता है, जो इसे बहुत ही मौखिक परिकल्पना के रूप में लेता है और ऊपर वर्णित अर्थ संरचना को खींचने की कोशिश करता है।

हमारे पास शब्दार्थ संरचना एस की संभावना है बशर्ते कि मौखिक अनुक्रम डब्ल्यू इनपुट पर हो।



शास्त्रीय दृष्टिकोण के बारे में बुरी बात क्या है, इन दो तत्वों / चरणों से मिलकर, जिन्हें अलग से पढ़ाया जाता है (यानी हम पहले पहले तत्व के मॉडल को प्रशिक्षित करते हैं, और फिर दूसरे के मॉडल को)?

• प्राकृतिक भाषा की समझ रखने वाला घटक उच्च-स्तरीय मौखिक परिकल्पना के साथ काम करता है जो एएसआर उत्पन्न करता है। यह एक बड़ी समस्या है, क्योंकि पहला घटक (एएसआर स्वयं) निम्न-स्तर के कच्चे डेटा के साथ काम करता है और एक उच्च-स्तरीय मौखिक परिकल्पना उत्पन्न करता है, और दूसरा घटक परिकल्पना को इनपुट के रूप में लेता है - प्राथमिक स्रोत से कच्चा डेटा नहीं, बल्कि पहला मॉडल जो परिकल्पना देता है - और इसकी परिकल्पना बनाता है पहले चरण की परिकल्पना पर। यह एक बल्कि समस्याग्रस्त कहानी है, क्योंकि यह बहुत "सशर्त" हो जाती है।
• अगली समस्या: हम उन शब्दों के महत्व के बीच कोई संबंध नहीं बना सकते हैं जो बहुत शब्दार्थ संरचना बनाने के लिए आवश्यक हैं और हमारी मौखिक परिकल्पना का निर्माण करते समय पहला घटक क्या पसंद करता है। यही है, यदि आप प्रतिफलन करते हैं, तो हम पाते हैं कि परिकल्पना पहले से ही निर्मित है। यह तीन घटकों के आधार पर बनाया गया है, जैसा कि मैंने कहा: ध्वनिक भाग (जो कि इनपुट में आया है और किसी तरह मॉडलिंग किया गया है), भाषा भाग (पूरी तरह से किसी भी भाषा में मॉडल - भाषण की संभावना) और लेक्सिकॉन (शब्दों का उच्चारण)। ये तीन बड़े हिस्से हैं जिन्हें संयुक्त करने की आवश्यकता है और उनमें कुछ परिकल्पना पाई जाती है। लेकिन एक ही परिकल्पना की पसंद को प्रभावित करने का कोई तरीका नहीं है ताकि यह परिकल्पना अगले चरण के लिए महत्वपूर्ण हो (जो, सिद्धांत रूप में, यह बिंदु है कि वे पूरी तरह से अलग-अलग सीखते हैं और किसी भी तरह से एक दूसरे को प्रभावित नहीं करते हैं)।

End2End दृष्टिकोण

हमने समझा कि शास्त्रीय दृष्टिकोण क्या है, इसमें क्या समस्याएं हैं। आइए End2End दृष्टिकोण का उपयोग करके इन समस्याओं को हल करने का प्रयास करें।

End2End से हमारा तात्पर्य एक ऐसे मॉडल से है जो विभिन्न घटकों को एक घटक में संयोजित करेगा। हम उन मॉडलों का उपयोग करके मॉडल बनाएंगे जिनमें एनकोडर-डिकोडर आर्किटेक्चर होता है जिसमें ध्यान (ध्यान) के मॉड्यूल होते हैं। इस तरह के आर्किटेक्चर का उपयोग अक्सर भाषण मान्यता समस्याओं और प्राकृतिक भाषा के प्रसंस्करण से संबंधित कार्यों में किया जाता है, विशेष रूप से, मशीन अनुवाद।

इस तरह के दृष्टिकोणों के कार्यान्वयन के लिए चार विकल्प हैं जो शास्त्रीय दृष्टिकोण से हमारे सामने उत्पन्न समस्या को हल कर सकते हैं: ये प्रत्यक्ष, सहयोगी, बहु-मंच और मल्टी-टास्किंग मॉडल हैं।

प्रत्यक्ष मॉडल

प्रत्यक्ष मॉडल इनपुट निम्न-स्तरीय कच्ची विशेषताओं पर ले जाता है, अर्थात। निम्न-स्तरीय ऑडियो सिग्नल, और आउटपुट पर हमें तुरंत एक सिमेंटिक संरचना मिलती है। यही है, हमें एक मॉड्यूल मिलता है - शास्त्रीय दृष्टिकोण से पहला मॉड्यूल का इनपुट और उसी शास्त्रीय दृष्टिकोण से दूसरे मॉड्यूल का आउटपुट। ऐसे ही एक "ब्लैक बॉक्स"। यहाँ से कुछ प्लसस और कुछ मिन्यूज़ हैं। मॉडल इनपुट सिग्नल को पूरी तरह से ट्रांसलेट करना नहीं सीखता है - यह एक स्पष्ट प्लस है, क्योंकि हमें बड़े, बड़े मार्कअप को इकट्ठा करने की आवश्यकता नहीं है, हमें बहुत सारे ऑडियो सिग्नल को इकट्ठा करने की आवश्यकता नहीं है, और फिर इसे मार्कअप के लिए एक्सेसर्स को दें। हमें बस इस ऑडियो सिग्नल और संबंधित सिमेंटिक संरचना की आवश्यकता है। और वह सब है। यह कई बार डेटा को चिह्नित करने में लगे श्रम को कम कर देता है। संभवतः इस दृष्टिकोण का सबसे बड़ा ऋण यह है कि इस तरह के "ब्लैक बॉक्स" के लिए कार्य बहुत जटिल है, जो तुरंत, सशर्त रूप से, दो समस्याओं को हल करने की कोशिश कर रहा है। सबसे पहले, अपने अंदर, वह किसी प्रकार के प्रतिलेखन के निर्माण की कोशिश करता है, और फिर इस प्रतिलेखन से बहुत शब्दार्थ संरचना का पता चलता है। यह एक कठिन काम उठाता है - प्रतिलेखन के कुछ हिस्सों को अनदेखा करने के लिए सीखने के लिए। और यह बहुत मुश्किल है। यह कारक इस दृष्टिकोण का एक बड़ा और विशाल ऋण है।

यदि हम संभावनाओं के बारे में बात करते हैं, तो यह मॉडल मॉडल मापदंडों के साथ ध्वनिक सिग्नल एक्स से सबसे अधिक संभावित अर्थ संरचना एस खोजने की समस्या को हल करता है।

संयुक्त मॉडल

विकल्प क्या है? यह एक सहयोगी मॉडल है। यही है, कुछ मॉडल एक सीधी रेखा के समान हैं, लेकिन एक अपवाद के साथ: हमारे लिए आउटपुट में पहले से ही मौखिक अनुक्रम शामिल हैं और एक अर्थ संरचना केवल उनके लिए संक्षिप्त है। यही है, इनपुट पर हमारे पास एक ध्वनि संकेत और एक तंत्रिका नेटवर्क मॉडल है, जो आउटपुट पर पहले से ही मौखिक प्रतिलेखन और अर्ध-संरचना दोनों देता है।



पेशेवरों से: हमारे पास अभी भी एक साधारण एनकोडर है, एक साधारण डिकोडर है। सीखने की सुविधा है क्योंकि मॉडल एक ही बार में दो समस्याओं को हल करने की कोशिश नहीं करता है, जैसा कि प्रत्यक्ष मॉडल के मामले में है। एक और लाभ यह है कि निम्न-स्तरीय ध्वनि विशेषताओं पर सिमेंटिक संरचना की यह निर्भरता अभी भी मौजूद है। क्योंकि, फिर से, एक एनकोडर, एक डिकोडर। और, तदनुसार, प्लसस में से एक पर ध्यान दिया जा सकता है कि इस बहुत शब्दार्थ संरचना की भविष्यवाणी में निर्भरता है और इसका प्रभाव सीधे प्रतिलेखन पर ही पड़ता है - जो हमें शास्त्रीय दृष्टिकोण में सूट नहीं करता था।

फिर, हमें शब्दों के सबसे संभावित अनुक्रम को खोजने की आवश्यकता है और मापदंडों के साथ ध्वनिक सिग्नल एक्स से संबंधित सिमेंटिक संरचनाएं एस।

मल्टीटास्किंग मॉडल

अगला दृष्टिकोण मल्टी-टास्किंग मॉडल है। फिर से, एनकोडर-डिकोडर दृष्टिकोण, लेकिन एक अपवाद के साथ।



प्रत्येक कार्य के लिए, अर्थात्, मौखिक अनुक्रम बनाने के लिए, शब्दार्थ संरचना बनाने के लिए, हमारे पास अपना डिकोडर है जो एक सामान्य छिपे हुए प्रतिनिधित्व का उपयोग करता है जो एक एकल एनकोडर बनाता है। मशीन लर्निंग में एक बहुत प्रसिद्ध ट्रिक, जो अक्सर काम में उपयोग की जाती है। एक बार में दो अलग-अलग समस्याओं का समाधान करने से स्रोत डेटा में निर्भरता को बेहतर तरीके से देखने में मदद मिलती है। और इसके परिणामस्वरूप - सर्वोत्तम सामान्यीकरण क्षमता, चूंकि एक ही बार में कई कार्यों के लिए इष्टतम पैरामीटर का चयन किया जाता है। यह दृष्टिकोण कम डेटा वाले कार्यों के लिए सबसे उपयुक्त है। और डिकोडर एक छिपे हुए वेक्टर स्थान का उपयोग करते हैं जिसमें उनका एनकोडर बनाता है।



यह ध्यान रखना महत्वपूर्ण है कि पहले से ही संभावना में एनकोडर और डिकोडर मॉडल के मापदंडों पर निर्भरता है। और ये पैरामीटर महत्वपूर्ण हैं।

मल्टी-स्टेज मॉडल

हम, मेरी राय में, सबसे दिलचस्प दृष्टिकोण की ओर मुड़ते हैं: एक बहु-मंच मॉडल। यदि आप बहुत ध्यान से देखते हैं, तो आप देख सकते हैं कि वास्तव में यह एक अपवाद के साथ दो-घटक शास्त्रीय दृष्टिकोण है।



यहां मॉड्यूल के बीच संबंध स्थापित करना और उन्हें एकल-मॉड्यूल बनाना संभव है। इसलिए, शब्दार्थ संरचना को प्रतिलेखन पर सशर्त रूप से निर्भर माना जाता है। इस मॉडल के साथ काम करने के लिए दो विकल्प हैं। हम व्यक्तिगत रूप से इन दो मिनी-ब्लॉक को प्रशिक्षित कर सकते हैं: पहला और दूसरा एनकोडर-डिकोडर। या उन्हें मिलाएं और एक ही समय में दोनों कार्यों को प्रशिक्षित करें।

पहले मामले में, दो कार्यों के लिए पैरामीटर संबंधित नहीं हैं (हम विभिन्न डेटा का उपयोग करके प्रशिक्षित कर सकते हैं)। मान लीजिए कि हमारे पास ध्वनि का एक बड़ा शरीर है और इसी क्रम और अनुक्रमण हैं। हम उन्हें "ड्राइव" करते हैं, हम केवल पहले भाग को प्रशिक्षित करते हैं। हम एक अच्छे प्रतिलेखन सिमुलेशन में मिलते हैं। फिर हम दूसरा भाग लेते हैं, हम दूसरे मामले पर प्रशिक्षण देते हैं। हम कनेक्ट करते हैं और एक समाधान प्राप्त करते हैं कि इस दृष्टिकोण में शास्त्रीय दृष्टिकोण के अनुरूप 100% है, क्योंकि हमने अलग-अलग लिया और पहले भाग को प्रशिक्षित किया और दूसरे को अलग से। और फिर हम मामले से जुड़े मॉडल को प्रशिक्षित करते हैं, जिसमें पहले से ही डेटा का त्रैमासिक होता है: एक ऑडियो सिग्नल, संबंधित ट्रांसक्रिप्शन और संबंधित सेमेस्टर संरचना। यदि हमारे पास ऐसी कोई इमारत है, तो हम अपने विशिष्ट छोटे काम के लिए, मॉडल को व्यक्तिगत रूप से बड़े भवनों पर प्रशिक्षित कर सकते हैं, और इस तरह के मुश्किल तरीके से सटीकता में अधिकतम लाभ प्राप्त कर सकते हैं। यह दृष्टिकोण हमें प्रतिलेखन के विभिन्न भागों के महत्व और पहले में दूसरे चरण की त्रुटियों को ध्यान में रखकर शब्दार्थ संरचना की भविष्यवाणी पर उनके प्रभाव को ध्यान में रखने की अनुमति देता है।

यह ध्यान रखना महत्वपूर्ण है कि अंतिम कार्य केवल एक बड़े अंतर के साथ शास्त्रीय दृष्टिकोण के समान है: हमारे कार्य का दूसरा शब्द - शब्दार्थ संरचना की संभावना का लघुगणक - बशर्ते कि इनपुट ध्वनिक संकेत एक्स पहले चरण के मॉडल के मापदंडों पर भी निर्भर करता है।



यहां यह नोट करना भी महत्वपूर्ण है कि दूसरा घटक पहले और दूसरे मॉडल के मापदंडों पर निर्भर करता है।

दृष्टिकोण की सटीकता का आकलन करने के लिए पद्धति

अब यह सटीकता का आकलन करने के लिए कार्यप्रणाली पर निर्णय लेने के लायक है। वास्तव में, इस सटीकता को मापने के लिए खाते की विशेषताओं को ध्यान में रखना चाहिए जो हमें शास्त्रीय दृष्टिकोण में सूट नहीं करते हैं? इन अलग-अलग कार्यों के लिए क्लासिक लेबल हैं। वाक् पहचान घटकों का मूल्यांकन करने के लिए, हम क्लासिक WER मीट्रिक ले सकते हैं। यह एक वर्ड एरर रेट है। हम एक बहुत जटिल सूत्र के अनुसार विचार करते हैं, आवेषण की संख्या, प्रतिस्थापन, एक शब्द के क्रमपरिवर्तन और उन्हें सभी शब्दों की संख्या से विभाजित करते हैं। और हमें अपनी मान्यता की गुणवत्ता की एक निश्चित अनुमानित विशेषता मिलती है। एक अर्थपूर्ण संरचना के लिए, घटक के रूप में, हम केवल एफ 1 स्कोर पर विचार कर सकते हैं। यह वर्गीकरण की समस्या के लिए कुछ क्लासिक मीट्रिक भी है। यहां सब कुछ प्लस या माइनस स्पष्ट है। परिपूर्णता है, सटीकता है। और यह उनके बीच सिर्फ एक हार्मोनिक मतलब है।

लेकिन सवाल यह उठता है कि इनपुट ट्रांसक्रिप्शन और आउटपुट तर्क मेल नहीं खाते या आउटपुट ऑडियो डेटा होने पर सटीकता को कैसे मापें। Google ने एक मीट्रिक प्रस्तावित किया है जो दूसरे घटक पर इस मान्यता के प्रभाव का आकलन करके भाषण मान्यता के पहले घटक की भविष्यवाणी करने के महत्व को ध्यान में रखेगा। उन्होंने इसे Arg WER कहा, अर्थात, यह शब्दार्थ संरचना संस्थाओं पर WER का वजन करता है।

अनुरोध लें: "5 घंटे के लिए अलार्म सेट करें।" इस शब्दार्थ संरचना में एक तर्क होता है जैसे "पांच घंटे", "तिथि समय" प्रकार का एक तर्क। यह समझना महत्वपूर्ण है कि यदि भाषण मान्यता घटक इस तर्क का उत्पादन करता है, तो इस तर्क का त्रुटि मीट्रिक, जो कि, WER है, 0% है। यदि यह मान पांच घंटे के अनुरूप नहीं है, तो मीट्रिक में 100% WER है। इस प्रकार, हम केवल सभी तर्कों के लिए भारित औसत मूल्य पर विचार करते हैं और सामान्य तौर पर, एक निश्चित एकत्रित मीट्रिक प्राप्त करते हैं जो भाषण मान्यता घटक बनाने वाले प्रतिलेखन त्रुटियों के महत्व का अनुमान लगाते हैं।

मैं आपको Google के प्रयोगों का एक उदाहरण देता हूं, जो उसने इस विषय पर अपने एक अध्ययन में किया था। उन्होंने पांच डोमेन, पांच विषयों: मीडिया, मीडिया_कंट्रोल, प्रोडक्टिविटी, डिलाइट, नॉट - ट्रेनिंग टेस्ट डेटा सेट पर डेटा के समान वितरण के साथ डेटा का उपयोग किया। यह ध्यान रखना महत्वपूर्ण है कि सभी मॉडलों को खरोंच से प्रशिक्षित किया गया था। Cross_entropy का उपयोग किया गया था, किरण खोज पैरामीटर 8 था, वे जो अनुकूलक उपयोग करते थे, निश्चित रूप से, एडम। माना जाता है, ज़ाहिर है, उनके टीपीयू के एक बड़े बादल पर। परिणाम क्या है? ये दिलचस्प संख्याएं हैं:



समझने के लिए, बेसलाइन एक क्लासिक दृष्टिकोण है जिसमें दो घटक शामिल हैं, जैसा कि हमने शुरुआत में ही कहा था। निम्नलिखित प्रत्यक्ष, जुड़े, मल्टीटास्क और मल्टी-स्टेज मॉडल के उदाहरण हैं।

दो मल्टी-स्टेज मॉडल कितने हैं? बस पहले और दूसरे भाग के जंक्शन पर, विभिन्न परतों का उपयोग किया गया था। पहले मामले में, यह ArgMax है, दूसरे मामले में, SampedSoftmax।

किस पर ध्यान देने योग्य है? शास्त्रीय दृष्टिकोण सभी तीन मैट्रिक्स में खो जाता है, जो इन दो घटकों के प्रत्यक्ष सहयोग का अनुमान है। हां, हम इसमें रुचि नहीं रखते हैं कि वहां प्रतिलेखन कितनी अच्छी तरह से किया जाता है, हम केवल इस बात में रुचि रखते हैं कि अर्ध-संरचना संरचना के कार्यों की भविष्यवाणी करने वाले तत्व कितनी अच्छी तरह से हैं। इसका मूल्यांकन तीन मैट्रिक्स द्वारा किया जाता है: F1 - विषय द्वारा, F1 - इरादे से और ArgWer मीट्रिक, जो कि संस्थाओं के तर्कों द्वारा माना जाता है। एफ 1 को सटीकता और पूर्णता के बीच एक भारित औसत माना जाता है। यही है, मानक 100 है। इसके विपरीत, ArgWer, एक सफलता नहीं है, यह एक त्रुटि है, अर्थात, यहां मानक 0 है।

यह ध्यान देने योग्य है कि हमारे युग्मित और मल्टी-टास्किंग मॉडल विषयों और इरादों के लिए सभी वर्गीकरण मॉडल को पूरी तरह से बेहतर बनाते हैं। और मॉडल, जो मल्टी-स्टेज है, कुल अर्गवेर में बहुत बड़ी वृद्धि हुई है। यह महत्वपूर्ण क्यों है? क्योंकि बोलचाल की समझ से जुड़े कार्यों में, व्यावसायिक तर्क के लिए ज़िम्मेदार घटक में किया जाने वाला अंतिम कार्य महत्वपूर्ण है। यह सीधे ASR द्वारा बनाए गए ट्रांस्क्रिप्शन पर निर्भर नहीं करता है, बल्कि ASR और NLU घटकों की गुणवत्ता पर एक साथ काम करता है। इसलिए, argWER मीट्रिक में लगभग तीन बिंदुओं का अंतर एक बहुत अच्छा संकेतक है, जो इस दृष्टिकोण की सफलता को इंगित करता है। यह भी ध्यान देने योग्य है कि सभी दृष्टिकोणों में विषयों और इरादों की परिभाषा द्वारा तुलनीय मूल्य हैं।

मैं संवादी भाषण को समझने के लिए इस तरह के एल्गोरिदम के उपयोग के कुछ उदाहरण दूंगा। Google, जब संवादी भाषण को समझने के कार्यों के बारे में बात करता है, तो मुख्य रूप से मानव-कंप्यूटर इंटरफेस को नोट करता है, अर्थात ये सभी प्रकार के आभासी सहायक होते हैं जैसे कि Google सहायक, Apple सिरी, अमेज़ॅन एलेक्सा, और इसी तरह। दूसरे उदाहरण के रूप में, यह ऐसे कार्य पूल को इंटरएक्टिव वॉयस रिस्पांस के रूप में उल्लेख करने योग्य है। यही है, यह एक निश्चित कहानी है जो कॉल सेंटरों के स्वचालन में लगी हुई है।

इसलिए, हमने संयुक्त अनुकूलन का उपयोग करने की संभावना के साथ दृष्टिकोणों की जांच की, जो मॉडल को उन त्रुटियों पर ध्यान केंद्रित करने में मदद करता है जो SLU के लिए अधिक महत्वपूर्ण हैं। बोली जाने वाली भाषा को समझने के कार्य के लिए यह दृष्टिकोण समग्र जटिलता को बहुत सरल करता है।

हमारे पास एक तार्किक निष्कर्ष बनाने का अवसर है, जो कि कुछ अतिरिक्त परिणाम प्राप्त करने के लिए है, जैसे कि अतिरिक्त संसाधनों की आवश्यकता के बिना लेक्सिकॉन, भाषा मॉडल, विश्लेषक और इतने पर (यानी ये सभी कारक हैं जो शास्त्रीय दृष्टिकोण में निहित हैं)। कार्य "सीधे" हल हो गया है।

वास्तव में, आप वहाँ नहीं रुक सकते। और अगर अब हमने दो दृष्टिकोणों, एक सामान्य संरचना के दो घटकों को जोड़ दिया है, तो हम अधिक के लिए लक्ष्य कर सकते हैं। तीन घटकों और चार दोनों को मिलाएं - बस इस तार्किक श्रृंखला को संयोजित करना जारी रखें और "पुश" के माध्यम से त्रुटियों के महत्व को एक निचले स्तर तक ले जाएं, जिससे पहले से ही महत्वपूर्णता को देखते हुए। यह हमें समस्या को हल करने की सटीकता को बढ़ाने की अनुमति देगा।