End2End- نهج لفهم اللغة المنطوقة

هناك العديد من الطرق لفهم آلة الكلام العامية: النهج الكلاسيكي المكون من ثلاثة مكونات (يتضمن مكون التعرف على الكلام ، ومكون فهم اللغة الطبيعية ومكون مسؤول عن منطق عمل معين) ونهج End2End الذي يتضمن أربعة نماذج تنفيذ: مباشر ، تعاوني ، متعدد المراحل وتعدد المهام . دعنا نأخذ في الاعتبار كل إيجابيات وسلبيات هذه الأساليب ، بما في ذلك تلك المستندة إلى تجارب Google ، ونحلل بالتفصيل سبب حل End2End لمشاكل النهج الكلاسيكي.



نعطي الكلمة للمطور الرئيسي لمركز AI MTS نيكيتا سيمينوف.

تحية! كواجهة تمهيدية ، أود أن أقتبس من العلماء المشهورين يان ليكون وجوشوا بنجيو وجيفري هينتون - هؤلاء ثلاثة رواد في مجال الذكاء الاصطناعي حصلوا مؤخراً على واحدة من الجوائز المرموقة في مجال تكنولوجيا المعلومات - جائزة تورينج. في أحد إصدارات مجلة Nature في عام 2015 ، أصدروا مقالًا مثيرًا للاهتمام "التعلم العميق" ، حيث كانت هناك عبارة مثيرة للاهتمام: "لقد جاء التعلم العميق بوعد من قدرته على التعامل مع الإشارات الأولية دون الحاجة إلى ميزات مصنوعة يدوياً". من الصعب ترجمتها بشكل صحيح ، لكن المعنى شيء مثل هذا: "لقد جاء التعلم العميق بوعد القدرة على التعامل مع الإشارات الأولية دون الحاجة إلى إنشاء علامات يدويًا." في رأيي ، بالنسبة للمطورين ، هذا هو الدافع الرئيسي لجميع الشركات القائمة.

النهج الكلاسيكي

لذلك ، لنبدأ مع النهج الكلاسيكي. عندما نتحدث عن فهم التحدث مع آلة ، فإننا نعني أن لدينا شخصًا معينًا يريد التحكم في بعض الخدمات بمساعدة صوته أو يشعر بالحاجة لأن يستجيب نظام ما لأوامره الصوتية ببعض المنطق.

كيف يتم حل هذه المشكلة؟ في الإصدار الكلاسيكي ، يتم استخدام نظام ، كما ذكر أعلاه ، يتكون من ثلاثة مكونات كبيرة: مكون التعرف على الكلام ، ومكون لفهم لغة طبيعية ، ومكون مسؤول عن منطق عمل معين. من الواضح أنه في البداية يقوم المستخدم بإنشاء إشارة صوتية معينة ، تقع على مكون التعرف على الكلام ويتحول من صوت إلى نص. ثم يقع النص في مكون فهم اللغة الطبيعية ، والتي يتم منها سحب بنية دلالات معينة ، وهو أمر ضروري للمكون المسؤول عن منطق العمل.



ما هو الهيكل الدلالي؟ هذا نوع من التعميم / تجميع العديد من المهام في مهمة واحدة - لسهولة الفهم. يتضمن الهيكل ثلاثة أجزاء مهمة: تصنيف المجال (تعريف معين للموضوع) ، وتصنيف النية (فهم ما يجب القيام به) وتخصيص كيانات محددة لملء البطاقات الضرورية لمهام العمل المحددة في المرحلة التالية. لفهم ماهية البنية الدلالية ، يمكنك التفكير في مثال بسيط ، والذي يستشهد به Google غالبًا. لدينا طلب بسيط: "يرجى تشغيل بعض الأغاني لبعض الفنانين."



المجال والموضوع في هذا الطلب هو الموسيقى ؛ نية - تشغيل أغنية. سمات بطاقة "تشغيل أغنية" - أي نوع من الأغاني ، أي نوع من الفنانين. مثل هذا الهيكل هو نتيجة لفهم لغة طبيعية.

إذا كنا نتحدث عن حل مشكلة معقدة ومتعددة المراحل تتمثل في فهم الكلام العام ، عندئذ ، كما قلت ، يتكون من مرحلتين: الأولى هي التعرف على الكلام ، والثاني هو فهم اللغة الطبيعية. النهج الكلاسيكي ينطوي على فصل كامل لهذه المراحل. كخطوة أولى ، لدينا نموذج معين يستقبل إشارة صوتية عند الإدخال ، وعند الإخراج ، باستخدام النماذج اللغوية والصوتية ومعجم ، يحدد الفرضية اللفظية الأكثر احتمالا من هذه الإشارة الصوتية. هذه قصة احتمالية تمامًا - يمكن تحللها وفقًا لمعادلة بايز المعروفة والحصول على صيغة تسمح لك بكتابة دالة الاحتمال للعينة واستخدام طريقة الاحتمال القصوى. لدينا احتمال شرطي للإشارة X شريطة أن يتم ضرب كلمة تسلسل W باحتمال هذا التسلسل الكلمة.



المرحلة الأولى التي مررنا بها - حصلنا على فرضية لفظية من الإشارة الصوتية. يأتي بعد ذلك المكون الثاني ، الذي يأخذ هذه الفرضية الكلامية ويحاول سحب البنية الدلالية الموضحة أعلاه.

لدينا احتمالية البنية الدلالية S بشرط أن يكون التسلسل اللفظي W عند المدخل.



ما هو الشيء السيئ في النهج الكلاسيكي ، الذي يتكون من هذين العنصرين / الخطوات ، التي يتم تدريسها بشكل منفصل (أي نقوم أولاً بتدريب نموذج العنصر الأول ، ثم نموذج الثاني)؟

• يعمل مكون فهم اللغة الطبيعية مع الفرضيات اللفظية عالية المستوى التي يولدها ASR. هذه مشكلة كبيرة لأن المكون الأول (ASR نفسه) يعمل مع بيانات أولية منخفضة المستوى ويولد فرضية لفظية عالية المستوى ، والمكون الثاني يأخذ الفرضية كمدخلات - وليس البيانات الأولية من المصدر الأصلي ، ولكن الفرضية التي يقدمها النموذج الأول - وتبني فرضيتها على فرضية المرحلة الأولى. هذه قصة إشكالية إلى حد ما ، لأنها تصبح "مشروطة" للغاية.
• المشكلة التالية: لا يمكننا إجراء أي صلة بين أهمية الكلمات الضرورية لبناء الهيكل الدلالي للغاية وما يفضله المكون الأول عند بناء فرضيتنا الكلامية. هذا هو ، إذا أعيدت صياغته ، فسنكتشف أن الفرضية قد بنيت بالفعل. إنه مبني على أساس ثلاثة مكونات ، كما قلت: الجزء الصوتي (الذي جاء في المدخلات ونمذجة بطريقة أو بأخرى) ، والجزء اللغوي (يصيغ تمامًا أي لغة بلغة - احتمال الكلام) ومعجم (نطق الكلمات). هذه ثلاثة أجزاء كبيرة تحتاج إلى دمج وتوجد بعض الفرضيات فيها. لكن لا توجد طريقة للتأثير على اختيار الفرضية نفسها بحيث تكون هذه الفرضية مهمة للمرحلة التالية (والتي ، من حيث المبدأ ، هي النقطة التي يتعلمون بشكل منفصل تمامًا ولا تؤثر على بعضهم البعض بأي طريقة).

نهج End2End

لقد فهمنا ماهية النهج الكلاسيكي ، وما هي المشاكل التي يواجهها. دعنا نحاول حل هذه المشكلات باستخدام نهج End2End.

بواسطة End2End نعني نموذجًا يجمع بين المكونات المختلفة في مكون واحد. سنقوم باستخدام النماذج التي تتكون من بنية التشفير - فك التشفير التي تحتوي على وحدات من الاهتمام (الاهتمام). غالبًا ما يتم استخدام مثل هذه البنى في مشاكل التعرف على الكلام وفي المهام المتعلقة بمعالجة لغة طبيعية ، ولا سيما الترجمة الآلية.

هناك أربعة خيارات لتنفيذ مثل هذه الأساليب التي يمكن أن تحل المشكلة التي تطرحها علينا الطريقة التقليدية: وهي نماذج مباشرة وتعاونية ومتعددة المراحل ومتعددة المهام.

نموذج مباشر

يأخذ النموذج المباشر السمات الأولية ذات المستوى المنخفض للإدخال ، أي إشارة صوتية منخفضة المستوى ، وعند الإخراج نحصل على الفور على بنية الدلالية. بمعنى ، نحصل على وحدة واحدة - مدخلات الوحدة الأولى من النهج الكلاسيكي ومخرجات الوحدة الثانية من نفس النهج الكلاسيكي. فقط مثل هذا "الصندوق الأسود". من هنا هناك بعض الإيجابيات وبعض السلبيات. لا يتعلم النموذج نسخ إشارة الإدخال بالكامل - هذه ميزة إضافية واضحة ، لأننا لسنا بحاجة إلى جمع علامات كبيرة وكبيرة ، لا نحتاج إلى جمع الكثير من الإشارات الصوتية ، ومن ثم تقديمها إلى أدوات الوصول للترميز. نحن فقط بحاجة إلى هذه الإشارة الصوتية والبنية الدلالية المقابلة. وهذا كل شيء. هذا عدة مرات يقلل من العمل المشترك في ترميز البيانات. ربما يكون أكبر ناقص لهذا النهج هو أن المهمة معقدة للغاية بالنسبة لمثل هذا "الصندوق الأسود" ، الذي يحاول حل مشكلتين على الفور ، وبصورة مشروطة. أولاً ، داخل نفسه ، يحاول بناء نوع من النسخ ، ومن خلال هذا النسخ يكشف الهيكل الدلالي للغاية. هذا يثير مهمة صعبة إلى حد ما - لتعلم تجاهل أجزاء من النسخ. وهذا صعب للغاية. هذا العامل هو ناقص كبير جدا وضخم من هذا النهج.

إذا تحدثنا عن الاحتمالات ، فإن هذا النموذج يحل مشكلة العثور على الهيكل الدلالي الأكثر احتمالًا S من الإشارة الصوتية X مع معلمات النموذج θ.

نموذج مشترك

ما البديل؟ هذا نموذج تعاوني. وهذا يعني أن بعض النماذج يشبه إلى حد كبير خط مستقيم ، ولكن مع استثناء واحد: الناتج بالنسبة لنا يتكون بالفعل من تسلسلات لفظية وهيكل دلالي متصل بهم. هذا هو ، عند المدخلات لدينا إشارة صوتية ونموذج شبكة عصبية ، والذي يعطي بالفعل في الإخراج كلا من النسخ اللفظي والبنية الدلالية.



من الايجابيات: لا يزال لدينا جهاز تشفير بسيط ، جهاز فك تشفير بسيط. يتم تسهيل التعلم لأن النموذج لا يحاول حل مشكلتين في وقت واحد ، كما في حالة النموذج المباشر. ميزة أخرى هي أن اعتماد الهيكل الدلالي على سمات الصوت منخفض المستوى لا يزال موجودًا. لأنه ، مرة أخرى ، ترميز واحد ، فك التشفير واحد. وبناءً على ذلك ، يمكن الإشارة إلى وجود أحد الإيجابيات في اعتماد هذا الهيكل الدلالي وتأثيره المباشر على النسخ نفسه - وهو ما لم يناسبنا في النهج الكلاسيكي.

مرة أخرى ، نحن بحاجة إلى العثور على السلسلة الأكثر احتمالًا للكلمات W والهياكل الدلالية المقابلة S من الإشارة الصوتية X مع المعلمات θ.

نموذج تعدد المهام

النهج التالي هو نموذج متعدد المهام. مرة أخرى ، نهج فك التشفير ، ولكن مع استثناء واحد.



لكل مهمة ، أي لإنشاء تسلسل شفهي ، لإنشاء بنية دلالية ، لدينا وحدة فك ترميز خاصة بنا تستخدم تمثيلًا مخفيًا مشتركًا واحدًا يولد تشفيرًا واحدًا. خدعة مشهورة جدا في التعلم الآلي ، وغالبا ما تستخدم في العمل. يساعد حل مشكلتين مختلفتين في وقت واحد في البحث عن التبعيات في البيانات المصدر بشكل أفضل. ونتيجة لذلك - أفضل قدرة تعميم ، حيث يتم تحديد المعلمة المثلى للعديد من المهام في وقت واحد. هذا النهج هو الأنسب للمهام مع بيانات أقل. تستخدم وحدات فك الترميز مساحة متجه مخفية واحدة يخلقها برنامج التشفير.



من المهم أن نلاحظ أن هناك بالفعل احتمال في الاعتماد على معلمات نماذج التشفير وفك الشفرة. وهذه المعلمات مهمة.

نموذج متعدد المراحل

ننتقل ، في رأيي ، إلى النهج الأكثر إثارة للاهتمام: نموذج متعدد المراحل. إذا نظرت بعناية فائقة ، يمكنك أن ترى أنه في الواقع هذا هو النهج الكلاسيكي المكون من عنصرين مع استثناء واحد.



هنا يمكن إنشاء اتصال بين الوحدات النمطية وجعلها وحدة واحدة. لذلك ، فإن البنية الدلالية تعتبر مشروطة تعتمد على النسخ. هناك خياران للعمل مع هذا النموذج. يمكننا تدريب هذين الكتلتين المصغرتين على حدة: أول جهاز فك التشفير الأول والثاني. أو الجمع بينهما وتدريب كل المهام في نفس الوقت.

في الحالة الأولى ، لا ترتبط المعلمات للمهمتين (يمكننا تدريب باستخدام بيانات مختلفة). لنفترض أن لدينا مجموعة كبيرة من الصوت والتسلسلات اللفظية المقابلة والنسخ. نحن "نقودهم" ، ندرب فقط الجزء الأول. نحصل على محاكاة النسخ جيدة. ثم نأخذ الجزء الثاني ، ونتدرب على حالة أخرى. نحن نتواصل ونتوصل إلى حل يتوافق في هذا النهج مع النهج التقليدي بنسبة 100٪ ، لأننا أخذنا الجزء الأول وتدريبنا بشكل منفصل والثاني بشكل منفصل. وبعد ذلك نقوم بتدريب النموذج المتصل على العلبة ، والذي يحتوي بالفعل على مجموعات من البيانات: إشارة صوتية والنسخ المقابل والبنية الدلالية الدلالة. إذا كان لدينا مثل هذا المبنى ، فيمكننا إعادة تدريب النموذج ، المدربين بشكل فردي على المباني الكبيرة ، لمهمتنا الصغيرة المحددة والحصول على أقصى قدر من الدقة في الدقة بهذه الطريقة الصعبة. هذا النهج يسمح لنا أن نأخذ في الاعتبار أهمية أجزاء مختلفة من النسخ وتأثيرها على التنبؤ بالهيكل الدلالي من خلال الأخذ في الاعتبار أخطاء المرحلة الثانية في الأولى.

من المهم الإشارة إلى أن المهمة الأخيرة تشبه إلى حد كبير النهج الكلاسيكي بفارق كبير واحد فقط: المصطلح الثاني من وظيفتنا - لوغاريتم احتمالية البنية الدلالية - بشرط أن تعتمد الإشارة الصوتية المدخلة X أيضًا على معلمات نموذج المرحلة الأولى .



من المهم أيضًا ملاحظة أن المكون الثاني يعتمد على معلمات النموذجين الأول والثاني.

منهجية لتقييم دقة النهج

من المهم الآن اتخاذ قرار بشأن منهجية تقييم الدقة. كيف ، في الواقع ، لقياس هذه الدقة من أجل مراعاة الميزات التي لا تناسبنا في النهج الكلاسيكي؟ هناك تسميات كلاسيكية لهذه المهام المنفصلة. لتقييم مكونات التعرف على الكلام ، يمكننا استخدام مقياس WER الكلاسيكي. هذا هو معدل خطأ في الكلمات. نعتبر ، وفقًا لمعادلة غير معقدة للغاية ، عدد الإدخالات والبدائل وتبديل الكلمة ونقسمها على عدد الكلمات. ونحصل على بعض الخصائص المقدرة لجودة تقديرنا. للهيكل الدلالي ، المكون ، يمكننا ببساطة التفكير في درجة F1. هذا أيضًا بعض المقاييس الكلاسيكية لمشكلة التصنيف. هنا كل شيء زائد أو ناقص واضح. هناك الامتلاء ، هناك دقة. وهذه مجرد وسيلة توافقية بينهما.

ولكن السؤال الذي يطرح نفسه هو كيفية قياس الدقة عندما لا يتطابق نسخ الإدخال ووسيطة الإخراج أو عندما يكون الإخراج بيانات صوتية. اقترحت Google مقياسًا يأخذ في الاعتبار أهمية التنبؤ بالمكون الأول من التعرف على الكلام من خلال تقييم تأثير هذا الاعتراف على المكون الثاني نفسه. أطلقوا عليه Arg WER ، أي أنه يزن WER على كيانات البنية الدلالية.

خذ الطلب: "اضبط المنبه لمدة 5 ساعات." يحتوي هذا الهيكل الدلالي على وسيطة مثل "خمس ساعات" ، وسيطة من نوع "وقت التاريخ". من المهم أن نفهم أنه إذا كان مكون التعرف على الكلام ينتج هذه الوسيطة ، فإن مقياس الخطأ لهذه الوسيطة ، وهو WER ، يكون 0٪. إذا كانت هذه القيمة لا تتوافق مع خمس ساعات ، فسيكون للقياس WER 100٪. وبالتالي ، فإننا ببساطة نعتبر متوسط ​​القيمة الموزونة لجميع الحجج ، وبشكل عام ، نحصل على مقياس تجميعي معين يقدر أهمية أخطاء النسخ التي تنشئ مكون التعرف على الكلام.

اسمحوا لي أن أقدم لكم مثالًا على تجارب Google التي أجرتها في إحدى دراساتها حول هذا الموضوع. استخدموا البيانات من خمسة مجالات ، وخمسة مواضيع: الوسائط ، Media_Control ، الإنتاجية ، البهجة ، لا شيء - مع التوزيع المقابل للبيانات على مجموعات بيانات اختبار التدريب. من المهم أن نلاحظ أن جميع النماذج تم تدريبهم من نقطة الصفر. تم استخدام Cross_entropy ، وكانت المعلمة البحث الشعاع 8 ، والمحسن الذي استخدموه ، بالطبع ، آدم. يعتبر ، بطبيعة الحال ، على سحابة كبيرة من TPU بهم. ما هي النتيجة؟ هذه هي أرقام مثيرة للاهتمام:



لفهم ، Baseline هو النهج الكلاسيكي الذي يتكون من عنصرين ، كما قلنا في البداية. فيما يلي أمثلة على نماذج مباشرة ومتعددة المهام ومتعددة المراحل.

كم نموذجان متعدد المراحل؟ عند تقاطع الجزأين الأول والثاني فقط ، تم استخدام طبقات مختلفة. في الحالة الأولى ، هذا هو ArgMax ، في الحالة الثانية ، SampedSoftmax.

ما يستحق الاهتمام؟ يفقد النهج الكلاسيكي في المقاييس الثلاثة جميعها ، وهي عبارة عن تقدير للتعاون المباشر بين هذين المكونين. نعم ، لسنا مهتمين بكيفية إجراء النسخ بشكل جيد هناك ، نحن مهتمون فقط بمدى جودة العنصر الذي يتنبأ به الهيكل الدلالي. يتم تقييمه بواسطة ثلاثة مقاييس: F1 - حسب الموضوع ، F1 - حسب المقصد و ArgWer ، والتي يتم أخذها بعين الاعتبار من خلال وسيطات الكيانات. يعتبر F1 المتوسط ​​المرجح بين الدقة والكمال. وهذا هو ، المعيار هو 100. ArgWer ، على العكس من ذلك ، لم ينجح ، بل هو خطأ ، وهذا هو ، هنا المعيار هو 0.

تجدر الإشارة إلى أن النماذج المقترنة والمتعددة المهام لدينا تتفوق تمامًا على جميع نماذج التصنيف للمواضيع والنوايا. وللنموذج متعدد المراحل زيادة كبيرة جدًا في إجمالي ArgWer. لماذا هذا مهم؟ لأنه في المهام المرتبطة بفهم الكلام العام ، يكون الإجراء النهائي الذي سيتم تنفيذه في المكون المسؤول عن منطق الأعمال هو المهم. لا يعتمد بشكل مباشر على النسخ التي أنشأتها ASR ، ولكن على جودة مكونات ASR و NLU التي تعمل معًا. لذلك ، يعد الاختلاف في النقاط الثلاث تقريبًا في مقياس argWER مؤشرًا رائعًا للغاية ، مما يدل على نجاح هذا النهج. , .

. Google, , «-», Google Assistant, Apple Siri, Amazon Alexa . Interactive Voice Response. , call-.

, , , SLU. .

, - , , , (.. , ). «».

, . , , . , — «» , . .