مساعدو الصوت لا يدرسون في اختبار تورينج

قبل ثلاث سنوات ، فاز برنامج الدردشة سونيا جوسيف بأول اختبار تورينج باللغة الروسية . بعد ثلاث دقائق من المحادثة ، أخطأها 47٪ من القضاة بأنه شخص. اليوم ، يتنافس المساعدون الصوتيون لـ Yandex و Google في القدرة على التواصل مع العظماء والأقوياء. بالطبع ، لا يحتاج المساعد إلى تقليد شخص ولا يجب أن يخدع أي شخص ، ولكن هل هناك أي شيء للتعلم من أليس والمساعد من سونيا؟

تحت هذا المقطع توجد تعليقات المؤلف على الحوار الحقيقي لروبوت الدردشة مع القاضي في اختبار تورينج ، بالإضافة إلى تحليل مقارن لسلوك مساعدي الصوت الحديث.

تتوفر سجلات الحوار من اختبار تورينج 2015 للجميع . كمثال ، اخترت هذا:

لتحليل ومقارنة Sonya Guseva و Alice و Google Assistant ، أستخدم معايير حوار EASY . لكل معيار ، أقوم بوضع الروبوتات من 1 إلى 3 أماكن ، ثم تلخيص النتائج.

لام - شخصي

تم إنشاء Sonya Guseva خصيصًا لاختبار تورينج. ومثل معظم برامج الدردشة الآلية هذه ، ليس لديها فقط الاسم الأول والأخير ، ولكن أيضًا أسطورة مفصلة ، بما في ذلك معلومات عن الهوايات وأفراد الأسرة ، وما يصل إلى صراعات مع معلمي المدارس (وفقًا للأسطورة ، تبلغ سونيا 12 عامًا وتذهب إلى المدرسة). يمكنك تمييزه بطريقة خاصة لوضع الرموز وتجاهل بعض قواعد الكتابة.

2015-06-03 12:05:54 :    ? 2015-06-03 12:05:54 : ,     :))) 

أليس لديها أيضًا أسطورة خاصة بها ، على الرغم من أنها محدودة إلى حد ما. روحك الدعابة غريبة. ومع ذلك ، يقولون ، إنها تحب كونستانتين خابنسكي.

لكن هوية مساعد Google أقل وضوحًا: ليس لديه اسم حقًا.

وفقًا للمعيار الشخصي ، يتم توزيع الأماكن على النحو التالي: 1 - سونيا ، الفائز في اختبار تورينج ؛ 2 - أليس ؛ 3 - مساعد جوجل.

هـ - طبيعي

تحاكي سونيا الشخص بجد: ترتكب الأخطاء ، وتستخدم الرموز وسلسلة من علامات الترقيم لمزيد من التعبير ، ولا تتكرر أبدًا في محادثة.

 2015-06-03 12:05:24 : ...    ? 2015-06-03 12:05:37 :  2015-06-03 12:05:37 :  , ! 

تحافظ أليس أيضًا على طبيعتها قدر الإمكان ، ولكن بشكل حصري ضمن حدود محو الأمية واللياقة ، على ما يبدو من خلال علامة ياندكس التجارية. يتميز مساعد Google بالحيوية بشكل مختلف: استخدام الابتسامات ، وغياب النقاط في نهاية الجمل ، وعدد قليل من دمى الاستجابة.

أتجاهل طبيعة الكلام المركب ، الذي لا تمتلكه سوني ، وبالطبع أرتب الروبوتات على النحو التالي: 1 - سونيا ، الفائز في اختبار تورينج ؛ 2 - مساعد Google ؛ 3 - أليس.

ز - مرن

سلوك Sonya Guseva محدود بألف قاعدة. لذلك ، لا تتوافق إجابات Sony دائمًا مع السؤال بالضبط. للمقارنة ، كان يوجين غوتمان ( الذي اجتاز اختبار تورينج باللغة الإنجليزية في عام 2014) أكثر بثلاث مرات.

 2015-06-03 12:06:53 :       ? 2015-06-03 12:06:53 :    

كجزء من الحديث ، يتم التحكم في Alice ليس فقط من خلال قواعد مشفرة ، ولكن أيضًا من خلال خوارزميات خاصة تسمح لها بإعطاء إجابات مناسبة للنسخ المتماثلة في مجموعة متنوعة من الصيغ وبالتالي إظهار المرونة. أليس ليست مرنة للغاية في مهاراتها: على سبيل المثال ، عندما تُسأل عما إذا كانت ستمطر غدًا ، بدلاً من إجابة مباشرة ، فإنها تُبلغ عن توقعاتها بعناد.

لا يفهم مساعد Google حتى الآن لغة تبدو بسيطة.

بالمرونة ، تحتل البوتات الأماكن بالترتيب التالي: 1 - Alice؛ 2 - سونيا ، الفائز في اختبار تورينج ؛ 3 - مساعد جوجل.

ك - سياقي

تملأ Sonya Guseva بنشاط سياق المحادثة ، وتطلب معلومات حول المستخدم ثم تستخدمه لاحقًا. إنها تدرك أنها قدمت نفسها بالفعل للمستخدم وتستجيب بشكل مناسب عندما يحاول القاضي تجاهل السياق العام.

 2015-06-03 12:06:35 :    , ? 2015-06-03 12:06:35 :  ,  !!! 

للأسف ، نادرًا ما تستخدم المعلومات السياقية. مساعد Google يستقبلني على الأقل بالاسم.

وفقًا لمعيار السياق ، فإن مواقف البوتات هي كما يلي: 1 - سونيا ، الفائز في اختبار تورينج ؛ 2 - مساعد Google ؛ 3 - أليس.

و - المبادرة

عند تطوير برامج الروبوت للدردشة ، غالبًا ما أتبع قاعدة "وماذا؟": إذا كنت أرغب في قول هذه العبارة بعد نسخة طبق الأصل ، يبدو أن الروبوت ينتهك مبادئ التعاون ويحدث خطأ ما.

باتباع مبدأ "أفضل دفاع هو الهجوم" ، استولت سونيا جوسيفا على المبادرة بجرأة وقادت المحادثة.

 2015-06-03 12:04:25 :    -? 2015-06-03 12:04:43 :  2015-06-03 12:04:43 :     ? 2015-06-03 12:04:54 :  

تقوم أليس أيضًا بمحاولات لإظهار مبادرة مختلطة ، وتطرح أحيانًا أسئلة. ومساعد Google ، على الرغم من أنه يقدم نصائح ، يفضل ترك المبادرة للمحاور.

وفقا لمعيار المبادرة ، يتم توزيع الأماكن على النحو التالي: 1 - سونيا ، الفائز في اختبار تورينج ؛ 2 - أليس ؛ 3 - مساعد جوجل.

عشر - وقصير

تم التحقق من جميع إجابات Sonya بشكل مطول ، ومع ذلك ، تراقب Alice ومساعد Google الكلام أيضًا ويحاولون اتباع قاعدة "نفس واحد" لملاحظاتهم كجزء من الحديث. ولكن في المهارات ، غالبًا ما يتم تجاهل هذا المبدأ.

أعطيت المركز الأول لسونيا ، الفائز في اختبار تورينج ، والثاني تشاركه أليس ومساعد Google.

الخلاصة

بصفتي مؤلفة أحد برامج الروبوت للدردشة ، لم أستطع أن أكون موضوعية ، ونتيجة لذلك ، جاءت Sonya Guseva أولاً. أما المساعدون من ياندكس وجوجل فقد أظهروا نتائج مماثلة. عليك أن تفهم أن أدائهم يعتمد إلى حد كبير على مطوري المهارات من جهات خارجية.

أكرر أن المساعدين الصوتيين لا يحددون لأنفسهم هدف اجتياز اختبار تورينج وهناك حاجة إلى اختبارات أخرى للمقارنة الكاملة. ومع ذلك ، كما يظهر التحليل ، اعتمد منشئو Alice و Google Assistant عند تصميم مربعات الحوار بعض مبادئ روبوتات الدردشة الأولى ، ولدى مطوري التطبيقات بواجهة محادثة الكثير للتعلم من الروبوتات الفائزة.