वॉयस असिस्टेंट एक ट्यूरिंग टेस्ट पर अध्ययन नहीं करते हैं

तीन साल पहले, सोन्या गुसेव चैटबोट ने रूसी में पहला ट्यूरिंग टेस्ट जीता था। तीन मिनट की बातचीत के बाद, 47% न्यायाधीशों ने उसे एक व्यक्ति के लिए गलत समझा। आज, यैंडेक्स और Google के आवाज सहायक महान और शक्तिशाली पर संवाद करने की क्षमता में प्रतिस्पर्धा कर रहे हैं। बेशक, सहायक किसी व्यक्ति की नकल करने के लिए बाध्य नहीं है और उसे किसी को धोखा नहीं देना चाहिए, लेकिन क्या ऐलिस और सोन्या के सहायक से कुछ सीखना है?

कट के तहत ट्यूरिंग परीक्षण में न्यायाधीश के साथ चैट बॉट की वास्तविक बातचीत पर लेखक की टिप्पणी है, साथ ही साथ आधुनिक आवाज सहायकों के व्यवहार का तुलनात्मक विश्लेषण भी है।

2015 ट्यूरिंग टेस्ट से डायलॉग लॉग सभी के लिए उपलब्ध हैं । एक उदाहरण के रूप में, मैंने इसे चुना:

सोन्या गुसेवा, ऐलिस और Google सहायक का विश्लेषण और तुलना करने के लिए, मैं एक EASY संवाद के मानदंड का उपयोग करता हूं। प्रत्येक मानदंड के लिए, मैं 1 से 3 स्थानों पर बॉट लगाता हूं, और फिर परिणामों को संक्षेप में प्रस्तुत करता हूं।

एल - व्यक्तिगत

सोन्या गुसेवा को विशेष रूप से ट्यूरिंग टेस्ट के लिए बनाया गया था। और ऐसे अधिकांश चैटबॉट की तरह, उसका न केवल पहला और अंतिम नाम है, बल्कि एक विस्तृत किंवदंती भी है, जिसमें शौक, परिवार के सदस्यों की जानकारी, स्कूल के शिक्षकों के साथ संघर्ष तक (पौराणिक कथा के अनुसार, सोन्या 12 साल की है और वह स्कूल जाती है)। आप इसे एक विशेष तरीके से इमोटिकॉन्स लगाने और लेखन के कुछ नियमों को अनदेखा करने के लिए अलग कर सकते हैं।

2015-06-03 12:05:54 :    ? 2015-06-03 12:05:54 : ,     :))) 

एलिस की भी अपनी किंवदंती है, हालांकि कुछ हद तक सीमित है। इसमें अजीबोगरीब भाव है। फिर भी, वे कहते हैं, वह कॉन्स्टेंटिन खाबेंस्की के साथ प्यार में है।

लेकिन Google सहायक की पहचान कम स्पष्ट है: उसका वास्तव में नाम नहीं है।

व्यक्तिगत मानदंड के अनुसार, स्थानों को निम्नानुसार वितरित किया जाता है: 1 - सोन्या, ट्यूरिंग टेस्ट के विजेता; 2 - ऐलिस; 3 - Google सहायक।

ई - प्राकृतिक

सोन्या ने दिल से एक व्यक्ति की नकल की: गलतियाँ करता है, इमोटिकॉन्स का उपयोग करता है और अधिक स्पष्टता के लिए विराम चिह्नों की एक श्रृंखला का उपयोग करता है, कभी भी बातचीत में दोहराता नहीं है।

 2015-06-03 12:05:24 : ...    ? 2015-06-03 12:05:37 :  2015-06-03 12:05:37 :  , ! 

ऐलिस खुद को यथासंभव स्वाभाविक रूप से रखता है, लेकिन विशेष रूप से साक्षरता और शालीनता की सीमाओं के भीतर, जाहिर तौर पर यांडेक्स ब्रांड द्वारा इंगित किया गया है। Google सहायक सुखद अलग आजीविका है: मुस्कुराहट का उपयोग, वाक्यों के अंत में डॉट्स की अनुपस्थिति और कुछ प्रतिक्रिया डमी।

मैं संश्लेषित भाषण की स्वाभाविकता को अनदेखा करता हूं, जो सोनी के पास नहीं है, और स्वाभाविकता से मैं बॉट्स की व्यवस्था इस प्रकार करता हूं: 1 - सोन्या, ट्यूरिंग टेस्ट की विजेता; 2 - Google सहायक; 3 - ऐलिस।

जी - लचीला

सोन्या गुसेवा का व्यवहार एक हजार नियमों द्वारा सीमित है। इसलिए, सोनी के जवाब हमेशा सवाल के अनुरूप नहीं होते हैं। तुलना के लिए, यूजीन गुस्टमैन ( जिन्होंने 2014 में अंग्रेजी में ट्यूरिंग टेस्ट पास किया था) के पास तीन गुना अधिक था।

 2015-06-03 12:06:53 :       ? 2015-06-03 12:06:53 :    

बात के हिस्से के रूप में, ऐलिस को न केवल कठिन-कूट नियमों द्वारा नियंत्रित किया जाता है, बल्कि विशेष एल्गोरिदम द्वारा भी किया जाता है जो उसे विभिन्न प्रकार के योगों में प्रतिकृतियों के लिए उपयुक्त उत्तर देने की अनुमति देता है और इस प्रकार लचीलापन प्रदर्शित करता है। ऐलिस अपने कौशल में इतना लचीला नहीं है: उदाहरण के लिए, जब पूछा गया कि क्या कल बारिश होगी, तो सीधे जवाब के बजाय, वह सख्ती से पूर्वानुमान की रिपोर्ट करती है।

Google सहायक को अभी तक सरल भाषा भी समझ में नहीं आती है।

लचीलेपन से, बॉट निम्नलिखित क्रम में स्थानों पर कब्जा कर लेते हैं: 1 - ऐलिस; 2 - सोन्या, ट्यूरिंग टेस्ट की विजेता; 3 - Google सहायक।

के - प्रासंगिक

सोन्या गुसेवा बातचीत के संदर्भ को सक्रिय रूप से भरता है, उपयोगकर्ता के बारे में जानकारी और बाद में इसका उपयोग करने का अनुरोध करता है। वह समझती है कि उसने पहले ही उपयोगकर्ता को अपना परिचय दे दिया है और जब न्यायाधीश सामान्य संदर्भ को नजरअंदाज करने की कोशिश करता है तो वह पर्याप्त रूप से जवाब देती है।

 2015-06-03 12:06:35 :    , ? 2015-06-03 12:06:35 :  ,  !!! 

ऐलिस, अफसोस, शायद ही कभी प्रासंगिक जानकारी का उपयोग करता है। Google सहायक कम से कम मुझे नाम से अभिवादन करता है।

संदर्भ मानदंड के अनुसार, बॉट की स्थिति निम्नानुसार है: 1 - सोन्या, ट्यूरिंग टेस्ट के विजेता; 2 - Google सहायक; 3 - ऐलिस।

और - पहल

चैट बॉट विकसित करते समय, मैं अक्सर नियम का पालन करता हूं "और क्या?": अगर एक बॉट प्रतिकृति के बाद मैं इस वाक्यांश को कहना चाहता हूं, तो जाहिर है कि रोबोट सहयोग के सिद्धांतों का उल्लंघन करता है और कुछ गलत हो जाता है।

"सबसे अच्छा बचाव एक हमला है" सिद्धांत के बाद, सोनिया गुसेवा साहसपूर्वक पहल को जब्त करती है और बातचीत का नेतृत्व करती है।

 2015-06-03 12:04:25 :    -? 2015-06-03 12:04:43 :  2015-06-03 12:04:43 :     ? 2015-06-03 12:04:54 :  

एलिस भी मिश्रित पहल को प्रदर्शित करने के लिए प्रयास करता है, कभी-कभी सवाल पूछते हुए। और गूगल असिस्टेंट, हालांकि यह टिप्स देता है, पहल करने के लिए वार्ताकार को छोड़ देता है।

पहल की कसौटी के अनुसार, स्थानों को निम्नानुसार वितरित किया जाता है: 1 - सोन्या, ट्यूरिंग टेस्ट के विजेता; 2 - ऐलिस; 3 - Google सहायक।

थ - और छोटा

सोन्या के सभी जवाब लंबाई में सत्यापित हैं, हालांकि, ऐलिस और Google सहायक भी भाषण की निगरानी करते हैं और, बात के हिस्से के रूप में, उनकी टिप्पणियों के लिए "एक सांस" नियम का पालन करने का प्रयास करते हैं। लेकिन कौशल में, इस सिद्धांत को अक्सर नजरअंदाज कर दिया जाता है।

मैं ट्यूरिंग परीक्षण के विजेता सोन्या को पहला स्थान देता हूं, और दूसरा ऐलिस और Google सहायक द्वारा साझा किया जाता है।

निष्कर्ष

चैट बॉट में से एक के लेखक के रूप में, मैं वस्तुनिष्ठ नहीं हो सकता था, परिणामस्वरूप, सोन्या गुसेवा पहले स्थान पर आया। यैंडेक्स और Google के सहायकों के लिए, उन्होंने समान परिणाम दिखाए। आपको यह समझने की आवश्यकता है कि उनका प्रदर्शन मोटे तौर पर तीसरे पक्ष के कौशल डेवलपर्स पर निर्भर करता है।

मैं दोहराता हूं कि आवाज सहायकों ने खुद को ट्यूरिंग टेस्ट पास करने का लक्ष्य निर्धारित नहीं किया है और उनकी पूरी तुलना के लिए अन्य जांच की आवश्यकता है। हालांकि, जैसा कि विश्लेषण से पता चलता है, संवाद डिजाइन करते समय ऐलिस और गूगल असिस्टेंट के रचनाकारों ने पहले चैट बॉट के कुछ सिद्धांतों को अपनाया, और एक संवादी इंटरफ़ेस वाले एप्लिकेशन डेवलपर्स को जीतने वाले बॉट्स से बहुत कुछ सीखना है।