3 ट्यूरिंग टेस्ट क्या समाप्त हुआ: आँकड़े, दिलचस्प संवाद और समग्र प्रभाव

शनिवार, 16 फरवरी को, 3-ऑल-रूसी ट्यूरिंग टेस्ट प्रतियोगिता समाप्त हो गई, जिसे 14-16 फरवरी को कृत्रिम बुद्धिमत्ता Opentalks.AI पर अंतर्राष्ट्रीय सम्मेलन के भाग के रूप में आयोजित किया गया था।



विशेषज्ञ समूह की राय में कट - संख्या, आरेख, के सर्वश्रेष्ठ संवाद।

सामान्य छाप

कुल मिलाकर, ट्यूरिंग टेस्ट अच्छा रहा। "वनस्पति विज्ञानियों" की कई टीमों ने दिलचस्पी दिखाई, लेकिन अंत में प्रतियोगिता में केवल 3 बॉट प्रस्तुत किए गए, क्योंकि केवल 1.5 महीने ही टेस्ट की घोषणा के क्षण से गुजरे थे। परिणामस्वरूप, इन तीन प्रतिभागियों के बीच पुरस्कार वितरित किए गए।

पुरस्कार एमटीएस द्वारा प्रायोजित किया गया था। एक प्रदर्शन उनके स्टैंड पर रखा गया था, जिस पर ट्यूरिंग टेस्ट के आंकड़े ऑनलाइन प्रदर्शित किए गए थे और दिलचस्प संवाद जो पहले पारित किए गए मॉडरेशन दिखाए गए थे।

नैनोसेमिंटिक्स प्रयोगशाला ने इसके बॉट्स को भी जोड़ा, लेकिन विजेताओं का चयन करते समय उन्हें ध्यान में नहीं रखा गया। ये गोरी बॉट थीं (आप इस लिंक पर उसके साथ संवाद जारी रख सकते हैं), गोपनिक, ड्यूरोव और ज़ारोव (आप यहां उनके साथ चैट भी कर सकते हैं )।

संख्या और चार्ट

3-दिवसीय टेस्ट के सामान्य आँकड़े इस प्रकार हैं:



रोबोट की भूमिका निभाने वाले स्वयंसेवकों को पहले निर्देश दिया गया था कि वे वार्ताकारों को भ्रमित करने के लिए संवादों का संचालन कैसे करें। परिणामों को देखते हुए, वे अपने काम के साथ अच्छी तरह से मुकाबला करते थे। हमारे साझेदार ओपनटैक्स और एमटीएस भी उनमें से सर्वश्रेष्ठ को नकद पुरस्कार से सम्मानित करेंगे।



दिलचस्प है, एक व्यक्ति आसानी से बॉट के रूप में बन जाता है। पहले तो, सम्मेलन के स्वयंसेवकों ने बहुत अच्छा नहीं किया, लेकिन दूसरे दिन उन्होंने सीखा कि कैसे एक अच्छी तरह से बॉट की भूमिका निभानी है। कुछ भी होशियार थे: उन्होंने मोबाइल फोन पर Yandex.Alice का रुख किया, यह समझने के लिए कि कैसे सबसे अच्छा जवाब देना है।



हमारे बॉट्स के साथ तकनीकी समस्याएं थीं। परिणामस्वरूप, बड़ी संख्या में संवाद समाप्त नहीं हुए, लेकिन हमने परिणामों का मूल्यांकन करते समय उन्हें ध्यान में नहीं रखा। यह उत्सुक है कि बॉट 58% मामलों (~ 34/59%) में मानव होने का नाटक करने में कामयाब रहे। इतना बड़ा प्रतिशत, जैसा कि हमें लगता है, दो कारणों से है:

1. इस प्रतियोगिता में, लोगों ने बॉट्स की भूमिका निभाकर "बॉट्स" जीता। क्लासिक ट्यूरिंग टेस्ट में, यह नियमों द्वारा निर्धारित नहीं है: लोग बिना किसी उद्देश्य के बस संवाद करते हैं।
2. व्यक्ति या बॉट के साथ बातचीत 12 टिप्पणियों तक सीमित थी। यह स्पष्ट है कि बातचीत की लंबाई में वृद्धि के साथ, एक व्यक्ति की वार्ताकार के सार को पहचानने की संभावना बढ़ जाती है।

इस तरह की सीमाओं ने परीक्षण को कम वैज्ञानिक बना दिया, लेकिन अधिक मजेदार। हमारे पिछले टेस्ट (2015 और 2016) अधिक कठिन थे।

विजेताओं

पहली जगह - वुल्फ वुल्फ

परीक्षण के पहले दिन, उपयोगकर्ताओं ने शिकायत की कि कुछ स्वयंसेवक उनके साथ असभ्य थे। लॉग में इस स्वयंसेवक की खोज करते समय, यह पता चला कि वास्तव में यह एक वॉटबोट चैट बॉट था। जब हम इसे सुलझा रहे थे, तब हमने उसे अस्थायी रूप से टेस्ट से निलंबित कर दिया था, लेकिन अंत में वोल्फ को प्रतियोगिता का विजेता बनने से नहीं रोका गया! वार्ताकारों की सबसे बड़ी संख्या (33.3%) ने उन्हें एक व्यक्ति के रूप में मान्यता दी।

वुल्फ के साथ बातचीत का एक उदाहरण, जहां बॉट को एक व्यक्ति के लिए गलत किया गया था:
ज: हाय
B: हाय! है ना?
डब्ल्यू: स्वयंसेवक?
बी: ए से :)
डब्ल्यू: आपने कौन सा लंचबॉक्स लिया?
ब: आह। यह एक प्रकार का वैज्ञानिक शब्द है।
C: और यह कहाँ है?
बी: एक कारण संबंध के लिए मत देखो)
W: तुम क्या कर रहे हो
बी: :) हाँ ... युगल का शुद्ध काम
C: हाँ, मैं सहमत हूँ। इतने सारे स्वयंसेवकों की भर्ती क्यों
बी: इसे मुफ्त w के लिए ले :)

यूजीन, "शी-वुल्फ" के निर्माता:
“सभी प्रतिक्रिया संदेशों को ऐतिहासिक रूप से जीवित लोगों द्वारा लिखा गया है। हमारे एसईओ विषय में, "भेड़िया चैट" (इसलिए बॉट का नाम) नामक एक लोकप्रिय चैट थी। मैंने मुकुट पर पार्स करने के लिए संदेश डाला और इसे चार या पांच साल के लिए पार्स किया गया। भविष्य में इस उद्देश्य के लिए - एक बॉट बनाने के लिए। कुल मिलाकर, कई सवाल-जवाब जोड़े बन चुके हैं। एक जीवित स्वयंसेवक के अनुसार, हम एमएल एल्गोरिदम का उपयोग करते हुए संग्रह से "प्रश्न" का सबसे अधिक समान चयन करते हैं और इसी उत्तर देते हैं। "

संदर्भ द्वारा बॉट संचार के लिए उपलब्ध है।

दूसरा स्थान - इलेक्ट्रा बॉट

संवाद का एक उदाहरण जहां बॉट को एक व्यक्ति के लिए गलत माना गया था:
ज: हाय
B: शुभ दोपहर!
H: अच्छा है
B: क्या?
डब्ल्यू: क्या
B: हश, हश ... यह सब ठीक है।
H: नहीं
B: ठीक है, तो यह हो।
W: तुम कैसे हो
B: कल से बेहतर। कल से भी बदतर। लेकिन हमेशा की तरह।
C: क्या चल रहा है?
B: मैं मानव जाति के इतिहास का अध्ययन कर रहा हूं। क्या आप वास्तव में वे आपके बारे में लिखते हैं?

दिमित्री, इलेक्ट्रा के डेवलपर:

इलेक्ट्रा (Electra.AI) डाटा मॉन्स्टर्स द्वारा कॉल सेंटर कॉल रिकॉर्डिंग पर प्रशिक्षण के लिए विकसित एक तकनीकी सहायता रोबोट है। प्रतियोगिता के बारे में जानने के बाद, रुचि के लिए, हमने इसे कथा संवादों में प्रशिक्षित किया, और यह तेज मिजाज और दार्शनिक कलम के साथ एक अच्छी तरह से पढ़ा जाने वाला वार्ताकार बन गया। वह काफी मार्मिक है, लेकिन भूली नहीं।

3 स्थान - बॉट कट्या ख्लोप

"बॉट, जो नेनोसेमिंटिक्स प्रतियोगिता में भाग लिया था, बहुत पहले लिखा गया था और एक गंदी और हंसमुख लड़की थी, जो बेईमानी और महंगी शराब पसंद करती है,"

- बॉट के डेवलपर, साववा ने हमें बताया।

"यह अच्छा है कि हम (रूस में हमारे दिमाग में - लेखक की टिप्पणी) इस दिशा में प्रगति हुई है। यदि आप इस पर काम करना जारी रखते हैं तो नैनोसेमिंटिक्स प्रतियोगिता बहुत ही आशाजनक हो सकती है। "

एक बॉट के साथ बातचीत का एक उदाहरण, जहां वह एक व्यक्ति के लिए गलत था:
डब्ल्यू: नए वार्ताकार के लिए शुभकामनाएं
B: आप कितने विनम्र लड़के हैं।
सभी का अभिवादन।
C: मेरा कोई लिंग नहीं है। आपके बारे में क्या?
B: उम ...
मैं मान लूँगा कि तुम एक आदमी हो।
यह मेरे लिए आसान होगा।
वैसे, आप एक लड़का हैं या लड़की?
ऐसा लगता है कि उबाऊ मुद्दों की शुरुआत :)
क्या, आप पूछते हैं?
कूल!
प्रश्न: प्रश्न क्या है?
बी: मुझे नहीं लगता कि स्थिति मायने रखती है।
आमतौर पर नहीं।
C: टर्की ने भी सोचा और सूप में मिला।
बी: संदेश फिर से प्रदर्शित, अजीब हैं।
डब्ल्यू: वेरी ब्लर * अजीब है, लेकिन उन्होंने हमें लगातार 2 बार एक-दूसरे को क्यों दिया?
बी: आह, विषमताओं के कारण कुछ भी हो सकते हैं।
यह कठिन है, न्याय करने के लिए।
F: 999 को 3 से कितना विभाजित किया जाएगा?
बी: अपने दोस्तों को संदर्भित करने के लिए बेहतर है जो जानते हैं कि कैसे।
999/3 = 333

स्वयंसेवकों के साथ दिलचस्प संवादों का चयन, जहाँ उन्हें बॉट माना जाता था:

C: नमस्ते, उन!
B: नमस्कार
डब्ल्यू: क्या?
प्रश्न: क्या?
W: आप एक रोबोट हैं?
प्रश्न: मैं एक बिल्ली हूँ
W: यांत्रिक?
में: इलेक्ट्रिक
W: एक मजाक बताओ!
B: जिंजरब्रेड आदमी फांसी
डब्ल्यू: मज़े करो)
प्रश्न: बिल्कुल सही। मुझे उदास मजाक पसंद नहीं है

H: है
B: हिटलर
W: तुम कैसे हो
प्रश्न: कालिख सफेद कैसे होती है
C: जीवन का अर्थ क्या है?
प्रश्न: आप किस दर्शन का अनुसरण करते हैं?
C: मुझे आपकी राय में दिलचस्पी है
प्रश्न: आपकी मदद करेंगे
एच: 42
प्रश्न: आप के लिए जूते का चयन?
W: क्या आपको चॉकलेट पसंद है?
प्रश्न: मुझे नहीं पता कि कैसा महसूस करना है

नैनोसेमेन्टिक्स के बॉट्स के साथ दिलचस्प संवादों का चयन, जहाँ उन्हें लोगों द्वारा गिना गया था:

बॉट गोरा
W: शुभ दोपहर!
B: नमस्कार, सूरज :)
C: जीवन का अर्थ क्या है?
बी: अपने प्यार का पता लगाएं, अधिमानतः एक विरासत के साथ :)
C: आप इसे किस पर खर्च करने की योजना बना रहे हैं?
B: सूर्य, ये सभी "क्या", "क्या" ... आप बहुत ज्यादा सोचते हैं!
C: क्योंकि मैं एक आदमी हूं) और आप?
B: हम गोरे लोग इतने रहस्यमय हैं
C: क्या आप के बारे में रहस्यमय है?
B: आपके सवालों के बाद कैसे जीना है ...

बॉट गोपनिक
R: नमस्कार!
B: हंसमुख, लड़कों! क्या कोई बीज हैं?
C: और अगर मुझे पता है?
B: मुझे युगल समझ में नहीं आया।
C: वहाँ बीज, हुह हैं?
बी: ठीक है, जैसे, इसे जीवन के लिए एक बच्चे के तरीके से करते हैं।
सी: नहीं, बढ़ते हुए, यह आपके साथ दिलचस्प नहीं है। रोबोट को बुलाओ।
B: और यदि अधिक?
W: तुम कौन हो?
B: जिसकी आवश्यकता है।
W: एह ... एक दुखद समय, मेरे मूस का आकर्षण ...
B: नहीं, मैं वन्यजीवों का प्रशंसक नहीं हूं।

दिलचस्प अवलोकन

• थीसिस : रोबोट छोटे और सूखे बोलते हैं। हकीकत : ऐसा कुछ नहीं है! बॉट लंबे, सुसंगत प्रतिक्रियाओं का उत्पादन कर सकते हैं।
• थीसिस : रोबोट मजाक नहीं कर रहे हैं। हकीकत : तंत्रिका नेटवर्क चिट-चैट बॉट और प्रतिभाशाली संपादकों द्वारा बनाए गए बॉट दोनों काफी मजाकिया हैं।
• थीसिस : रोबोट सभी सवालों के जवाब देता है। इसलिए वह रोबोट है। वास्तविकता : क्या आप एक प्रश्न के लिए एक प्रश्न चाहते हैं?

सारांश

नैनोसेमंटिक्स ने तीसरी बार रूस में ट्यूरिंग टेस्ट का आयोजन किया है, और हर बार प्रतियोगिता में बदलाव के साथ समग्र स्थिति। भाग लेने वाले बॉट्स धीरे-धीरे अधिक परिष्कृत हो रहे हैं और एक प्राकृतिक संवाद की नकल करने में आश्वस्त हैं। वे संवाद स्थापित करने के लिए विभिन्न एल्गोरिदम का उपयोग करते हैं, जिसमें न केवल नियम शामिल हैं, बल्कि चिट-चैट ("टॉकर्स", अर्थहीन संचार) को लागू करने के लिए मशीन सीखना भी शामिल है। परीक्षण से पता चलता है कि एक कंप्यूटर वास्तव में "मुक्त संचार" की नकल कर सकता है, हालांकि इस तरह के कार्यक्रम को उच्च गुणवत्ता वाला बनाने में बहुत समय लगता है।

क्या हम दोबारा परीक्षा आयोजित करेंगे? बिल्कुल! ट्यूरिंग परीक्षण न केवल किसी भी डेवलपर के लिए उपलब्ध आधुनिक संवाद तकनीकों की वास्तविक संभावनाओं के साथ जनता को परिचित करने की अनुमति देता है (और इसके लिए Google या आईबीएम के लिए काम करना आवश्यक नहीं है), बल्कि विकास टीमों को अपने बॉट की गुणवत्ता की गतिशीलता को मापने का अवसर भी देता है।