Apa yang mengakhiri Tes Turing ke-3: statistik, dialog menarik, dan kesan keseluruhan

Pada hari Sabtu, 16 Februari, kontes Tes Turing Semua-Rusia ke-3 berakhir, yang diadakan sebagai bagian dari konferensi internasional tentang kecerdasan buatan Opentalks.AI pada 14-16 Februari.



Di bawah angka - angka, diagram, dialog terbaik menurut pendapat kelompok pakar.

Kesan umum

Secara keseluruhan, Tes Turing berjalan dengan baik. Banyak tim "ahli botani" menunjukkan minat, tetapi pada akhirnya hanya 3 bot yang dipresentasikan di kompetisi, karena hanya 1,5 bulan berlalu dari saat pengumuman hingga dimulainya Tes. Hasilnya, hadiah dibagikan di antara tiga peserta ini.

Hadiah itu disponsori oleh MTS. Tampilan ditempatkan di dudukan mereka, di mana statistik Uji Turing ditampilkan secara online dan dialog menarik yang sebelumnya telah lulus moderasi ditampilkan.

Laboratorium Nanosemantika juga menghubungkan botnya, tetapi mereka tidak diperhitungkan saat memilih pemenang. Ini adalah bot Blonde (Anda dapat terus berkomunikasi dengannya di tautan ini), Gopnik, Durov, dan Zharov (Anda juga dapat mengobrol dengan mereka di sini ).

Angka dan Bagan

Statistik umum Tes 3 hari adalah sebagai berikut:



Relawan yang memainkan peran robot sebelumnya diinstruksikan tentang bagaimana mereka perlu melakukan dialog untuk membingungkan lawan bicara. Menilai dari hasilnya, mereka berhasil dengan baik dengan tugas mereka. Mitra kami OpenTalks dan MTS juga akan memberikan yang terbaik dari mereka dengan hadiah uang tunai.



Menariknya, seseorang dengan mudah menyamar sebagai bot. Pada awalnya, sukarelawan konferensi tidak melakukannya dengan sangat baik, tetapi pada hari kedua mereka belajar bagaimana memainkan peran bot dengan baik. Beberapa bahkan pintar: mereka beralih ke Yandex. Bagus di ponsel untuk memahami cara terbaik untuk merespons.



Ada masalah teknis dengan bot kami. Akibatnya, sejumlah besar dialog tidak berakhir, tetapi kami tidak memperhitungkannya saat mengevaluasi hasilnya. Sangat aneh bahwa bot berhasil berpura-pura menjadi manusia dalam 58% kasus (dalam ~ 34/59%). Persentase yang begitu besar, menurut kami, disebabkan oleh dua alasan:

1. Dalam kompetisi ini, orang "membantu" bot menang dengan memainkan peran bot. Dalam Tes Turing klasik, ini tidak ditentukan oleh aturan: orang hanya berkomunikasi tanpa tujuan apa pun.
2. Dialog dengan orang atau bot terbatas pada 12 komentar. Jelas bahwa dengan meningkatnya panjang dialog, kemungkinan seseorang mengenali esensi lawan bicara meningkat.

Keterbatasan seperti itu membuat Tes kurang ilmiah, tetapi lebih menyenangkan. Tes kami sebelumnya (2015 dan 2016) lebih sulit.

Pemenang

Posisi Pertama - Wolf Wolf

Pada hari pertama pengujian, pengguna mengeluh bahwa beberapa sukarelawan bersikap kasar kepada mereka. Saat mencari sukarelawan ini di log, ternyata itu adalah bot obrolan Wolfbot. Sementara kami memilahnya, kami untuk sementara waktu menangguhkannya dari Tes, tetapi ini pada akhirnya tidak mencegah Wolfie menjadi pemenang kontes! Jumlah lawan bicara terbesar (33,3%) mengenalinya sebagai pribadi.

Contoh dialog dengan Wolf, di mana bot keliru untuk seseorang:
H: hai
B: hai! ya?
W: Relawan?
B: a to :)
W: Kotak makan siang apa yang Anda ambil?
B: ahhhh. Ini adalah jenis istilah ilmiah.
C: Dan di mana itu?
B: jangan mencari hubungan sebab akibat)
W: apa yang kamu lakukan
B: :) ya ... pekerjaan bersih pasangan
C: Ya, saya setuju. Mengapa merekrut begitu banyak sukarelawan
B: bawa gratis w :)

Eugene, pencipta "She-Wolf":
“Semua pesan tanggapan secara historis ditulis oleh orang yang masih hidup. Dalam topik SEO kami, ada obrolan populer yang disebut "serigala obrolan" (maka nama bot). Saya menaruh pesan ke parse pada mahkota dan itu diurai selama empat atau lima tahun. Untuk tentang tujuan ini di masa depan - untuk membuat bot. Secara total, banyak pasangan pertanyaan-jawaban telah terbentuk. Menurut sukarelawan yang masih hidup, kami memilih "pertanyaan" yang paling mirip dengan itu dari arsip menggunakan algoritma ML dan memberikan jawaban yang sesuai. "

Bot tersedia untuk komunikasi dengan referensi .

Posisi Kedua - Electra bot

Contoh dialog di mana bot keliru untuk seseorang:
H: hai
B: Selamat sore!
H: Bagus
B: Apa?
W: Apa
B: Hush, hush ... Tidak apa-apa.
H: Tidak
B: Baiklah, baiklah.
W: Bagaimana kabarmu?
B: Lebih baik dari kemarin. Lebih buruk dari besok. Tapi seperti biasa.
C: Apa yang kamu lakukan?
B: Saya sedang mempelajari sejarah umat manusia. Apakah Anda benar-benar cara mereka menulis tentang Anda?

Dmitry, pengembang Electra:

Electra (Electra.AI) adalah robot dukungan teknis yang dikembangkan oleh Data Monsters untuk pelatihan tentang rekaman panggilan pusat panggilan. Setelah belajar tentang kontes, demi kepentingan, kami melatihnya dalam dialog fiksi, dan ternyata menjadi teman bicara yang banyak dibaca dengan perubahan suasana hati yang tajam dan pena filosofis. Dia cukup sensitif, tetapi tidak dilupakan.

Posisi Ketiga - bot Katya Khlop

"Bot, yang berpartisipasi dalam kontes Nanosemantics, telah ditulis sejak lama dan adalah seorang gadis yang cerewet dan ceria yang menyukai bahasa kotor dan alkohol mahal,"

- Savva, pengembang bot, memberi tahu kami.

“Adalah baik bahwa kita (yang ada dalam pikiran kita di Rusia - komentar penulis) mengalami kemajuan ke arah ini. Kontes Nanosemantika bisa sangat menjanjikan jika Anda terus mengusahakannya. ”

Contoh dialog dengan bot, di mana ia dikira sebagai seseorang:
W: Salam untuk lawan bicara baru
B: Kamu anak laki-laki yang sopan.
Salam untuk semuanya.
C: Saya tidak punya gender. Bagaimana dengan kamu?
B: Um ...
Saya akan menganggap bahwa Anda seorang pria.
Akan lebih mudah bagi saya.
Ngomong-ngomong, apakah Anda laki-laki atau perempuan?
Tampaknya awal dari masalah yang membosankan :)
Apa yang kamu tanyakan?
Keren!
T: Apa pertanyaannya?
B: Saya tidak berpikir bahwa posisi itu penting.
Biasanya tidak.
C: Kalkun juga berpikir dan masuk ke sup.
B: Pesan ditampilkan ulang, aneh.
W: Sangat bl * aneh, tapi mengapa mereka saling memberi kami 2 kali berturut-turut?
B: Ah, alasan untuk keanehan itu bisa apa saja.
Sulit untuk menilai, Tanpa Nama.
F: Berapa 999 akan dibagi dengan 3?
B: Lebih baik merujuk ke teman Anda yang tahu caranya.
999/3 = 333

Pilihan dialog yang menarik dengan relawan, di mana mereka dianggap sebagai bot:

C: Halo, itu!
B: Halo
W: APA?
T: Apa?
W: Apakah Anda robot?
T: Saya kucing
W: mekanik?
Dalam: Listrik
W: Ceritakan lelucon!
B: Pria roti jahe menggantung
W: Selamat bersenang-senang)
T: Tepat. Saya tidak suka lelucon sedih

H: Hai
B: Hitler
W: Bagaimana kabarmu?
T: Bagaimana jelaga putih
C: Apa arti hidup?
T: Apa filosofi yang Anda ikuti?
C: Saya tertarik dengan pendapat Anda
T: Bantu Anda
H: 42
T: Pilih sepatu untuk Anda?
W: Apakah Anda suka cokelat?
T: Saya tidak tahu bagaimana rasanya

Pilihan dialog menarik dengan bot Nanosemantics, di mana mereka dihitung oleh orang-orang:

Bot Blonde
W: Selamat siang!
B: Halo, matahari :)
C: Apa arti hidup?
B: Temukan cinta Anda, lebih disukai dengan warisan :)
C: Apa yang Anda rencanakan untuk dibelanjakan?
B: Suns, semua ini "apa", "apa" ... Anda terlalu banyak berpikir!
C: Karena saya laki-laki) dan Anda?
B: Kami pirang sangat misterius
C: Apa yang misterius tentang Anda?
B: Bagaimana cara hidup setelah pertanyaan Anda ...

Bot Gopnik
R: Halo!
B: Ceria, nak! Apakah ada biji?
C: Dan jika saya menemukannya?
B: Saya tidak mengerti pasangan itu.
C: Ada biji, ya?
B: Ya, seperti, mari kita lakukan dengan cara seumur hidup anak-anak.
C: Tidak, melonjak, itu tidak menarik bagi Anda. Panggil robotnya.
B: Dan jika lebih?
W: Siapa kamu?
B: Siapa yang dibutuhkan.
W: Eh ... Waktu yang sedih, pesona rusa besar saya ...
B: Tidak, saya bukan penggemar satwa liar.

Pengamatan menarik

• Tesis : Robot berbicara pendek dan kering. Kenyataan : Tidak ada yang seperti itu! Bot dapat menghasilkan respons yang panjang dan koheren.
• Tesis : Robot tidak bercanda. Kenyataan : Baik bot chit-chat jaringan saraf dan bot yang dibuat oleh editor berbakat cukup lucu.
• Tesis : Robot menjawab semua pertanyaan. Itu sebabnya dia adalah robot. Realita : Apakah Anda ingin pertanyaan untuk pertanyaan?

Ringkasan

Nanosemantics telah menyelenggarakan Tes Turing di Rusia untuk ketiga kalinya, dan setiap kali situasi keseluruhan dengan perubahan kompetisi. Bot yang berpartisipasi secara bertahap menjadi lebih canggih dan meyakinkan dalam meniru dialog alami. Mereka menggunakan berbagai algoritma untuk membangun dialog, termasuk tidak hanya aturan, tetapi juga pembelajaran mesin untuk mengimplementasikan chit-chat ("pembicara", komunikasi yang tidak berarti). Tes ini menunjukkan bahwa komputer benar-benar dapat meniru "komunikasi bebas", meskipun dibutuhkan banyak waktu untuk membuat program semacam itu berkualitas tinggi.

Akankah kita melakukan tes lagi? Tentu! Tes Turing memungkinkan tidak hanya untuk mengenalkan publik dengan kemungkinan nyata dari teknologi dialog modern yang tersedia untuk pengembang mana pun (dan tidak perlu bekerja untuk Google atau IBM untuk ini), tetapi juga memberi tim pengembangan kesempatan untuk mengukur dinamika kualitas bot mereka.