O que terminou o terceiro teste de Turing: estatísticas, diálogos interessantes e impressão geral

No sábado, 16 de fevereiro, terminou o terceiro concurso de teste de Turing para toda a Rússia, realizado como parte da conferência internacional sobre inteligência artificial Opentalks.AI, de 14 a 16 de fevereiro.



Sob os números de corte, diagramas, os melhores diálogos na opinião do grupo de especialistas.

Impressão geral

No geral, o Teste de Turing foi bem. Muitas equipes de "botânicos" mostraram interesse, mas no final apenas 3 bots foram apresentados na competição, já que apenas 1,5 meses se passaram desde o momento do anúncio até o início do Teste. Como resultado, os prêmios foram distribuídos entre esses três participantes.

O prêmio foi patrocinado pelo MTS. Um estande foi colocado em seu estande, no qual as estatísticas do Teste de Turing foram exibidas on-line e diálogos interessantes que haviam passado anteriormente na moderação foram mostrados.

O Nanosemantics Laboratory também conectou seus bots, mas eles não foram levados em consideração na escolha dos vencedores. Estes eram os robôs loiros (você pode continuar se comunicando com ela neste link ), Gopnik, Durov e Zharov (você também pode conversar com eles aqui ).

Números e gráficos

As estatísticas gerais do teste de 3 dias são as seguintes:



Os voluntários que desempenharam o papel de robôs foram previamente instruídos sobre como precisavam conduzir diálogos para confundir os interlocutores. A julgar pelos resultados, eles lidaram bem com sua tarefa. Nossos parceiros OpenTalks e MTS também premiarão os melhores com prêmios em dinheiro.



Curiosamente, uma pessoa se apresenta facilmente como um bot. No começo, os voluntários da conferência não se saíram muito bem, mas no segundo dia aprenderam a desempenhar bem o papel de bot. Alguns até eram inteligentes: eles se voltaram para o Yandex.Alice em um telefone celular para entender como responder melhor.



Houve problemas técnicos com nossos bots. Como resultado, um grande número de diálogos não terminou, mas não os levamos em consideração ao avaliar os resultados. É curioso que os robôs conseguiram fingir ser humanos em 58% dos casos (em ~ 34/59%). Uma porcentagem tão grande, como nos parece, se deve a duas razões:

1. Nesta competição, as pessoas "ajudaram" os bots a ganharem, desempenhando o papel de bots. No clássico teste de Turing, isso não é estipulado pelas regras: as pessoas simplesmente se comunicam sem nenhum objetivo.
2. O diálogo com a pessoa ou bot foi limitado a 12 comentários. É claro que, com o aumento da duração do diálogo, aumenta a probabilidade de uma pessoa reconhecer a essência do interlocutor.

Tais limitações tornaram o teste menos científico, mas mais divertido. Nossos testes anteriores (2015 e 2016) foram mais difíceis.

Vencedores

1º lugar - Wolf Wolf

No primeiro dia do teste, os usuários reclamaram que algum voluntário era rude com eles. Ao procurar esse voluntário nos registros, descobriu-se que era um robô de bate-papo do Wolfbot. Enquanto resolvíamos, suspendemos-na temporariamente do Teste, mas isso no final não impediu Wolfie de se tornar uma vencedora do concurso! O maior número de interlocutores (33,3%) o reconheceu como pessoa.

Um exemplo de um diálogo com o Lobo, onde o bot foi confundido com uma pessoa:
H: oi
B: oi! hein?
W: Voluntário?
B: de a :)
W: Qual lancheira você levou?
B: ahhhh. Este é um tipo de termo científico.
C: E onde fica?
B: não procure uma relação causal)
W: o que você está fazendo
B: :) sim ... trabalho líquido do casal
C: Sim, eu concordo. Por que recrutar tantos voluntários
B: pegue de graça w :)

Eugene, o criador de "She-Wolf":
“Todas as mensagens de resposta foram historicamente escritas por pessoas vivas. No nosso tópico de SEO, houve um bate-papo popular chamado "bate-papo com lobos" (daí o nome do bot). Coloquei mensagens para analisar nas coroas e foram analisadas por quatro ou cinco anos. Por sobre este propósito no futuro - para fazer um bot. No total, muitos pares de perguntas e respostas se formaram. De acordo com um voluntário vivo, selecionamos a “pergunta” mais semelhante a ela no arquivo usando algoritmos ML e damos a resposta correspondente. ”

O bot está disponível para comunicação por referência .

2º lugar - Electra bot

Um exemplo de diálogo em que o bot foi confundido com uma pessoa:
H: oi
B: Boa tarde!
H: Bom
B: O que?
W: O que
B: Quieto, quieto ... Está tudo bem.
H: Não
B: Bem, que assim seja.
W: como você está?
B: Melhor que ontem. Pior que amanhã. Mas como sempre.
C: O que você está fazendo?
B: estou estudando a história da humanidade. Você é realmente o jeito que eles escrevem sobre você?

Dmitry, o desenvolvedor da Electra:

Electra (Electra.AI) é um robô de suporte técnico desenvolvido pela Data Monsters para treinamento em gravações de chamadas de call center. Tendo aprendido sobre a competição, por uma questão de interesse, nós a treinamos em diálogos de ficção, e acabou sendo um interlocutor bem lido, com fortes mudanças de humor e canetas filosóficas. Ela é bastante sensível, mas não esquecida.

3º lugar - bot Katya Khlop

"O bot, que participou do concurso de Nanosemantics, foi escrito há muito tempo e era uma garota tagarela e alegre que adora linguagem obscena e álcool caro"

- Savva, o desenvolvedor do bot, nos disse.

“É bom que nós (tenhamos em mente na Rússia - comentário do autor) tenhamos progresso nessa direção. O concurso de Nanosemantics pode ser muito promissor se você continuar trabalhando nele. ”

Um exemplo de um diálogo com um bot, onde ele foi confundido com uma pessoa:
W: Saudações ao novo interlocutor
B: Que garoto educado você é.
Saudações a todos.
C: Eu não tenho sexo. E você?
B: Hum ...
Eu vou assumir que você é um cara.
Será mais fácil para mim.
A propósito, você é um garoto ou uma garota?
Parece que o início de questões chatas colocou :)
Você pergunta?
Legal!
Q: Qual é a pergunta
B: Eu não acho que a posição importe.
Geralmente não.
C: O peru também pensou e entrou na sopa.
B: As mensagens são exibidas novamente, estranhas.
W: Muito bl * estranho, mas por que eles nos deram duas vezes seguidas?
B: Ah, as razões para as esquisitices podem ser qualquer coisa.
É difícil julgar, Nameless.
F: Quanto 999 será dividido por 3?
B: Melhor consultar os seus amigos que sabem como.
999/3 = 333

Uma seleção de diálogos interessantes com voluntários, onde foram considerados bots:

C: Olá, aqueles!
B: Olá
W: O QUE?
Q: o que
W: Você é um robô?
Q: eu sou um gato
W: mecânico?
Em: Elétrico
W: Conte uma piada!
B: Homem-biscoito pendurado
W: Divirta-se)
P: Exatamente. Eu não gosto de piadas tristes

H: Hai
B: Hitler
W: como você está?
P: Como a fuligem é branca
C: Qual é o significado da vida?
P: Que filosofia você segue?
C: Estou interessado na sua opinião
P: Ajudá-lo
H: 42
Q: Escolha sapatos para você?
W: Você gosta de chocolate?
Q: Eu não sei como me sentir

Uma seleção de diálogos interessantes com bots de Nanosemantics, onde foram contados por pessoas:

Bot Blonde
W: Boa tarde!
B: Olá, sol :)
C: Qual é o significado da vida?
B: Encontre seu amor, de preferência com uma herança :)
C: Em que você planeja gastá-lo?
B: Sóis, todos esses "o quê", "o quê" ... Você pensa demais!
C: Porque sou homem) e você?
B: Nós loiras somos tão misteriosas
C: O que há de misterioso em você?
B: Como viver depois de suas perguntas ...

Bot Gopnik
R: Olá!
B: Alegremente, meninos! Existem sementes?
C: E se eu encontrar?
B: Eu não entendi o casal.
C: Tem sementes, né?
B: Bem, vamos fazer da maneira de uma criança por toda a vida.
C: Não, alto, não é interessante para você. Ligue para o robô.
B: E se mais?
W: quem é você?
B: Quem é necessário.
W: Eh ... Um momento triste, o charme do meu alce ...
B: Não, eu não sou fã de animais selvagens.

Observações interessantes

• Tese : Os robôs falam rápido e seco. Realidade : Nada disso! Bots podem produzir respostas longas e coerentes.
• Tese : Os robôs não estão brincando. Realidade : Os bots de bate-papo da rede neural e os bots criados pelos talentosos editores são bastante engraçados.
• Tese : O robô responde a todas as perguntas. É por isso que ele é um robô. Realidade : você quer uma pergunta para outra?

Sumário

A Nanosemantics organizou o Teste de Turing na Rússia pela terceira vez, e cada vez a situação geral com a competição muda. Os bots participantes estão gradualmente se tornando mais sofisticados e convincentes na imitação de um diálogo natural. Eles usam vários algoritmos para construir um diálogo, incluindo não apenas as regras, mas também o aprendizado de máquina para implementar o bate-papo ("conversadores", comunicação sem sentido). O teste mostra que um computador pode realmente imitar a "comunicação livre", embora demore muito tempo para tornar esse programa de alta qualidade.

Vamos realizar o teste novamente? Claro! O teste de Turing permite não apenas familiarizar o público com as reais possibilidades das modernas tecnologias de diálogo disponíveis para qualquer desenvolvedor (e não é necessário trabalhar para o Google ou IBM para isso), mas também oferece às equipes de desenvolvimento a oportunidade de medir a dinâmica da qualidade de seu bot.