O DeepMind AI falhou no teste de matemática da escola



Atualmente, a ciência popular e até a mídia de entretenimento estão cheias de notícias sobre o sucesso dos projetos de IA. A inteligência artificial derrota uma pessoa em movimento ou aprende a jogar StarCraft e sai vitoriosa de uma luta com campeões reconhecidos. E isso é apenas uma pequena fração das realizações, de fato, há muito mais. Uma pessoa comum (em certo sentido, não relacionada à esfera de TI) pode pensar que uma inteligência artificial real e "grande" está prestes a aparecer, sobre a qual escrevo ficção científica e faço filmes.

Mas tudo está longe de ser tão otimista. Por exemplo, no outro dia, havia informações de que a IA tentava passar no teste de matemática superior (teste escolar, padrão para o Reino Unido) e não conseguia.

Em princípio, as causas do fracasso podem ser explicadas sem muita dificuldade. Portanto, uma pessoa na solução de problemas matemáticos envolve as seguintes habilidades e capacidades.

Modifica para si símbolos em essência, como números, operadores aritméticos, variáveis ​​(que formam funções em um complexo) e palavras (definindo uma pergunta, o significado de uma tarefa etc.).

  • Planejamento (por exemplo, classificar funções na ordem necessária para resolver um problema matemático).
  • Usando algoritmos auxiliares para compor funções (adição, multiplicação).
  • Usando memória de curto prazo para armazenar valores intermediários (por exemplo, h (f (x))).
  • A prática anteriormente adquirida adquiriu conhecimento sobre regras, transformações, processos e axiomas.

O DeepMind foi treinado e testado em uma seleção de diferentes tipos de problemas e problemas matemáticos. Os desenvolvedores não usaram o crowdsourcing; em vez disso, sintetizaram um conjunto de dados para gerar um grande número de tarefas de teste, controlar seu nível de complexidade etc. A equipe de desenvolvimento usou um formato de dados de texto "de forma livre".

Os dados iniciais foram baseados em tarefas de uma seleção de tarefas para estudantes em escolas do Reino Unido (menores de 16 anos). As tarefas foram tomadas de direções como aritmética, álgebra, teoria das probabilidades, etc.

A equipe do DeepMind, escolhendo uma arquitetura de rede neural para resolver problemas matemáticos, optou por LSTM (memória de longo prazo a curto prazo ) e Transformer (uma arquitetura de rede neural para trabalhar com seqüências).

O DeepMind testou dois modelos LSTM para trabalhar com problemas de matemática: um LSTM simples e um LSTM Attention, cujo esquema de operação é mostrado na figura abaixo.



Abaixo está um diagrama do modelo Transformer.



O resultado não foi muito bom. Apenas 35% das respostas da IA ​​estavam corretas; essa é uma avaliação insatisfatória para os padrões de qualquer escola.



Obviamente, os pesquisadores do DeepMind começaram a trabalhar com matemática e IA. No futuro, um maior sucesso pode ser esperado, como foi o caso do mesmo AlphaGo.

Os dados completos do estudo podem ser encontrados neste link .


Source: https://habr.com/ru/post/pt447120/


All Articles