Os participantes competirão em vários jogos na plataforma Minecraft. Esquerda: Construa um jogo de batalha onde os jogadores precisam recriar a estrutura (neste caso, a estrutura está localizada no chão). Direita: jogo Pig Chase, onde agentes de IA devem trabalhar juntos para encurralar um porco

A Microsoft Research está concluindo a fase de qualificação do concurso MarLÖ 2018 (Multi-Agent Reinforcement Learning in MalmÖ). Os concorrentes introduziram agentes de IA capazes de aprendizado reforçado, capazes de jogar vários jogos em 3D, conforme definido na plataforma MalmO .

O objetivo da competição é incentivar a pesquisa no campo da inteligência geral. Os agentes de IA não são treinados em um único jogo específico, mas em vários. Além disso, eles devem cooperar, o que requer uma compreensão das intenções e objetivos um do outro (essa é uma propriedade importante da consciência humana). Portanto, o sistema será mais adaptado para a sobrevivência no mundo real.

Para estimular uma abordagem mais geral ao treinamento de um agente universal de IA, a tarefa consiste não em um, mas em vários jogos, em cada um dos quais várias tarefas de complexidade e configurações variadas. Algumas dessas tarefas são de natureza pública e os participantes podem aprender com elas. Outros, no entanto, permaneceram fechados, eles serão usados ​​apenas para determinar a classificação final da competição.

Os organizadores da competição são a Microsoft, a Universidade Queen Mary de Londres e a plataforma crowdAI . A competição começou em 27 de julho de 2018. A rodada de qualificação termina em 31 de dezembro de 2018. O torneio final será realizado offline uma semana após o final da rodada de qualificação.

Jogos e tarefas

Uma das principais características da competição é que os agentes jogam vários jogos. Portanto, várias tarefas são oferecidas para a competição. As tarefas do jogo podem diferir entre si na localização dos níveis, tamanho, dificuldade e outros parâmetros que dependem do jogo. A figura mostra como os jogos e tarefas são organizados na competição.



Como você pode ver, cada jogo tem quatro tarefas, das quais duas são publicadas em domínio público e duas são secretas.

Para participar do concurso, você precisa se registrar no crowdAI e depois clonar o kit inicial do concurso no GitHub .

A plataforma Malmö fornece uma API que fornece acesso a ações, observações (ou seja, localização, arredores, quadros de vídeo, estatísticas de jogos) e outros dados comuns que estão na plataforma Minecraft. Marlo, por outro lado, é uma concha para Malmö que fornece um nível mais alto de API e um ambiente de aprendizado mais padronizado, com reforço para a pesquisa.

A estrutura é escrita como uma adição à estrutura do OpenAI Gym , que é um kit de ferramentas para desenvolver e comparar algoritmos de aprendizado por reforço, fornecendo uma plataforma padrão e familiar para cientistas, desenvolvedores e estruturas populares.

O projeto Malmö foi lançado em 2015 pela pesquisadora de IA Katya Hoffmann na Microsoft Research Cambridge, Reino Unido. Embora os agentes modernos da IA ​​tenham demonstrado muitas conquistas em jogos diferentes, Katya estava procurando por um jogo que permitisse à IA dominar uma gama mais ampla de habilidades: “No momento em que começamos a falar sobre o Minecraft, era óbvio que esse era um ambiente ideal para a pesquisa em IA”. ela é "Este é um mundo ao qual as pessoas se unem sem um objetivo específico." Assim, o projeto Malmö é uma plataforma construída sobre o Minecraft, onde os pesquisadores podem realizar muitos experimentos diferentes com IA, bem como comparar seus resultados de maneira padronizada.

Ao testar o concurso Marlo em 2017, os participantes receberam apenas um jogo: pegar um porco. A competição de 2018 é muito mais complicada: três missões já foram desenvolvidas, cada uma das quais requer cooperação. Os agentes precisam entender como reconhecer outro agente de IA no ambiente e, em seguida, encontrar uma maneira de trabalhar juntos para alcançar seu objetivo comum.

Se um agente de IA coloca em hipótese os objetivos de outro agente, isso pode ser chamado de forma rudimentar do que os psicólogos chamam de " modelo de estado mental " - a capacidade humana de entender os estados mentais e as intenções de outras pessoas. Katya Hoffman espera que os agentes de inteligência artificial acabem aprimorando essa capacidade ao colaborar com jogadores humanos no Minecraft. "Então os algoritmos aprenderão a colaborar com as pessoas e descobrirão o que as pessoas querem", diz ela.