GTA V conectado à plataforma OpenAI Universe para aprender IA de piloto automático



Pouco mais de um mês se passou desde que a organização sem fins lucrativos OpenAI Ilona Mask introduziu o middleware Universe para treinar e ensinar uma IA forte. Teoricamente, o treinamento pode ser realizado com todas as informações da humanidade, acessíveis via Internet. Usando a plataforma de software Universe, um agente inteligente usa um computador exatamente da mesma maneira que uma pessoa: ele olha os pixels da tela do computador e interage usando o teclado e o mouse virtuais.

Agora, às dezenas de jogos disponíveis para treinamento em IA, foi adicionado o jogo Grand Theft Auto V , que se distingue pelo realismo excepcional.

Você pode criar um agente de IA de veículo não tripulado em qualquer estrutura de aprendizado de máquina e é relativamente fácil conectar-se ao jogo em um computador com o GTA V.


O agente de AI está na encruzilhada. No diagnóstico do console, o status de pressionar o pedal do freio (verdadeiro) e outros parâmetros atuais do piloto automático são exibidos à esquerda

O jogo GTA V, mesmo com a violência desativada, oferece oportunidades ricas para o treinamento de IA para um veículo não tripulado. Este é um dos maiores e mais ricos mundos abertos. A ação do jogo ocorre no território da ilha de San Andreas, com uma área de quase 20% desta região de Los Angeles. Aqui você pode executar uma variedade de cenários para testar a IA. Os agentes têm acesso a 257 tipos diferentes de carros, 7 tipos de bicicletas, 14 tipos de clima e o ambiente pode ser alterado durante a simulação.


A ilha de San Andreas

Graças aos inúmeros mods do jogo GTA V, você pode carregar edifícios de cidades reais, carros reais, sinais de trânsito reais e outros objetos. Consequentemente, seu agente de IA será treinado para dirigir em condições reais da estrada.

Universe Platform


A abertura da plataforma universal universal Universe é uma continuação das ações planejadas da OpenAI para criar uma IA universal aberta em todo o mundo. Em abril deste ano, a organização lançou uma versão beta pública do kit de ferramentas OpenAI Gym para desenvolver e comparar algoritmos de aprendizado por reforço. O "ginásio" OpenAI Gym consiste em um grande número de ambientes (de um simulador de robô humanóide a jogos da Atari ). Existe um site para comparar e reproduzir os resultados .

A OpenAI acredita que o aprendizado por reforço é uma maneira importante de aprendizado de máquina que melhorará bastante a IA. No processo de aprendizagem por esse método, o sistema de teste (agente) aprende interagindo com um determinado ambiente. Ao contrário do ensino tradicional com um professor, a resposta às decisões da IA ​​tomadas são sinais de reforço, enquanto algumas regras de reforço são formadas dinamicamente e difíceis de entender, ou seja, com base na atividade simultânea de neurônios formais.

Executando um agente de IA no seu computador com o GTA V


A integração do Universe com o Grand Theft Auto V foi criada e é suportada pelo projeto DeepDrive , que agora mudou para o código aberto. O projeto fornece a capacidade de executar o agente Universe em seu próprio computador com uma cópia do jogo instalada.



Através do Universe, o agente de inteligência artificial obtém acesso ao mundo tridimensional realista do GTA V. O próximo vídeo mostra os quadros do jogo que foram transferidos para o agente de IA para processamento (desacelerado artificialmente para 8 FPS, canto superior esquerdo), informações de diagnóstico do agente e do ambiente (canto inferior esquerdo) , bem como uma visão amigável da câmera (à direita).

A integração da IA ​​ao jogo proíbe qualquer ação violenta no GTA V.


Para em seu computador começa agente que trabalha necessário para executar o processo do servidor GTA V . Você deve primeiro instalar o universo da biblioteca python e, em seguida, conectar o agente usando o código a seguir.

import gym
import universe # register Universe environments into Gym
from universe.spaces import joystick_event

env = gym.make('gtav.SaneDriving-v0')
env.configure(remotes='vnc://$host:$port') # point to the GTA V Universe server
observation_n = env.reset()

while True:
  steer = joystick_event.JoystickAxisXEvent(-1)     # turn right
  throttle = joystick_event.JoystickAxisZEvent(-1)  # go in reverse
  # Alternatively, use WASD to steer: ('KeyEvent', 'w', True)
  action_n = [[steer, throttle] for _ in observation_n]
  observation_n, reward_n, done_n, info = env.step(action_n)
  env.render()

Como de costume para os agentes do Universo, a IA usa um teclado virtual, mas, neste caso, um joystick virtual também está disponível para ele. A AI demonstra os melhores resultados com o joystick.

Movimentação profunda


O DeepDrive é uma plataforma especializada de desenvolvimento de IA para veículos não tripulados de código aberto. Ele usa estruturas modding e técnicas especiais para transformar o GTA V em um simulador de carro normal. Agentes pré-treinados com recursos de gerenciamento de transporte e conjuntos de dados nos quais foram treinados estão disponíveis.

Embora a plataforma DeepDrive tenha aparecido antes do Universo, agora seu desenvolvedor decidiu que seria sensato transferir seu trabalho para essa plataforma aberta universal. Esse foi o passo certo. Anteriormente, para executar o agente, era necessário um computador Windows e muitas horas de configuração do ambiente (a interceptação do DirectX era usada lápara capturar a tela e gravar agentes, era necessário usar a interface C ++ para o Caffe no Windows). Agora o DeepDrive é instalado em 20 minutos, é executado no Linux e OS X e os agentes podem ser gravados em qualquer estrutura de aprendizado de máquina.

Código-fonte publicado de código aberto e AMI para o GTA V, um agente-driver pré-treinado . Seu treinamento durou 21 horas (600 mil imagens). O agente possui habilidades básicas de direção e é um bom começo para seus próprios experimentos.


Juntos, milhares de agentes de IA podem criar um motorista verdadeiramente sofisticado - um programa que pode dirigir um veículo não tripulado real no mundo real.

Source: https://habr.com/ru/post/pt400551/


All Articles