Bom dia, querido leitor!
Neste artigo, desenvolveremos uma rede neural que pode passar um jogo criado especialmente para ele em um bom nível.
Nota: este artigo não explica o termo " rede neural " e tudo relacionado a ele, nem fornece informações básicas sobre o treinamento em rede usando o método de rastreamento . Recomendamos que você se familiarize brevemente com esses conceitos antes de ler este artigo.Início: descrição das regras do jogo
O objetivo é pegar o maior número possível de círculos com uma borda verde, evitando círculos com vermelho.
Termos:- O dobro de círculos vermelhos voa no campo como círculos verdes;
- Círculos verdes permanecem dentro do campo, círculos vermelhos voam para fora do campo e são eliminados;
- Círculos verdes e vermelhos podem colidir e repelir com sua própria espécie;
- Jogador - uma bola amarela na tela, pode se mover dentro do campo.
Depois de tocar a bola desaparece, e o jogador recebe os pontos correspondentes.
Próximo: projetando AI
Receptores
Para que a IA possa decidir para onde mover o player, você primeiro precisa obter dados ambientais. Para fazer isso, crie
scanners especiais que são linhas retas. O primeiro scanner está localizado em um ângulo de 180 graus em relação ao limite inferior do campo.
Haverá 68: os 32 primeiros - respondem a bombas (círculos vermelhos), os 32 seguintes - respondem a maçãs (círculos verdes) e os 4 últimos - recebem dados sobre a localização dos limites do campo em relação ao jogador. Vamos chamar esses 68 scanners de
neurônios de entrada da futura rede neural (camada receptora).
O comprimento dos primeiros 64 scanners é de 1000 px, os 4 restantes correspondem à divisão do campo pela metade, de acordo com a face de simetria correspondente
Escopo AI (1/4)
Na figura: neurônios de entrada que recebem valores dos scanners
Os valores nos scanners são normalizados, ou seja, reduzido para o intervalo [0, 1], e quanto mais próximo o objeto que cruza o scanner estiver do player, maior será o valor transmitido ao scanner.
Algoritmo para recebimento de dados por scanners e sua implementação em JSPortanto, o scanner é direto. Temos as coordenadas de um de seus pontos (coordenadas do jogador) e o ângulo em relação ao eixo OX, podemos obter o segundo ponto usando as funções trigonométricas sin e cos.
A partir daqui, obtemos o vetor de direção da linha, o que significa que podemos construir a forma canônica da equação dessa linha.
Para obter o valor no scanner, você precisa ver se alguma bola cruza essa linha, o que significa que você precisa apresentar a equação da linha em uma forma paramétrica e substituir tudo isso na equação do círculo, sequencialmente para cada círculo do campo.
Se levarmos essa substituição a uma forma geral, obteremos uma equação paramétrica em relação a a, bec, onde essas variáveis são os coeficientes da equação quadrática, começando pelo quadrado, respectivamente.
Convidamos o leitor a se familiarizar com esse algoritmo em mais detalhes usando as definições mais simples de álgebra linear
Abaixo está o código dos scanners
Ball.scaners: {
Projeto de rede neural
Portanto, era costume usar o algoritmo de rastreamento (caminhos de referência) para o treinamento de NS.
Nota: para simplificar o processo de aprendizagem, a construção de matrizes é omitida.Prossiga:
- Na saída da rede, apresentamos 8 neurônios responsáveis pelas direções: o primeiro é deixado, o segundo é deixado + topo, o terceiro é topo, o quarto é topo + direito, o quinto é direito e assim por diante;
- Permita que um valor positivo em um neurônio signifique que você deve se mover na direção que está ligada a ele e negativo - o oposto;
- É importante para nós, de alguma forma, combinar os valores dos scanners que estão no mesmo ângulo em relação à borda inferior do campo. Como com uma saída negativa a AI se repelirá a partir dessa direção, introduzimos uma camada adicional (oculta, entre a entrada e a saída), que adicionará os valores dos neurônios que refletem os scanners correspondentes em pares e tomaremos os valores dos neurônios vermelhos com um "-";
- Obviamente, o movimento para a esquerda é afetado principalmente pelas informações à esquerda do jogador (não apenas, mas isso será levado em consideração mais tarde (*)) - isso significa que conectamos 8 neurônios da camada oculta localizada à esquerda com o neurônio responsável por se mover para a esquerda. Estabelecemos as conexões da seguinte forma: um neurônio correspondente a um scanner localizado paralelamente ao limite do campo recebe um peso de 1, depois dois neurônios vizinhos recebem um peso de 0,95, os vizinhos passam por um único peso de 0,9 e, finalmente, o último nesse setor é de 0,8;
- Também levamos em conta os neurônios de fronteira: atraímos as comunicações desses neurônios para as saídas que podem influenciar o movimento das fronteiras.
- Faz o mesmo com os sete neurônios restantes da camada de saída.
Tendo completado o algoritmo acima, obtemos a rede neural mostrada na figura abaixo
* Mas isso não é tudo. É importante interpretar corretamente o resultado, a saber (Y é uma matriz de neurônios de saída):
Ball.vx = -(Y[0] - Y[4]) + (-(Y[1] - Y[5]) + (Y[3] - Y[6]))*0.5; Ball.vy = -(Y[2] - Y[6]) + (-(Y[3] - Y[7]) + (Y[5] - Y[1]))*0.5;
Assim, criamos e treinamos automaticamente a rede neural subjacente à IA do jogador no gif na parte superior do artigo
O código está disponível (implementação do jogo e IA) no link:
Link para o github Ivan753 / LearningIsso é tudo. Obrigado pela atenção!