Buen día, querido lector!
En este artículo desarrollaremos una red neuronal que puede pasar un juego creado especialmente para él a un buen nivel.
Nota: este artículo no explica el término " red neuronal " y todo lo relacionado con él, ni proporciona información básica sobre el entrenamiento de la red utilizando el método de rastreo . Le recomendamos que se familiarice brevemente con estos conceptos antes de leer este artículo.Inicio: descripción de las reglas del juego.
El objetivo es atrapar tantos círculos con un borde verde como sea posible, evitando círculos con rojo.
Términos:- El doble de círculos rojos vuela en el campo que los círculos verdes;
- Los círculos verdes permanecen dentro del campo, los círculos rojos salen volando del campo y se eliminan;
- Los círculos verdes y rojos pueden chocar y repeler con su propia especie;
- Jugador: una pelota amarilla en la pantalla puede moverse dentro del campo.
Después de tocar la pelota desaparece, y el jugador recibe los puntos correspondientes.
Siguiente: diseñando IA
Receptores
Para que la IA pueda decidir dónde mover al jugador, primero debe obtener datos ambientales. Para hacer esto, cree
escáneres especiales que sean líneas rectas. El primer escáner está ubicado en un ángulo de 180 grados con respecto al límite inferior del campo.
Habrá 68: los primeros 32 - responden a las bombas (círculos rojos), los siguientes 32 - responden a las manzanas (círculos verdes), y los últimos 4 - reciben datos sobre la ubicación de los límites del campo en relación con el jugador. Llamemos a estos 68 escáneres las
neuronas de entrada de la futura red neuronal (capa receptora).
La longitud de los primeros 64 escáneres es de 1000 px, los 4 restantes corresponden a dividir el campo por la mitad de acuerdo con la cara de simetría correspondiente
Alcance AI (1/4)
En la figura: neuronas de entrada que reciben valores de escáneres
Los valores en los escáneres están normalizados, es decir reducido al rango [0, 1], y cuanto más cerca esté el objeto que cruza el escáner al jugador, mayor será el valor transmitido al escáner.
Algoritmo para recibir datos por escáneres y su implementación en JSEntonces, el escáner es directo. Tenemos las coordenadas de uno de sus puntos (las coordenadas del jugador) y el ángulo relativo al eje OX, podemos obtener el segundo punto usando las funciones trigonométricas sin y cos.
A partir de aquí obtenemos el vector de dirección de la línea, lo que significa que podemos construir la forma canónica de la ecuación de esta línea.
Para obtener el valor en el escáner, debe ver si alguna bola se cruza con esta línea, lo que significa que debe presentar la ecuación de la línea en forma paramétrica y sustituir todo esto en las ecuaciones circulares, secuencialmente para cada círculo para el campo.
Si llevamos esta sustitución a una forma general, obtenemos una ecuación paramétrica con respecto a a, byc, donde estas variables son los coeficientes de la ecuación cuadrática, comenzando desde el cuadrado, respectivamente.
Invitamos al lector a familiarizarse con este algoritmo con más detalle utilizando las definiciones más simples de álgebra lineal.
A continuación se muestra el código de los escáneres.
Ball.scaners: {
Diseño de redes neuronales
Por lo tanto, era costumbre usar el algoritmo de rastreo (rutas de referencia) para entrenar NS.
Nota: para simplificar el proceso de aprendizaje, se omite la construcción de matrices.Proceder:
- En la salida de la red, presentamos 8 neuronas que son responsables de las direcciones: la primera es izquierda, la segunda es izquierda + superior, la tercera es superior, la cuarta es superior + derecha, la quinta es derecha y así sucesivamente;
- Deje que un valor positivo en una neurona signifique que debe moverse en la dirección que está unida a ella y negativa: todo lo contrario;
- Es importante para nosotros combinar de alguna manera los valores de los escáneres que están en el mismo ángulo con respecto al borde inferior del campo. Dado que con una salida negativa, la IA rechazará desde esta dirección, introducimos una capa adicional (oculta, entre la entrada y la salida), que agregará los valores de las neuronas que reflejan los escáneres correspondientes en pares, y tomaremos los valores de las neuronas rojas con un "-";
- Obviamente, el movimiento hacia la izquierda se ve afectado principalmente por la información que está a la izquierda del jugador (no solo, sino que esto se tendrá en cuenta más adelante (*)), lo que significa que conectamos 8 neuronas de la capa oculta ubicadas a la izquierda con la neurona responsable de moverse hacia la izquierda. Establecemos las conexiones de la siguiente manera: a una neurona correspondiente a un escáner ubicado paralelo al límite del campo se le asigna un peso de 1, luego a dos neuronas vecinas se les asigna un peso de 0.95, las vecinas a un peso de 0.9, y finalmente, la última en este sector tiene un peso de 0.8;
- También tenemos en cuenta las neuronas límite: extraemos comunicaciones de esas neuronas límite a las salidas que pueden influir en el movimiento de las fronteras.
- Hace lo mismo con las siete neuronas restantes de la capa de salida.
Una vez completado el algoritmo anterior, obtenemos la red neuronal que se muestra en la figura a continuación
* Pero eso no es todo. Es importante interpretar correctamente el resultado, a saber (Y es una matriz de neuronas de salida):
Ball.vx = -(Y[0] - Y[4]) + (-(Y[1] - Y[5]) + (Y[3] - Y[6]))*0.5; Ball.vy = -(Y[2] - Y[6]) + (-(Y[3] - Y[7]) + (Y[5] - Y[1]))*0.5;
Por lo tanto, creamos y entrenamos automáticamente la red neuronal que subyace a la IA del jugador en el gif en la parte superior del artículo
El código está disponible (implementación del juego e IA) en el enlace:
Enlace al github Ivan753 / LearningEso es todo Gracias por su atencion!