Ayer, 5 de agosto, en San Francisco, se llevó a cabo un partido de exhibición entre personas y bots de OpenAI en la disciplina Dota 2. En 2017, como parte de los partidos de exhibición de The International 2017, la gente
luchó contra OpenAI en el formato "1x1 espejo medio" y con un rango completo restricciones a favor de los bots (una prohibición del uso de varios elementos y una mecánica), que terminó en la derrota de los jugadores profesionales intermedios.
Dado que Dota 2 es una disciplina disciplinaria extremadamente versátil y difícil, la reunión entre las personas y la IA se realizó nuevamente con una serie de limitaciones que, sin embargo, no influyeron en el juego de manera demasiado radical:
- grupo de 18 héroes en modo Draft aleatorio (Axe, Crystal Maiden, Death Prophet, Earthshaker, Gyrocopter, Lich, Lion, Necrophos, Queen of Pain, Razor, Riki, Shadow Fiend, Slark, Sniper, Sven, Tidehunter, Viper o Witch Doctor);
- sin estoque divino, botella;
- sin criaturas controladas e ilusiones;
- emparejar con cinco correos (no se pueden rastrear ni destruir);
- sin usar un escaneo.
La limitación más seria: un grupo extremadamente pequeño de héroes para ambos lados. Ahora en Dota 2 hay 115 personajes con varias habilidades y mecánicas de su aplicación. OpenAI hasta ahora solo puede controlar 18 de ellos. La reunión fue lo más cercana posible a las condiciones "reales" y se celebró en formato 5x5. Las personas comunes jugaban contra la IA, en el pasado, una vez involucradas en deportes electrónicos, pero ahora no son deportistas electrónicos. La única concesión para las personas fue que la
respuesta de los bots se limitó a 200 ms para evitar situaciones con "apretar" los botones al instante. En pocas palabras:
el equipo de IA derrotó a las personas con un puntaje de 2-0 en las tarjetas . Fue posible ganar contra OpenAI solo después de que la audiencia eligió a los héroes para la IA (Slark, Sven, Axe, Riki y Queen of Pain), según las estimaciones de OpenAI, la posibilidad de ganar con un borrador de este tipo era solo del 2.9%. Además, antes del comienzo del partido principal, los invitados comunes del evento podían jugar con bots, y en estas reuniones el dominio de la IA era aún más obvio, lo cual es impresionante.
¿Por qué es tan importante?
OpenAI es un proyecto sin fines de lucro, que, sin embargo, es gente conocida e influyente. El proyecto fue fundado en 2015 por Ilon Musk,
Sam Altman , y los patrocinadores fueron
Peter Thiel y
Jessica Livingston . Dota 2 no es la única actividad del equipo del proyecto OpenAI. Si
mira la sección "Investigación" en el sitio web oficial del proyecto, puede ver que OpenAI está trabajando activamente para la creación de IA para, por ejemplo, la robótica.
Pero si los fundadores del proyecto son personas tan influyentes, ¿por qué elegiste un juego de computadora? Aprender IA para trabajar en condiciones dinámicamente cambiantes es una tarea no trivial. Los modelos actuales de IA y pilotos automáticos operan exclusivamente en condiciones estrictamente definidas, y su entrenamiento requiere millones de combinaciones diferentes de eventos y factores para que el bot no solo actúe de acuerdo con patrones predefinidos, sino que comience a analizar lo que está sucediendo y a tomar decisiones basadas en el contexto de la situación. Elegir Dota 2 como plataforma para aprender IA y crear bots para esta disciplina ha demostrado ser útil desde muchos puntos de vista:
- eSports es muy amigable con los medios;
- Es una plataforma segura para practicar métodos de entrenamiento de IA;
- la enorme variabilidad de la mecánica del juego Dota 2 ofrece una cantidad casi ilimitada de escenarios para el entrenamiento;
- El acceso abierto a grabaciones de juegos en vivo proporciona un suministro interminable de datos para el análisis.
El último elemento en esta lista improvisada es probablemente el más importante. Uno de los problemas de todos los sistemas de entrenamiento de IA es la creación de una muestra relevante sobre la cual se pueda entrenar el sistema. Los jugadores en vivo generan millones de registros de juegos gratuitos todos los días de forma totalmente gratuita, y los investigadores solo pueden elegir partidos con un conjunto relevante de personajes. Y el resultado es impresionante.
Lo que paso el 5 de agosto
Muy a menudo, los bots en los juegos de computadora son tetas aburridas y con guiones o monstruos invencibles con reacción inhumana. Como ejemplo: bots "locos" para CS 1.6, que fueron asesinados en la cabeza con una escopeta a una distancia de más de 50 metros
en un salto de giro en U. Para lograr un comportamiento realista, pero al mismo tiempo efectivo de la IA de los juegos, los desarrolladores no han sido capaces durante décadas, lo que es especialmente evidente en los juegos de mundo abierto. En realidad, esto se ha convertido en la razón de la popularidad de las disciplinas en línea.
Después de que el programa coincida en 2017 en el formato "1x1 espejo", el equipo de OpenAI dijo que el próximo objetivo son los juegos completos de 5x5. Y casi lograron alcanzar su objetivo: esperar de los bots la capacidad de administrar y analizar la sinergia de los 115 personajes en el Modo Capitán sería una estupidez, pero ya son 18 héroes, eso es mucho. Aquí está el cálculo de las opciones para el pico 5x5 (10 caracteres) para 18 héroes:
Y aquí está la cantidad de opciones que obtenemos para 115 caracteres:
¡Sí, 74,5 billones de combinaciones! Obviamente, para hacer frente a tal variedad e incluir los 115 caracteres en el grupo de OpenAI, se requiere una IA de autoaprendizaje completa, que aún no tenemos. Además, los cálculos no tienen en cuenta las habilidades de los personajes (de 4 a 6 "botones" por personaje, excepto Invoker), tipos de habilidades (activas, pasivas, direccionales, no direccionales, AoE dirigidas a un punto), docenas de objetos, efectos activos de objetos, modificadores y así sucesivamente.
Pero incluso para nuestro mini grupo de 18 personajes, se realizó una enorme cantidad de trabajo.
A continuación puede evaluar cómo se comportan los bots de OpenAI en juegos contra personas:
Cómo los bots diferían y no diferían de las personas
Para aquellos que son demasiado vagos para ver más de 5 horas de grabación con Twitch, explicaremos brevemente cómo el comportamiento del equipo bot OpenAI Five fue notable en comparación con la gente común.
Vale la pena decir de inmediato que la IA pensó en la etapa del borrador del personaje, es decir, calculó las posibilidades de ganar una combinación particular de personajes en función de los datos incompletos que tenía. Al mismo tiempo, OpenAI reportó el porcentaje predicho de su victoria basado en el draft. A veces, según AI, alcanzó el 95%.
Todo el juego OpenAI Five se puede describir con un término tan popular entre la comunidad como "estrangulado". Sí, de acuerdo con las sensaciones, los bots realmente "estrangularon" ciertas líneas, y sin ningún remordimiento o temor entraron a las torres en los primeros minutos del partido para enviar a un jugador humano a descansar debajo de la fuente en la base. Se pueden ver algunos puntos en el corte a continuación (el nombre del video no corresponde a la realidad):
Además de la intrepidez (rayando en la imprudencia) y el trabajo organizado en una etapa temprana del juego, los bots también notaron su propia comprensión de la mecánica de Dota 2. El objetivo del juego: romper la estructura principal del enemigo, en la que se centraron los bots. Entonces, 3-4 personajes de IA constantemente rompieron las torres de oponentes humanos, magistralmente "derrumbando" la torre a su vez para salvar sus propios pelos de punta y destruir rápidamente la estructura. Además, los bots se destacaron por el hecho de que no utilizaban salas de manera estándar, lo que también derrumbó torres para ellos. Como resultado, en uno de los juegos con los invitados del evento, los bots ingresaron a la base del enemigo
ya a los 9 minutos (llegar a la base del enemigo incluso a los 15-18 minutos se considera un momento extremadamente temprano).
Además, los bots efectivamente redistribuyeron la experiencia entre ellos, evitando las desventajas de los personajes de 4-5 posiciones, se distinguieron en el cálculo del daño (al dar el último golpe, el bot no continuó alcanzando al objetivo, entendiendo claramente que había suficiente daño para matar) y utilizó activamente algunos elementos.
Un espectador atento notará en el video y tomará decisiones basadas en datos incompletos (usando habilidades de AoE en la "niebla de guerra"), tomando decisiones no estándar (usando con éxito un desplazamiento de teletransporte en lugar de intentar escapar para dos), entrando por la parte trasera con el bloqueo del enemigo en el bosque y coordinado El foco de los oponentes humanos más peligrosos.
Para justificar a la humanidad, se puede decir que los jugadores humanos no mostraron un nivel muy alto del juego, estuvieron limitados en términos de selección de personajes y cometieron muchos errores, pero tal progreso de IA en solo 1 año de desarrollo no puede dejar de impresionar.
Es probable que veamos otro partido de espectáculo, esta vez en The International 2018 (que tendrá lugar del 20 al 25 de agosto) contra profesionales que son claramente más fuertes que la IA. Sin embargo, es posible que OpenAI Five nos sorprenda con algo.