Hier, le 5 août, à San Francisco, un match show entre des personnes et des bots OpenAI dans la discipline Dota 2. En 2017, dans le cadre des matchs internationaux The Show 2017, les gens ont
combattu OpenAI dans le format «1x1 mirror mid» et avec toute une gamme restrictions en faveur des bots (interdiction d'utiliser un certain nombre d'objets et un mécanicien), ce qui s'est soldé par la défaite des mid-joueurs professionnels.
Puisque Dota 2 est une discipline disciplinaire extrêmement polyvalente et difficile, la rencontre entre les gens et l'IA s'est à nouveau tenue avec un certain nombre de limitations, qui, cependant, n'ont pas influencé le gameplay de manière trop radicale:
- pool de 18 héros en mode Tirage aléatoire (Hache, Crystal Maiden, Death Prophet, Earthshaker, Gyrocopter, Lich, Lion, Necrophos, Queen of Pain, Razor, Riki, Shadow Fiend, Slark, Sniper, Sven, Tidehunter, Viper ou Witch Docteur);
- sans Rapine Divine, bouteille;
- sans créatures contrôlées et illusions;
- match avec cinq courriers (ils ne peuvent pas être repérés et tankés);
- sans utiliser de scan.
La limitation la plus sérieuse: un très petit bassin de héros pour les deux côtés. Maintenant, dans Dota 2, il y a 115 personnages avec différentes capacités et mécanismes d'application. Jusqu'à présent, OpenAI ne peut contrôler que 18 d'entre eux. La réunion a été aussi proche que possible des "vraies" conditions et s'est déroulée au format 5x5. Les gens ordinaires ont joué contre l'IA, dans le passé, autrefois impliqués dans les sports électroniques, mais maintenant ils ne sont plus des sportifs électroniques. La seule concession pour les gens était que la
réponse des bots était limitée à 200 ms afin d'éviter les situations de "compression" instantanée des boutons. Conclusion:
l'équipe AI a vaincu les gens avec un score de 2-0 sur les cartes . Il n'a été possible de gagner contre OpenAI qu'après que le public ait choisi les héros de l'IA (Slark, Sven, Axe, Riki et Queen of Pain), selon les estimations d'OpenAI, la chance de gagner avec un tel projet n'était que de 2,9%. De plus, avant le début du match principal, les invités ordinaires de l'événement pouvaient jouer avec des bots, et dans ces réunions, la domination de l'IA était encore plus évidente, ce qui est impressionnant.
Pourquoi est-ce si important
OpenAI est un projet à but non lucratif, qui, cependant, est connu et influent. Le projet a été fondé en 2015 par Ilon Musk,
Sam Altman , et les sponsors étaient
Peter Thiel et
Jessica Livingston . Dota 2 n'est pas la seule activité de l'équipe de projet OpenAI. Si vous
regardez la section «Recherche» sur le site officiel du projet, vous pouvez voir qu'OpenAI travaille activement à la création d'IA pour, par exemple, la robotique.
Mais si les fondateurs du projet sont des personnes si influentes, pourquoi avoir choisi un jeu vidéo? Apprendre à travailler avec l'IA dans des conditions changeantes est une tâche non triviale. Les modèles actuels d'IA et de pilotes automatiques fonctionnent exclusivement dans des conditions strictement définies, et leur formation nécessite des millions de combinaisons différentes d'événements et de facteurs pour que le bot non seulement agisse selon des modèles prédéfinis, mais commence à analyser ce qui se passe et à prendre des décisions en fonction du contexte de la situation. Le choix de Dota 2 comme plate-forme d'apprentissage de l'IA et de création de robots pour cette discipline s'est révélé utile à plusieurs égards:
- eSports est très convivial pour les médias;
- C'est une plate-forme sûre pour pratiquer les méthodes de formation à l'IA;
- l'énorme variabilité des mécanismes de jeu Dota 2 donne un nombre presque illimité de scénarios pour la formation;
- le libre accès aux enregistrements de matchs en direct fournit une quantité infinie de données à analyser.
Le dernier élément de cette liste de fortune est probablement le plus important. L'un des problèmes de tous les systèmes de formation à l'IA est la création d'un échantillon pertinent sur lequel le système peut être formé. Les joueurs en direct génèrent chaque jour des millions d'enregistrements de jeux gratuits, et les chercheurs ne peuvent choisir que des correspondances avec un ensemble de personnages pertinents. Et le résultat est impressionnant.
Que s'est-il passé le 5 août
Le plus souvent, les bots dans les jeux informatiques sont soit des seins ternes, scriptés ou des monstres invincibles avec une réaction inhumaine. À titre d'exemple - des robots «fous» pour CS 1.6, qui ont été tués à la tête avec un fusil de chasse à une distance de plus de 50 mètres
lors d'un saut en demi-tour . Pour obtenir un comportement réaliste, mais en même temps efficace, de l'IA de jeu, les développeurs n'ont pas été capables depuis des décennies, ce qui est particulièrement évident dans les jeux en monde ouvert. En fait, cela est devenu la raison de la popularité des disciplines en ligne.
Après les matchs de spectacle en 2017 au format «miroir 1x1», l'équipe OpenAI a déclaré que le prochain objectif était des matchs à part entière 5x5. Et ils ont presque réussi à atteindre leur objectif: attendre des robots la capacité de gérer et d'analyser la synergie des 115 personnages en mode Capitaine serait stupide, mais déjà 18 héros - c'est beaucoup. Voici le calcul des options pour le pic 5x5 (10 caractères) pour 18 héros:
Et voici le nombre d'options que nous obtenons pour 115 caractères:
Oui, 74,5 billions de combinaisons! De toute évidence, pour faire face à une telle variété et inclure les 115 caractères dans le pool OpenAI, une IA d'auto-apprentissage à part entière est requise, ce que nous n'avons pas encore. De plus, les calculs ne prennent pas en compte les capacités des personnages (de 4 à 6 «boutons» par personnage, hors Invoker), les types de capacités (actives, passives, directionnelles, non directionnelles, AoE dirigées vers un point), des dizaines d'objets, les effets actifs des objets, les modificateurs et ainsi de suite et ainsi de suite.
Mais même pour notre mini-pool de 18 personnages, un travail énorme a été fait.
Ci-dessous, vous pouvez évaluer le comportement des bots OpenAI dans les jeux contre les gens:
Comment les bots diffèrent et ne diffèrent pas des gens
Pour ceux qui sont trop paresseux pour regarder plus de 5 heures d'enregistrement avec Twitch, nous expliquerons brièvement comment le comportement de l'équipe OpenAI Five bot était perceptible par rapport aux gens ordinaires.
Il vaut la peine de dire tout de suite que l'IA a pensé au stade de la rédaction des personnages, c'est-à-dire qu'elle a calculé les chances de gagner une combinaison particulière de caractères en fonction des données incomplètes dont elle disposait. Dans le même temps, OpenAI a rapporté le pourcentage prévu de sa victoire sur la base du projet. Parfois, selon AI, il atteignait 95%.
L'ensemble du jeu OpenAI Five peut être décrit avec un terme si populaire parmi la communauté comme «étranglé». Oui, selon les sensations, les bots ont en fait "étranglé" certaines lignes, et sans aucun remords ni peur ils sont entrés dans les tours dans les premières minutes du match afin d'envoyer un joueur humain se reposer sous la fontaine à la base. Certains points sont visibles dans la coupe ci-dessous (le nom de la vidéo ne correspond pas à la réalité):
En plus de l'intrépidité (à la limite de l'impudence) et du travail organisé à un stade précoce du jeu, les bots ont également noté leur propre compréhension de la mécanique de Dota 2. Le but du jeu: briser la structure principale de l'ennemi, sur laquelle les bots se sont concentrés. Ainsi, 3 à 4 personnages de l'IA ont systématiquement brisé les tours des adversaires humains, «chargeant» magistralement la tour à son tour pour sauver leur propre chair de poule et détruire rapidement la structure. En outre, les robots ont été notés pour le fait qu'ils utilisaient des salles non standard, qui leur réservaient également des tours. En conséquence, dans l'un des jeux avec les invités de l'événement, les bots sont
déjà entrés dans la base ennemie
à 9 minutes (arriver à la base ennemie même à 15-18 minutes est considéré comme un timing extrêmement précoce).
De plus, les bots ont redistribué efficacement l'expérience entre eux, évitant le retrait de personnages de 4 à 5 positions, se sont distingués dans le calcul des dégâts (lors du dernier coup, le bot n'a pas continué à rattraper la cible, comprenant clairement qu'il y avait suffisamment de dégâts à tuer) et a utilisé activement certains éléments.
Un spectateur attentif remarquera sur la vidéo et prendra des décisions basées sur des données incomplètes (en utilisant les compétences AoE dans le "brouillard de guerre"), prendre des décisions non standard (avec succès en utilisant un parchemin de téléportation au lieu d'essayer de s'échapper pour deux), entrer à l'arrière avec bloquer l'ennemi dans la forêt et coordonné le foyer des adversaires humains les plus dangereux.
Pour justifier l'humanité, on peut dire que les joueurs humains n'ont pas montré un niveau de jeu très élevé, ont été limités en termes de sélection de personnages et ont fait de nombreuses erreurs, mais de tels progrès de l'IA en seulement 1 an de développement ne peuvent manquer d'impressionner.
Il est probable que nous verrons un autre match show, cette fois à l'International 2018 (qui aura lieu du 20 au 25 août) contre des professionnels clairement plus forts que l'IA. Cependant, il est possible que OpenAI Five nous surprenne avec quelque chose.