DeepMind, filiale d'Alphabet, engagée dans la recherche dans le domaine de l'intelligence artificielle, a annoncé une nouvelle étape dans cette grande quête: pour la première fois, l'IA a vaincu la personne dans la stratégie de Starcraft II . En décembre 2018, un réseau de neurones convolutionnels appelé AlphaStar a propagé les joueurs professionnels TLO (Dario Wünsch, Allemagne) et MaNa (Grzegorz Kominz, Pologne), marquant dix victoires. La société a annoncé cet événement hier lors d'une diffusion en direct sur YouTube et Twitch.

Dans les deux cas, les gens et le programme ont joué comme protoss. Bien que TLO ne se spécialise pas dans cette course, mais MaNa a mis en place une résistance sérieuse, puis a même remporté un match.

Dans la stratégie populaire en temps réel, les joueurs représentent l'une des trois races qui se disputent les ressources, construisent des structures et se battent sur la grande carte. Il est important de noter que la vitesse du programme et sa visibilité sur le champ de bataille étaient limitées afin qu'AlphaStar n'ait pas obtenu un avantage injuste sur les gens (correction: apparemment, la visibilité n'était limitée que lors du dernier match). En fait, selon les statistiques, le programme a même effectué moins d'actions par minute que les personnes: une moyenne de 277 pour AlphaStar, 390 pour MaNa, 678 pour TLO.



La vidéo montre la vue du match du point de vue de l'agent AI lors du deuxième match contre MaNa. La vue du côté humain est également montrée, mais elle n'était pas disponible pour le programme.

AlphaStar a été formé pour jouer au protoss dans un environnement appelé AlphaStar League. Tout d'abord, le réseau neuronal a passé trois jours à regarder des enregistrements de jeux, puis à jouer avec lui-même, en utilisant une technique connue sous le nom d'entraînement par renforcement, de perfectionnement des compétences.

En décembre, ils ont d'abord organisé une session de jeu contre TLO, dans laquelle cinq versions différentes d'AlphaStar ont été testées. A cette occasion, TLO s'est plaint de ne pas pouvoir s'adapter au jeu de l'adversaire. Le programme a gagné avec un score de 5-0.

Après avoir optimisé les paramètres du réseau neuronal, un match a été organisé une semaine plus tard contre MaNa. Le programme a de nouveau remporté cinq matchs, mais MaNa s'est vengé lors du dernier match contre la nouvelle version de l'algorithme en direct, il a donc de quoi être fier.


Évaluation du niveau d'adversaires sur lesquels le réseau neuronal a été formé

Pour comprendre les principes de la planification stratégique, AlphaStar a dû maîtriser une pensée particulière. Les méthodes développées pour ce jeu peuvent potentiellement être utiles dans de nombreuses situations pratiques lorsqu'une stratégie complexe est requise: par exemple, la planification commerciale ou militaire.

Starcraft II n'est pas seulement un jeu extrêmement difficile. C'est aussi un jeu avec des informations incomplètes, où les joueurs ne peuvent pas toujours voir les actions de leur adversaire. Il manque également une stratégie optimale. Et il faut du temps pour que les résultats des actions du joueur deviennent clairs: cela rend également l'apprentissage difficile. L'équipe DeepMind a utilisé une architecture de réseau neuronal très spécialisée pour résoudre ces problèmes.

Apprentissage limité dans les jeux

DeepMind est connu comme un développeur de logiciels qui a battu les meilleurs professionnels du go et des échecs du monde. Avant cela, la société a développé plusieurs algorithmes qui ont appris à jouer à des jeux Atari simples. Les jeux vidéo sont un excellent moyen de mesurer les progrès de l'intelligence artificielle et de comparer les ordinateurs aux humains. Cependant, il s'agit d'une zone de test très étroite. Comme les programmes précédents, AlphaStar n'effectue qu'une seule tâche, mais incroyablement bien.

Nous pouvons dire qu'une IA faible et étroite a maîtrisé les compétences de la planification stratégique et de la tactique des opérations de combat. Théoriquement, ces compétences peuvent être utiles dans le monde réel. Mais en pratique, ce n'est pas nécessairement le cas.

Certains experts pensent que de telles applications hautement spécialisées de l'IA n'ont rien à voir avec une IA forte: «Les programmes qui ont appris à jouer magistralement à un jeu vidéo ou un jeu de société spécifique au niveau« surhumain »sont complètement perdus avec le moindre changement de conditions (changer l'arrière-plan à l'écran ou changer la position). « plate - forme » virtuelle pour battre la « balle »), - dit professeur de science informatique à Portland State University, Melanie Mitchell dans l'article « RAN d'intelligence artificielle dans une ponima barrière tions " . - Ce ne sont que quelques exemples qui démontrent le manque de fiabilité des meilleurs programmes d'IA, si la situation est légèrement différente de celles sur lesquelles ils ont été formés. Les erreurs dans ces systèmes vont du ridicule et inoffensif au potentiellement catastrophique. »

Le professeur estime que la course à la commercialisation de l'IA a exercé une énorme pression sur les chercheurs pour qu'ils créent des systèmes qui fonctionnent «raisonnablement bien» dans des tâches étroites. Mais finalement, le développement d'une IA fiable nécessite une étude plus approfondie de nos propres capacités et une nouvelle compréhension des mécanismes cognitifs que nous utilisons nous-mêmes:

Notre propre compréhension des situations auxquelles nous sommes confrontés est basée sur des «concepts de bon sens» larges et intuitifs sur le fonctionnement du monde et les objectifs, les motivations et le comportement probable d'autres êtres vivants, en particulier d'autres personnes. De plus, notre compréhension du monde est basée sur nos capacités de base à généraliser ce que nous savons, à former des concepts abstraits et à tirer des analogies - en bref, adapter de manière flexible nos concepts à de nouvelles situations. Pendant des décennies, les chercheurs ont expérimenté l'enseignement du bon sens intuitif de l'IA et des capacités humaines durables à se généraliser, mais peu de progrès ont été réalisés dans ce domaine très difficile.

Jusqu'à présent, le réseau neuronal AlphaStar ne peut jouer que pour Protoss. Les développeurs ont annoncé son intention de la former à l'avenir pour jouer pour d'autres courses.