Gestern, am 5. August, fand in San Francisco ein Showmatch zwischen OpenAI-Leuten und Bots in der Dota 2-Disziplin statt. Bereits 2017
kämpften die Leute im Rahmen der International 2017-
Showmatches gegen OpenAI im Format „1x1 Mirror Mid“ und mit einer ganzen Reihe Einschränkungen zugunsten von Bots (Verbot der Verwendung einer Reihe von Gegenständen und eines Mechanikers), die zur Niederlage professioneller Mittelfeldspieler führten.
Da Dota 2 eine äußerst vielseitige und schwierige Disziplin ist, wurde das Treffen zwischen Menschen und KI erneut mit einer Reihe von Einschränkungen abgehalten, die das Gameplay jedoch nicht allzu radikal beeinflussten:
- Pool von 18 Helden im Zufallsentwurfsmodus (Axt, Kristalljungfrau, Todesprophet, Erdschüttler, Gyrocopter, Lich, Löwe, Nekrophos, Königin des Schmerzes, Rasiermesser, Riki, Schattenunterweltler, Slark, Scharfschütze, Sven, Gezeitenjäger, Viper oder Hexe Doktor);
- ohne göttlichen Rapier, Flasche;
- ohne kontrollierte Kreaturen und Illusionen;
- Match mit fünf Kurieren (sie können nicht entdeckt und betankt werden);
- ohne einen Scan zu verwenden.
Die schwerwiegendste Einschränkung: ein extrem kleiner Pool von Helden für beide Seiten. Jetzt gibt es in Dota 2 115 Charaktere mit verschiedenen Fähigkeiten und Mechanismen ihrer Anwendung. OpenAI kann bisher nur 18 von ihnen kontrollieren. Das Treffen war so nah wie möglich an den "realen" Bedingungen und fand im 5x5-Format statt. Gewöhnliche Menschen spielten früher gegen KI, waren früher im E-Sport tätig, aber jetzt sind sie keine E-Sportler mehr. Das einzige Zugeständnis für die Menschen war, dass die
Reaktion der Bots auf 200 ms begrenzt war , um Situationen mit sofortigem „Drücken“ der Tasten zu vermeiden. Fazit:
Das KI-Team besiegte die Leute mit 2: 0 auf den Karten . Es war möglich, gegen OpenAI zu gewinnen, nachdem das Publikum die Helden für die KI ausgewählt hatte (Slark, Sven, Axe, Riki und Queen of Pain). Nach Schätzungen von OpenAI betrug die Gewinnchance mit einem solchen Entwurf nur 2,9%. Darüber hinaus konnten normale Gäste der Veranstaltung vor Beginn des Hauptspiels mit Bots spielen, und in diesen Meetings war die Dominanz der KI noch deutlicher, was beeindruckend ist.
Warum ist es so wichtig?
OpenAI ist ein gemeinnütziges Projekt, bei dem es sich jedoch um bekannte und einflussreiche Personen handelt. Das Projekt wurde 2015 von Ilon Musk,
Sam Altman , gegründet. Sponsoren waren
Peter Thiel und
Jessica Livingston . Dota 2 ist nicht die einzige Aktivität des OpenAI-Projektteams. Wenn Sie
sich den Abschnitt „Forschung“ auf der offiziellen Website des Projekts ansehen, können Sie sehen, dass OpenAI aktiv an der Schaffung von KI für beispielsweise Robotik arbeitet.
Aber wenn die Gründer des Projekts so einflussreiche Leute sind, warum hast du dann ein Computerspiel gewählt? Das Erlernen der KI, um unter sich dynamisch ändernden Bedingungen zu arbeiten, ist keine triviale Aufgabe. Die aktuellen Modelle von KI und Autopiloten arbeiten ausschließlich unter genau definierten Bedingungen, und ihr Training erfordert Millionen verschiedener Kombinationen von Ereignissen und Faktoren, damit der Bot nicht nur nach vordefinierten Mustern handelt, sondern auch beginnt, zu analysieren, was passiert, und Entscheidungen basierend auf dem Kontext der Situation zu treffen. Die Wahl von Dota 2 als Plattform zum Erlernen der KI und zum Erstellen von Bots für diese Disziplin hat sich unter vielen Gesichtspunkten als nützlich erwiesen:
- eSports ist sehr medienfreundlich.
- Es ist eine sichere Plattform zum Üben von KI-Trainingsmethoden.
- Die enorme Variabilität der Spielmechanik von Dota 2 bietet eine nahezu unbegrenzte Anzahl von Trainingsszenarien.
- Der offene Zugang zu Live-Spielaufzeichnungen bietet eine endlose Menge an Daten für die Analyse.
Der letzte Punkt auf dieser provisorischen Liste ist wahrscheinlich der wichtigste. Eines der Probleme aller KI-Trainingssysteme ist die Erstellung einer relevanten Stichprobe, auf der das System trainiert werden kann. Live-Spieler generieren jeden Tag Millionen von kostenlosen Spielaufzeichnungen absolut kostenlos, und Forscher können nur Spiele mit einem relevanten Satz von Charakteren auswählen. Und das Ergebnis ist beeindruckend.
Was ist am 5. August passiert?
Meistens sind Bots in Computerspielen entweder langweilige Brüste mit Skripten oder unbesiegbare Monster mit unmenschlicher Reaktion. Als Beispiel - "verrückte" Bots für CS 1.6, die mit einer Schrotflinte in einer Entfernung von mehr als 50 Metern
in einem Kehrtwung im Kopf getötet wurden. Um ein realistisches, aber gleichzeitig effektives Verhalten der Gaming-KI zu erreichen, sind Entwickler seit Jahrzehnten nicht in der Lage, was besonders bei Open-World-Spielen deutlich wird. Tatsächlich ist dies der Grund für die Popularität von Online-Disziplinen geworden.
Nach den Showmatches im Jahr 2017 im „1x1 Mirror“ -Format sagte das OpenAI-Team, dass das nächste Ziel vollwertige 5x5-Spiele sind. Und sie haben es fast geschafft, ihr Ziel zu erreichen: Von Bots zu erwarten, dass die Fähigkeit, die Synergie aller 115 Charaktere im Captain-Modus zu verwalten und zu analysieren, dumm wäre, aber bereits 18 Helden - das ist eine Menge. Hier ist die Berechnung der Optionen für den Peak 5x5 (10 Zeichen) für 18 Helden:
Und hier ist die Anzahl der Optionen, die wir für 115 Zeichen erhalten:
Ja, 74,5 Billionen Kombinationen! Um mit einer solchen Vielfalt fertig zu werden und alle 115 Zeichen in den OpenAI-Pool aufzunehmen, ist natürlich eine vollwertige selbstlernende KI erforderlich, die wir noch nicht haben. Darüber hinaus berücksichtigen die Berechnungen nicht die Fähigkeiten von Charakteren (4 bis 6 "Schaltflächen" pro Charakter, ausgenommen Invoker), Arten von Fähigkeiten (aktiv, passiv, gerichtet, nicht gerichtet, AoE auf einen Punkt gerichtet), Dutzende von Objekten, aktive Effekte von Objekten, Modifikatoren und so weiter und so fort.
Aber selbst für unseren Mini-Pool mit 18 Charakteren wurde eine enorme Menge Arbeit geleistet.
Im Folgenden können Sie bewerten, wie sich OpenAI-Bots in Spielen gegen Personen verhalten:
Wie Bots sich unterschieden und sich nicht von Menschen unterschieden
Für diejenigen, die zu faul sind, um mehr als 5 Stunden Aufnahme mit Twitch zu sehen, werden wir kurz erklären, wie sich das Verhalten des OpenAI Five-Bot-Teams im Vergleich zu normalen Menschen bemerkbar gemacht hat.
Es ist gleich zu erwähnen, dass die KI in der Phase des Charakterentwurfs dachte, das heißt, sie berechnete die Gewinnchancen für eine bestimmte Kombination von Charakteren basierend auf den unvollständigen Daten, die sie hatte. Gleichzeitig meldete OpenAI den prognostizierten Prozentsatz seines Sieges basierend auf dem Entwurf. Laut AI erreichte es manchmal 95%.
Das gesamte OpenAI Five-Spiel kann mit einem in der Community so beliebten Begriff als „erwürgt“ bezeichnet werden. Ja, den Empfindungen zufolge haben die Bots tatsächlich bestimmte Linien „erwürgt“ und in den ersten Minuten des Spiels ohne Reue oder Angst die Türme betreten, um einen menschlichen Spieler unter den Brunnen an der Basis zu schicken. Einige Punkte sind im folgenden Schnitt zu sehen (der Name des Videos entspricht nicht der Realität):
Neben Furchtlosigkeit (an Unverschämtheit grenzend) und organisierter Arbeit in einem frühen Stadium des Spiels bemerkten die Bots auch ihr eigenes Verständnis der Mechanik von Dota 2. Der Zweck des Spiels: die Hauptstruktur des Feindes zu durchbrechen, auf die sich die Bots konzentrierten. Also brachen 3-4 KI-Charaktere konsequent die Türme menschlicher Gegner und „tankten“ meisterhaft den Turm, um ihre eigenen Grusel zu retten und die Struktur schnell zu zerstören. Darüber hinaus wurden die Bots für die Tatsache bekannt, dass sie nicht standardmäßig Schutzzauber verwendeten, die auch Türme für sie tankten. Infolgedessen betraten in einem der Spiele mit den Gästen des Events Bots
bereits nach 9 Minuten die feindliche Basis (das Erreichen der feindlichen Basis sogar nach
15 bis 18 Minuten wird als extrem frühes Timing angesehen).
Außerdem verteilten Bots die Erfahrung effektiv untereinander, um Drawdowns von Charakteren mit 4 bis 5 Positionen zu vermeiden, zeichneten sich bei der Berechnung des Schadens aus (bei der Ausführung des letzten Schlags holte der Bot das Ziel nicht weiter ein und verstand klar, dass es genügend Schaden zum Töten gab) und verwendeten einige Gegenstände aktiv.
Ein aufmerksamer Betrachter wird auf dem Video bemerken und Entscheidungen auf der Grundlage unvollständiger Daten treffen (unter Verwendung von AoE-Fähigkeiten im "Nebel des Krieges"), nicht standardmäßige Entscheidungen treffen (erfolgreich eine Teleport-Schriftrolle verwenden, anstatt zu versuchen, für zwei zu fliehen), das Heck betreten, indem er den Feind im Wald blockiert und koordiniert der Fokus der gefährlichsten menschlichen Gegner.
Um die Menschlichkeit zu rechtfertigen, kann gesagt werden, dass menschliche Spieler kein sehr hohes Niveau des Spiels zeigten, in Bezug auf die Charakterauswahl begrenzt waren und viele Fehler machten, aber ein solcher KI-Fortschritt in nur einem Jahr der Entwicklung kann nicht verfehlen, zu beeindrucken.
Es ist wahrscheinlich, dass wir ein weiteres Showmatch sehen werden, diesmal bei The International 2018 (findet vom 20. bis 25. August statt) gegen Profis, die deutlich stärker als AI sind. Es ist jedoch möglich, dass OpenAI Five uns mit etwas überrascht.