Die Entwickler erklärten, wie die KI Pokerprofis in unbegrenztem Hold'em in einer Entfernung von 120.000 Händen schlug

Der professionelle Pokerspieler Jason Les spricht mit Professor Tuomas Sandholm von der Carnegie Mellon University während eines Heads-Ups mit dem Libratus-Bot. Jason verlor fast eine Million bedingte Dollar an das Programm, mehr als jeder andere Profi

In letzter Zeit vergleichen Entwickler schwacher KI-Systeme häufig die Wirksamkeit ihrer Programme bei der Spielkonfrontation gegen Menschen. Das heißt, einfach in Spielen. Der Computer hat bereits Mann in Dame, Schach und gehen besiegt. In diesen Spielen mit vollständigen Informationen zu jeder Zeit während des Spiels haben alle Spieler vollständige Informationen über den Status des Spiels, dh über die Position und alle möglichen Bewegungen eines Spielers.

Im Gegensatz zu solchen deterministischen Situationen ist bei Spielen mit unvollständigen Informationen ein Teil der Informationen über den Status des Spiels vor dem Spieler verborgen - beispielsweise die Karte des Gegners. Unlimited Texas Hold'em ist nur eines dieser Spiele. Zusätzlich zu den Karten des Gegners wird hier das Element der Unsicherheit aufgrund der willkürlichen Größe jeder Wette hinzugefügt. Vor diesem Hintergrund wird die Anzahl der möglichen Ergebnisse auf 10 ¹⁶¹ geschätzt.

Vielleicht ist Texas Hold'em das beliebteste Spiel mit unvollständigen Informationen in der Welt. Milliarden von Dollar werden jeden Tag online gespielt. Die Verwendung von Bots war früher strengstens verboten, und jetzt haben die Besitzer von Pokerräumen einen neuen Grund für die Überwachung von Prozessen auf dem Computer des Spielers, da das Libratus-Programm die Heads-up-Stacks selbst den besten Profis zuverlässig wegnimmt.

Das Gewinnspiel von Libratus gegen vier Pokerprofis fand vom 11. bis 30. Januar 2017 im Rahmen des Wettbewerbs „Brains vs. AI . "


Stapel des Libratus-Programms und vier Gegner während der 20 Tage des Wettbewerbs

AI spielte 120.000 Heads-up-Hände und blieb infolgedessen für 1.766.250 konventionelle Dollar im positiven Bereich. Die Spieler selbst waren sehr beeindruckt von dem Spielprogramm, das seine Strategie jeden Tag gekonnt änderte und sich an die Aktionen der Spieler anpasste.

Natürlich war das Spiel nicht um echtes Geld, also waren die Spieler selbst etwas entspannt und nicht zu verantwortungsbewusst gegenüber dem Spiel, als wenn sie um ihr eigenes Geld spielen würden. Ja, und sie mussten jeden Tag Stunden am Computer verbringen, was körperlich anstrengend ist. Trotzdem kann ein so verlässlicher Gewinn des Programms nur beeindrucken. Über 14 Big Blinds für hundert Hände kommen heraus. Laut den Entwicklern schließt der Gewinn eines solchen Betrags über eine so lange Distanz mit einer Wahrscheinlichkeit von 99,7% den Einfluss des Glücks aus, das heißt, dies ist wirklich ein statistisch signifikanter Sieg.

Jetzt haben die Entwickler des Programms der Carnegie Mellon University einen wissenschaftlichen Artikel veröffentlicht , in dem die Architektur und die Prinzipien des KI-Trainings erläutert werden, die Pokerprofis schlagen.

Kurz gesagt, um die Berechnungen zu vereinfachen, gruppierte das Programm ^10.161 mögliche Ergebnisse nach ähnlichen Händen (z. B. Flush an den König und Flush an eine Dame) und ähnlichen Einsatzgrößen. Libratus besteht aus drei Modulen. Die erste ist eine detaillierte vordefinierte Strategie für das Spielen in den ersten Runden (Reichweite der Hände, die von jeder Position aus erhöht werden müssen). Darüber hinaus ist die Strategie nicht so klar formuliert. Die zweite Strategie hängt weitgehend vom Spielverlauf ab, dh von den gezogenen Karten und dem Verhalten des Gegners unter Berücksichtigung seiner Reichweiten und Statistiken. Das dritte Modell ist eine Spielstrategie speziell gegen unvorhersehbare Gegner, dh Menschen. Diese dritte Strategie wird ständig in Echtzeit aktualisiert. Wenn eine Person ein unerwartetes Manöver für das Programm unternahm, speicherte sie es und gab es in ihr Modell ein, wobei sie das Modell unter Berücksichtigung neuer Daten änderte und sich selbst verbesserte.

Laut den Entwicklern bietet eine erfolgreiche Arbeit in Situationen mit unvollständigen Informationen der KI nicht nur in Spielen einen Vorteil. Tatsache ist, dass solche Situationen im wirklichen Leben allgegenwärtig sind. Fast das gesamte menschliche Leben, fast alle sozialen und wirtschaftlichen Beziehungen sind „Spiele“ mit unvollständigen Informationen. Daher ist der Besitz geeigneter Werkzeuge für das erfolgreiche Überleben der KI in der realen Welt äußerst wichtig. In der Praxis können solche Programme beispielsweise verwendet werden, um wirksame Strategien in Sicherheitssystemen, Wirtschaftsmodellen, politischen Modellen und anderen Systemen mit unvollständigen Informationen zu entwickeln.

Die im Libratus-Programm verwendeten Techniken sind weitgehend unabhängig vom Umfang und können daher in anderen Anwendungen verwendet werden.

Der wissenschaftliche Artikel wurde am 17. Dezember in der Zeitschrift Science (doi: 10.1126 / science.aao1733, pdf ) veröffentlicht.