Wir schreiben AI für Vindinium auf Single-Board-Computern. Teil 2: Entscheidungslogik

Eine Reihe von Artikeln über das Schreiben von KI für ein Multiplayer-Online-Spiel des Roguelike-Genres.

Teil 1
Teil 3

In diesem Teil des Artikels werden wir Ansätze zur Erstellung von Logik für KI betrachten, ein wenig über die Zielsetzung jedes gesetzestreuen Bots sprechen, die Wahl einer Programmiersprache bestimmen und Code schreiben.

Vindinium Game World

Um KI zu erstellen, müssen Sie die Struktur der Spielwelt verstehen.

+----------------------------------------+ |######$- $-############$- $-######| |###### ## ## ######| |####[] #### #### []####| |## #### ## ## #### ##| |#### $- $- ####| |########## @1 @4 ##########| |############ #### #### ############| |$-##$- ############ $-##$-| | $- $-################$- $- | | ######################## | | ######################## | | $- $-################$- $- | |$-##$- ############ $-##$-| |############ #### #### ############| |########## @2 @3 ##########| |#### $- $- ####| |## #### ## ## #### ##| |####[] #### #### []####| |###### ## ## ######| |######$- $-############$- $-######| +----------------------------------------+ 

 ######## ##@1@2## ## @3## ######## 

Link zum Original

Es ist erwähnenswert, dass einige weitere Aspekte nicht in den Regeln beschrieben, sondern empirisch identifiziert wurden:

• Wenn wir weniger als 21 Gesundheitseinheiten haben, Sie aber eine Mine angreifen, die Ihnen nicht gehört, sterben Sie. Ja, ja, es gibt keinen Schutz vor dem Narren, hier ist alles ernst, wie in echten Schlachten. Wenn Sie eine Niemandsmine angreifen, werden alle Ihre Minen zu Niemandsland, und wenn Sie einen Ihrer Feinde angreifen, gehen Ihre Minen in die Hände des Spielers über, dem diese Mine gehört.
• Das Spiel beschreibt das folgende Verfahren: - - Wir 1 . Und was passiert, wenn wir während der Ausführung des Befehls sterben (im Spiel können Sie dies nur tun, indem Sie im Kampf mit dem Kobold sterben)? Wir werden wiedergeboren (und töten sofort den Spieler, der sich jetzt an unserem Spawnpunkt befindet), verlieren jedoch die Fähigkeit, Gegner in der Nähe zu treffen, und verlieren auch nicht 1 Gesundheit aufgrund von Durst.
• Nachdem wir den Feind getötet haben, der während unserer Wiedergeburt an unserem Spawnpunkt steht, erobern wir seine Minen, hehe.
• Die Karte hat ein quadratisches Erscheinungsbild, die Länge der Karte nimmt gerade Werte auf dem Segment an [8, 28].

"Lerne von deinen Feinden und du wirst ihre Stärken verstehen"

Vindinium ist ein öffentliches Spiel. Seine nützliche Seite ist, dass wir in das Profil eines jeden Spielers schauen und die letzten hundert Kämpfe mit seiner Teilnahme sehen können. "Ausgezeichnet! Es ist Zeit, neuronale Netze zu verwenden, denn wir haben 50 Top-Spieler, nehmen wir die Top 10 von ihnen. Jeder der letzten 100 Kämpfe enthält ~ 300 Momente, in denen der Spieler eine Entscheidung treffen musste, insgesamt etwa 200-300.000 Einheiten Material für das Training! Und Sie können jede Situation im Uhrzeigersinn drehen, spiegeln usw., um noch mehr Material für das Training zu erhalten und das Ergebnis zu konsolidieren. Dies gibt uns bis zu 4,8-7,2 Millionen Materialeinheiten "- die Stimme der Vernunft kam heraus. Ja, tatsächlich hat eine solche Idee ein Existenzrecht. Darüber hinaus haben neuronale Netze viele Vorteile.

• Alle Schulungsunterlagen können problemlos aus Open Source analysiert werden.
• Für die Reflexion über Computer Vision wird ein breites Spektrum eröffnet:
  
  • Sie können alles so lassen, wie es ist. Es gibt 28 * 28 Eingangsneuronen (wenn die Karte kleiner ist, füllen Sie sie mit Bäumen).
  • Sie können jedes Mal entsprechend der Position des Helden zentrieren (vielleicht bringt es ein erstaunliches Ergebnis);
  • Sie können die Karte in Form eines Diagramms darstellen, wodurch die Arbeit des neuronalen Netzwerks beim Auffinden von Mustern erheblich erleichtert wird. Diese Option ermöglicht es dem Neuron, schnell Muster komplexen Verhaltens zu finden und schnell zu verstehen, warum wir, wenn wir wenig Gesundheit haben, zu einer entfernten Taverne gehen, wenn sich nur ein paar Tavernen in ein paar Zellen von uns befinden, selbst wenn der Gegner direkt daneben ist.
• Ein bereits trainiertes neuronales Netzwerk kann angesichts der Aufgabe, Ressourcen im Voraus zu verbrauchen, kompakt in 512 Megabyte RAM platziert werden (tatsächlich werden etwa 480 Megabyte erhalten), so dass die Leistung eines Einplatinencomputers für Berechnungen ausreicht.

Der jugendliche Maximalismus in mir möchte jedoch den komplizierteren Weg gehen - nicht die Suche nach Mustern auf das neuronale Netzwerk zu legen, sondern diese Arbeit selbst zu erledigen, auf der Grundlage der intuitiv höheren Plastizität dieser Lösung.

Also. Entscheidungsbäume, Alpha-Beta-Clipping, Minimaxe ... zu anspruchsvolle Aufgaben! Beim Vindinium-Subreddit haben mehrere Entwickler, die den Schleier der Geheimnisse ihrer Bots enthüllen, diese Lösung bereits verwendet, und wahrscheinlich nicht unter solchen spartanischen Bedingungen. Leider ist es in diesem Bereich unwahrscheinlich, dass etwas besser gemacht werden kann als die anderen.

Nachdem ich Artikel über evolutionäre, genetische Algorithmen und das Lösen von Bäumen gelesen hatte, grub ich geheimes Wissen aus - potenzielle Felder. Mehr darüber können Sie hier und hier lesen. Diese Idee schien sehr gut zu funktionieren, da das potenzielle Feld ein planarer Graph ist und in jedem Link eine Funktion platziert ist, die von den Eingabedaten abhängt (insbesondere von der Entfernung zum Objekt, aber niemand stört sich daran, mehr Bedingungen zu schaffen). All dies passt perfekt in die Realität von Vindinium - Sie müssen nicht nach dem Pfad zum Objekt suchen, wenn dieser bereits im Algorithmus enthalten ist.

"Ziemlich spezifische Aromen"

Sehen wir uns die Kämpfe der Top-Charaktere an. Bevor wir anfangen, werden wir einen Favoriten auswählen, ihm folgen, ihn anfeuern, für die falschen Entscheidungen im Stil von "aber ich hätte an diesem Ort gehandelt ..." züchtigen. Nach einem Dutzend Kämpfen können Sie bereits die erste Skizze erstellen, was eine gesetzestreue KI ist (die Bedingungen werden in der richtigen Reihenfolge überprüft):

1. Sie sollten sich dem Spawnpunkt des Feindes nicht nähern, wenn der Feind die Chance hat zu sterben (d. H. Wenn wir einen unrühmlichen Tod erwarten können, wenn wir auf dem Spawnpunkt des Feindes stehen).
2. Es ist töricht, deinen Feind in der Nähe seines Spawnpunkts zu bekämpfen, denn er wird immer noch wie ein klarer Phönix mit voller Gesundheit sein und erneut versuchen, unsere ehrlich geplünderten Minen zu erobern.
3. Wenn der Feind in unserer Nähe steht und wir in der Nähe der Taverne stehen - Zeit, sich zu betrinken. Gemessen an den zahlreichen blutigen Schlachten in der Nähe der Mittel zum Lebensunterhalt und zur Entspannung ist diese Regel sehr relevant.
4. Wenn wir den Feind / die Feinde nicht besiegen können, aber es schaffen, zur Taverne zu rennen, rennen wir;
5. Wenn wir den Feind / die Feinde nicht besiegen können und keine Zeit haben, die Taverne zu erreichen, dann:
   
   • Wenn wir uns auf einer Niemandsfarm umbringen können, bringen wir uns selbst um. Haben Sie einen Bissen!
   • Wenn wir an der Mine eines Menschen mit der geringsten Menge Gold sterben können, haben wir uns selbst darüber informiert.
   • Wenn ein trauriges Ende auf uns wartet, müssen wir diesem Reptil so viel Gesundheit wie möglich nehmen. Lassen Sie ihn lange an seinen Fehler denken!
6. Wenn es einen Feind gibt, den wir innerhalb von zwei unserer Züge töten können und der Minenlinien hat, greifen wir an.
7. Wenn es einen Feind gibt, der von allen Minilocks weiter entfernt ist als wir, und der 33% Minilock unter Kontrolle hat. Und wir können ihn besiegen - wir gewinnen, sonst trinken wir Bier.
8. Wir erobern Farmen, wenn nichts anderes übrig bleibt.

Frage Antwort:

• Was sind seine Vorteile gegenüber neuronalen Netzen, die diese Aufgabe hundertmal besser erledigen können, oder Bäumen, die alle Ihre nächsten n Schritte kennen und die bereits Gegenmaßnahmen entwickelt haben? Alles, was bleibt, ist die Verwendung einer guten Bewertungsfunktion?

• (1) Multifunktionalität. Es ist einfacher, Parameter zu ändern und neue Funktionen hinzuzufügen. Sie folgen einem solchen Charakter, freuen sich und dann bam - und Sie sehen, dass Sie zu einem bestimmten Zeitpunkt völlig anders und vorsichtiger hätten handeln können - wir schreiben eine neue Regel oder ändern die alte. (2) Wir wissen auch genau, welche Entscheidung das Programm bei der Auswahl eines bestimmten Zuges leitete. (3) Potenzielle Felder haben sich in Bagels als Grundlage für die künstliche Intelligenz von Bots gut gezeigt.

  
  
• Beweisen Sie, dass Ihr Ansatz gültig ist, dass Ihre Absichten etwas wert sind.

• In der Rangliste hängt Zaraza 0.1 auf dem 27. Platz - KI auf potenziellen Feldern, die von nur drei Instinkten geleitet wird - greift gedankenlos nach allem, was ihm im Weg steht, trocknet nicht in Bars aus und verhält sich vorsichtig mit Feinden. Wenn Sie seinen Bewegungen folgen, werden Sie sehen, wie gut er kämpft, obwohl dies für die KI einfach unglaublich ist, die auf drei einfachen Regeln basiert und er nicht einmal von einem komplizierten Verhalten träumen wird. Außerdem arbeite ich jetzt an Zonko 0.11 , einer stark verbesserten Version von Zaraz 'Alkohol. Sie können aufgrund der verbesserten Interaktion mit Feldern ein viel komplexeres Verhalten integrieren - genau wie beim neuen GPS. Aber wie sich herausstellte, ist es unersättlich in Bezug auf Ressourcen, so dass der Prozess seiner Optimierung jetzt stattfindet ... Aber ich schweife ab, jetzt sprechen wir über strenge Beschränkungen, strenge strenge Regeln (...).

  
  
• Dein Glaube ist lächerlich, dein Glaube ist zu schwach! Ich kann eine KI für method_name erstellen und sie wird dich zerreißen!
• Es wird sehr angenehm sein, den Gedanken anderer Menschen zu diesem Thema zuzuhören. Außerdem habe ich für Sie bereits alle Kämpfe der Top-10-Spieler zusammengestellt, nur 1000 Kämpfe und ungefähr 1.000.000 Moves - Link (.zip - 33 MB, RAW - 1,68 GB). Ich biete die Bedingungen des Spiels an:
  
  • Registrieren Sie Bots unter Ihren Spitznamen in geektimes.
  • An die fünf Spieler, die vor dem 30. September die meisten Punkte erzielt haben als ich oder jeder andere, der angegeben hat, zu spielen, sende ich eine Postkarte aus Moskau.

Also, jetzt die Programmiersprache ... Persönlich bin ich jetzt zwischen Python3 (schnelle Entwicklung, einfach zu lesen, lange damit vertraut, es gibt Pypy3 (schnell optimierter Interpreter), Jupyter ("Notizbücher", in die Sie sicher Codeteile schreiben und optimieren können) unendlich); aber pypy / pypy3 funktioniert nicht unter ARM 64bit, und tatsächlich wird ARM nicht mehr unterstützt, und die Sprache selbst ist den kompilierten von Natur aus unterlegen) und Golang (auch schnelle Entwicklung, leicht zu verstehen, eine große Tendenz zum Backend, Multithreading und Multiprocessing). läuft schneller als Python, aber mit etsya, um sich an das Fehlen einer interaktiven Umgebung zu statischer Typisierung verwendet).

Die Hauptfunktion, die mit dem Server kommuniziert, kann wie folgt dargestellt werden:

 #     train_url, arena_url, userkey,   config.py from config import train_url, arena_url, userkey import requests, random, json, time def start(is_train = True, debug = True, show_decision = True): #   if is_train: r = requests.post(train_url, data={"key":userkey}) else: r = requests.post(arena_url, data={"key":userkey}) timer = time.time() data = json.loads(r.text) if debug or show_decision: print('viewUrl:', data['viewUrl']) print(' :', data['game']['board']['size']) # while True: if debug: print('Turn', data['game']['turn']) #     direction = random.choice(['North', 'South', 'East', 'West', 'Stay']) if show_decision or debug: print(' ',str(data['game']['turn'])+':', direction) #    ,   ,  . if debug: print(':',time.time()-timer) r = requests.post(data['playUrl'], data={'key': userkey, 'dir': direction}) timer = time.time() if r.status_code != 200: print('Request code :', r.status_code) print('Reason:', r.reason) break data = json.loads(r.text) if data['game']['finished']: print('Game finished.') break 

Es wird jedoch empfohlen, Standardentwicklungen zu verwenden, deren Links auf der offiziellen Website von Vindinium zu finden sind.

Extra 1: Ich möchte wirklich etwas über die Entwicklung der künstlichen Intelligenz auf der Basis von Vindinium von anderen Leuten lesen, denn auf diese Weise können Sie die Vielschichtigkeit der Lösung dieses Problems verstehen. Um die Kampfzusammenfassung im JSON-Format zu erhalten (dies kann zum Debuggen von Kämpfen nützlich sein), müssen Sie den Link zum Kampf der Form http://vindinium.org/fd96vc2z in den Link des Formulars http://vindinium.org/events/fd96vc2z konvertieren . Aber ich rate nicht, den Spielserver zu quälen und zu versuchen, Hunderte von Kämpfen von Topspielern zu bekommen. Verwenden Sie den obigen Link.

Extra 2: Wenn jemand versuchen möchte, seine Betriebszeit in Vindinium in die Grenzen von NanoPi Neo2 oder Orange Pi Zero zu bringen, kann ich die Möglichkeit bieten, mit diesen Einplatinencomputern zu arbeiten.

→ Link zu Vindinium
→ Der Link zum Vindinium-Subreddit ist sehr nützlich. Dort können Sie meine Bewegungen in Vindinium verfolgen
→ Link zu meinem Github mit ein wenig Arbeit an Vindinium

Im nächsten Teil werden wir potenzielle Felder einrichten, mit potenziellen Karten arbeiten, Bedingungen schreiben und all dies der modernen Realität aufzwingen.