Guten Tag, lieber Leser!
In diesem Artikel werden wir ein neuronales Netzwerk entwickeln, das ein speziell dafür erstelltes Spiel auf einem guten Niveau bestehen kann.
Hinweis: In diesem Artikel werden weder der Begriff " neuronales Netzwerk " und alles, was damit zusammenhängt, erläutert, noch werden grundlegende Informationen zum Netzwerktraining mithilfe der Trace-Methode bereitgestellt . Wir empfehlen Ihnen, sich kurz mit diesen Konzepten vertraut zu machen, bevor Sie diesen Artikel lesen.Start: Beschreibung der Spielregeln
Ziel ist es, möglichst viele Kreise mit grünem Rand zu fangen und Kreise mit rotem Rand zu vermeiden.
Bedingungen:- Auf dem Feld fliegen doppelt so viele rote Kreise wie grüne Kreise;
- Grüne Kreise bleiben im Feld, rote Kreise fliegen aus dem Feld und werden eliminiert.
- Grüne und rote Kreise können kollidieren und sich mit ihrer eigenen Art abstoßen.
- Spieler - Ein gelber Ball auf dem Bildschirm kann sich innerhalb des Feldes bewegen.
Nach dem Berühren verschwindet der Ball und der Spieler erhält die entsprechenden Punkte.
Weiter: KI entwerfen
Rezeptoren
Damit die KI entscheiden kann, wohin der Spieler bewegt werden soll, müssen Sie zuerst Umgebungsdaten abrufen. Erstellen Sie dazu spezielle
Scanner , die gerade Linien sind. Der erste Scanner befindet sich in einem Winkel von 180 Grad zur unteren Feldgrenze.
Es wird 68 geben: Die ersten 32 - reagieren auf Bomben (rote Kreise), die nächsten 32 - reagieren auf Äpfel (grüne Kreise) und die letzten 4 - empfangen Daten über die Position der Feldgrenzen relativ zum Spieler. Nennen wir diese 68 Scanner die
Eingangsneuronen des zukünftigen neuronalen Netzwerks (Rezeptorschicht).
Die Länge der ersten 64 Scanner beträgt 1000px, die restlichen 4 entsprechen der Aufteilung des Feldes in zwei Hälften entsprechend der entsprechenden Symmetriefläche
AI-Bereich (1/4)
In der Abbildung: Geben Sie Neuronen ein, die Werte von Scannern empfangen
Die Werte auf den Scannern sind normalisiert, d.h. reduziert auf den Bereich [0, 1] und je näher das den Scanner kreuzende Objekt am Player ist, desto größer ist der Wert, der an den Scanner übertragen wird.
Algorithmus zum Empfangen von Daten durch Scanner und deren Implementierung auf JSDer Scanner ist also direkt. Wir haben die Koordinaten eines seiner Punkte (Spielerkoordinaten) und den Winkel relativ zur OX-Achse. Mit den trigonometrischen Funktionen sin und cos können wir den zweiten Punkt erhalten.
Von hier erhalten wir den Richtungsvektor der Linie, was bedeutet, dass wir die kanonische Form der Gleichung dieser Linie konstruieren können.
Um den Wert auf dem Scanner zu erhalten, müssen Sie prüfen, ob eine Kugel diese Linie schneidet. Dies bedeutet, dass Sie die Gleichung der Linie in einer parametrischen Form darstellen und all dies nacheinander für jeden Kreis für das Feld in die Kreisgleichungen einsetzen müssen.
Wenn wir diese Substitution auf eine allgemeine Form bringen, erhalten wir eine parametrische Gleichung in Bezug auf a, b und c, wobei diese Variablen die Koeffizienten der quadratischen Gleichung sind, beginnend mit dem Quadrat.
Wir laden den Leser ein, sich mit diesem Algorithmus anhand der einfachsten Definitionen der linearen Algebra genauer vertraut zu machen
Unten ist der Code der Scanner
Ball.scaners: {
Neuronales Netzwerkdesign
Daher war es üblich, den Algorithmus der Verfolgung (Referenzpfade) zum Trainieren von NS zu verwenden.
Hinweis: Um den Lernprozess zu vereinfachen, wird die Konstruktion von Matrizen weggelassen.Weiter:
- Am Ausgang des Netzwerks präsentieren wir 8 Neuronen, die für die Richtungen verantwortlich sind: das erste ist links, das zweite ist links + oben, das dritte ist oben, das vierte ist oben + rechts, das fünfte ist rechts und so weiter;
- Ein positiver Wert für ein Neuron bedeutet, dass Sie sich in die Richtung bewegen sollten, die damit verbunden ist, und negativ - das Gegenteil;
- Für uns ist es wichtig, die Werte von Scannern, die sich im gleichen Winkel zum unteren Rand des Feldes befinden, irgendwie zu kombinieren. Da bei einem negativen Ausgang die KI aus dieser Richtung abstößt, führen wir eine zusätzliche Schicht (versteckt zwischen Eingang und Ausgang) ein, die die Werte von Neuronen, die die entsprechenden Scanner paarweise widerspiegeln, addiert und die Werte von roten Neuronen mit einem "-" übernimmt.
- Offensichtlich wird die Bewegung nach links hauptsächlich durch die Informationen beeinflusst, die sich links vom Spieler befinden (nicht nur, sondern dies wird später berücksichtigt (*)) - das heißt, wir verbinden 8 Neuronen der verborgenen Schicht auf der linken Seite mit dem Neuron, das für die Bewegung nach links verantwortlich ist. Wir stellen die Verbindungen wie folgt her: Einem Neuron, das einem parallel zur Feldgrenze befindlichen Scanner entspricht, wird ein Gewicht von 1 zugewiesen, dann wird zwei benachbarten Neuronen ein Gewicht von 0,95 zugewiesen, benachbarten Neuronen ein Gewicht von 0,9, und schließlich wird dem letzten in diesem Sektor das Gewicht 0,8 zugewiesen;
- Wir berücksichtigen auch die Grenzneuronen: Wir ziehen Kommunikationen von diesen Grenzneuronen zu den Ausgaben, die die Bewegung der Grenzen beeinflussen können.
- Dasselbe gilt für die verbleibenden sieben Neuronen der Ausgangsschicht.
Nachdem wir den obigen Algorithmus abgeschlossen haben, erhalten wir das in der folgenden Abbildung gezeigte neuronale Netzwerk
* Aber das ist noch nicht alles. Es ist wichtig, das Ergebnis richtig zu interpretieren, nämlich (Y ist ein Array von Ausgangsneuronen):
Ball.vx = -(Y[0] - Y[4]) + (-(Y[1] - Y[5]) + (Y[3] - Y[6]))*0.5; Ball.vy = -(Y[2] - Y[6]) + (-(Y[3] - Y[7]) + (Y[5] - Y[1]))*0.5;
Daher haben wir das neuronale Netzwerk, das der KI des Spielers zugrunde liegt, auf dem GIF oben im Artikel erstellt und automatisch trainiert
Der Code ist verfügbar (Implementierung des Spiels und der KI) unter dem Link:
Link zum Github Ivan753 / LearningDas ist alles Vielen Dank für Ihre Aufmerksamkeit!