Nous écrivons l'IA pour Vindinium sur des ordinateurs à carte unique. Partie 2: logique de décision

Une série d'articles sur l'écriture de l'IA pour un jeu multijoueur en ligne du genre roguelike.

Partie 1
3e partie

Dans cette partie de l'article, nous examinerons les approches pour créer une logique pour l'IA, parlerons un peu de la définition des objectifs de chaque bot respectueux des lois, et déterminerons également le choix d'un langage de programmation et rédigerons du code.

Vindinium Game World

Pour créer une IA, vous devez comprendre la structure du monde du jeu.

+----------------------------------------+ |######$- $-############$- $-######| |###### ## ## ######| |####[] #### #### []####| |## #### ## ## #### ##| |#### $- $- ####| |########## @1 @4 ##########| |############ #### #### ############| |$-##$- ############ $-##$-| | $- $-################$- $- | | ######################## | | ######################## | | $- $-################$- $- | |$-##$- ############ $-##$-| |############ #### #### ############| |########## @2 @3 ##########| |#### $- $- ####| |## #### ## ## #### ##| |####[] #### #### []####| |###### ## ## ######| |######$- $-############$- $-######| +----------------------------------------+ 

 ######## ##@1@2## ## @3## ######## 

Lien vers l'original

Il convient de noter quelques autres aspects qui n'étaient pas décrits dans les règles, mais identifiés empiriquement:

• Si nous avons moins de 21 unités de santé, mais que vous attaquez une mine qui ne vous appartient pas, alors vous mourrez. Oui, oui, il n'y a pas de protection contre le fou, tout est sérieux ici, comme dans les vraies batailles. Si vous attaquez un no man's mine, toutes vos mines deviennent no man's land, et si vous attaquez l'un de vos ennemis, vos mines passent entre les mains du joueur qui possède cette mine.
• Le jeu décrit la procédure suivante: - - Nous 1 . Et que se passe-t-il si nous mourons pendant l'exécution de l'ordre (dans le jeu, vous ne pouvez le faire qu'en mourant dans la bataille avec le gobelin)? Nous renaissons (et tuons instantanément le joueur qui est maintenant à notre point de réapparition), mais nous perdons la capacité de frapper les ennemis à proximité et nous ne perdons pas non plus 1 point de vie à cause de la soif.
• Après avoir tué l'ennemi qui se tenait à notre point d'apparition lors de notre renaissance, nous capturons ses mines, hehe.
• La carte a une apparence carrée, la longueur de la carte prend des valeurs paires sur le segment [8, 28].

"Apprenez de vos ennemis et vous comprendrez leurs forces"

Vindinium est un jeu public, son côté utile est que nous pouvons regarder le profil de n'importe quel joueur et voir les cent derniers combats avec sa participation. "Excellent! Il est temps d'utiliser les réseaux de neurones, parce que nous avons 50 meilleurs joueurs, prenons le top 10 d'entre eux, chacun des 100 derniers combats contient ~ 300 moments où le joueur a dû prendre une décision, totalisant environ 200-300 mille unités Et vous pouvez faire pivoter chaque situation dans le sens horaire, miroir, etc., pour obtenir encore plus de matériel pour la formation et consolider le résultat, cela nous donnera jusqu'à 4,8 à 7,2 millions d'unités de matériel "- la voix de la raison est sortie. Oui, en effet, une telle idée a le droit d'exister. De plus, les réseaux de neurones présentent de nombreux avantages.

• Tout le matériel de formation est facilement analysé à partir d'une source ouverte.
• Un large champ est ouvert à la réflexion sur la vision par ordinateur:
  
  • Vous pouvez tout laisser tel quel, il y aura 28 * 28 neurones d'entrée (si la carte est plus petite, remplissez-la d'arbres);
  • Vous pouvez centrer chaque fois en fonction de la position du héros (cela apportera peut-être un résultat étonnant);
  • Vous pouvez présenter la carte sous forme de graphique, facilitant ainsi grandement le travail du réseau neuronal dans la recherche de modèles; Cette option permettra au neurone de trouver rapidement des schémas de comportement complexe et de comprendre rapidement pourquoi, si nous avons peu de santé, nous allons dans une taverne éloignée, s'il n'y a qu'une autre taverne dans quelques cellules de nous, même si l'ennemi est juste à côté;
• Un réseau de neurones déjà formé, étant donné la tâche de consommer des ressources à l'avance, peut être placé de manière compacte dans 512 mégaoctets de RAM qui nous sont alloués (en fait, il s'avère environ 480 mégaoctets), à tel point que la puissance d'un ordinateur monocarte est suffisante pour les calculs.

Cependant, le maximalisme adolescent en moi veut emprunter la voie la plus compliquée - non pas poser la recherche de modèles sur le réseau neuronal, mais faire ce travail par moi-même, le front, en s'appuyant sur la plasticité supérieure intuitive de cette solution.

Alors. Arbres de décision, écrêtage alpha bêta, minimax ... tâches trop exigeantes! Au subreddit Vindinium, plusieurs développeurs, révélant le voile des secrets de leurs bots, ont déjà utilisé cette solution, et probablement pas dans de telles conditions spartiates. Malheureusement, dans ce domaine, il est peu probable que quelque chose puisse être mieux fait que les autres.

Après avoir lu des articles sur les algorithmes génétiques évolutifs, la résolution d'arbres, j'ai déterré des connaissances secrètes - des champs potentiels. Vous pouvez en lire plus ici et ici . Cette idée a semblé très efficace, car le champ potentiel est un graphe planaire, une fonction est placée dans chaque lien, qui dépend des données d'entrée (en particulier, la distance de l'objet, mais personne ne dérange pour créer plus de conditions). Tout cela s'intègre parfaitement dans la réalité de Vindinium - vous n'avez pas besoin de chercher le chemin vers l'objet, s'il est déjà dans l'algorithme.

"Saveurs assez spécifiques"

Regardons les combats des meilleurs personnages. Avant de commencer, nous choisirons un favori, nous le suivrons, l'encouragerons, châtierons les mauvaises décisions dans le style de "mais j'aurais agi à cet endroit ...". Après une dizaine de combats, vous pouvez déjà faire le premier croquis de ce qu'est une IA respectueuse des lois (les conditions sont vérifiées dans l'ordre):

1. Vous ne devriez pas vous approcher du point d'apparition de l'ennemi si l'ennemi a une chance de mourir (c'est-à-dire si nous pouvons nous attendre à une mort peu glorieuse en se tenant sur le point d'apparition de l'ennemi);
2. Il est insensé de combattre votre ennemi près de son point de réapparition, car il sera toujours comme un phénix clair en pleine santé et tentera à nouveau de capturer nos mines honnêtement pillées;
3. Si l'ennemi se tient près de nous, et nous nous tenons près de la taverne - il est temps de se saouler. A en juger par les nombreuses batailles sanglantes près des moyens de subsistance et de relaxation, cette règle est très pertinente;
4. Si nous ne pouvons pas vaincre l'ennemi / les ennemis, mais que nous parvenons à courir vers la taverne, nous courons;
5. Si nous ne pouvons pas vaincre l'ennemi / les ennemis et que nous n'avons pas le temps d'atteindre la taverne, alors:
   
   • Si nous pouvons nous tuer dans une ferme sans homme, nous nous en tuons. Prenez une bouchée!
   • Si nous pouvons mourir à propos de la plaque de mine d'une personne avec la plus petite quantité d'or, nous l'avons vu par nous-mêmes;
   • Si une triste fin nous attend, alors nous devons prendre autant de santé que possible de ce reptile, laissez-le se souvenir de son erreur pendant longtemps!
6. S'il y a un ennemi que nous pouvons tuer en moins de deux coups et qu'il a des lignes de mine, nous attaquons;
7. S'il y a un ennemi plus éloigné de tous les minilocks que nous, et qu'il a 33% de minilock sous contrôle Et nous pouvons le vaincre - nous allons gagner, sinon nous allons boire de la bière;
8. Nous capturons des fermes s'il ne reste rien d'autre.

Q & R:

• Quels sont ses avantages par rapport aux réseaux de neurones qui peuvent accomplir cette tâche cent fois mieux, ou les arbres que tous vos n prochains pas en avant connaissent et ont développé des contre-mesures, il ne reste plus qu'à bien utiliser la fonction d'évaluation?

• (1) Multifonctionnalité. Il est plus facile de modifier les paramètres, d'ajouter de nouvelles fonctions. Vous suivez un tel personnage, réjouissez-vous, puis bam - et vous voyez qu'à un certain moment vous auriez pu agir complètement différemment, plus prudemment - nous écrivons une nouvelle règle ou changeons l'ancienne. (2) Nous savons également exactement quelle décision a guidé le programme lors du choix d'un mouvement particulier. (3) Les champs potentiels se sont bien révélés dans les bagels comme base de l'intelligence artificielle des robots.

  
  
• Prouvez que votre approche est valable, que vos intentions valent quelque chose.

• Dans le classement, Zaraza 0.1 est en 27e position - l'IA sur les champs potentiels, qui est guidée par seulement trois instincts - saisit sans réfléchir tout ce qui se met en travers de son chemin, ne se dessèche pas dans les bars et se comporte avec prudence avec les ennemis. Si vous suivez ses mouvements, vous verrez à quel point il se bat, bien que ce soit tout simplement incroyable pour l'IA, qui est basée sur trois règles simples et qu'il ne rêvera même pas d'un comportement compliqué. De plus, maintenant je travaille sur Zonko 0.11 , qui est une version grandement améliorée de l'alcool de Zaraz, vous pouvez y intégrer un comportement beaucoup plus complexe en raison d'une meilleure interaction avec les champs - tout comme dans un GPS de nouvelle génération. Mais, comme il s'est avéré, il est vorace sur les ressources, donc le processus de son optimisation se déroule maintenant ... Mais je m'égare, maintenant nous parlons de restrictions strictes, de règles strictes strictes (...).

  
  
• Vos croyances sont ridicules, votre foi est trop faible! Je peux créer une IA sur nom_méthode et cela vous déchirera!
• Il sera très agréable d'écouter les réflexions d'autres personnes sur ce sujet. De plus, pour vous, j'ai déjà rassemblé tous les combats des 10 meilleurs joueurs, seulement 1000 combats et environ 1 000 000 de coups - link (.zip - 33MB, RAW - 1,68GB). J'offre les conditions du jeu:
  
  • Enregistrez des bots sous vos surnoms dans les geektimes.
  • Aux cinq joueurs qui ont marqué le plus de points avant le 30 septembre que moi ou quiconque ayant indiqué jouer, j'enverrai une carte postale de Moscou).

Donc, maintenant le langage de programmation ... Personnellement, je me précipite maintenant entre Python3 (développement rapide, facile à lire, familier depuis longtemps, il y a pypy3 (interprète optimisé rapidement), jupyter ("cahiers" dans lesquels vous pouvez écrire en toute sécurité des morceaux de code et les optimiser pour infini); mais pypy / pypy3 ne fonctionne pas sous ARM 64 bits, et en fait ARM n'est plus pris en charge, et le langage lui-même est inférieur aux compilés par sa nature) et Golang (également développement rapide, il est facile à comprendre, un grand biais vers le backend, le multithreading et le multiprocessing, s'exécute plus rapidement que python; mais avec etsya pour se habituer à l'absence d'un environnement interactif pour le typage statique).

La fonction principale qui communique avec le serveur peut être représentée comme suit:

 #     train_url, arena_url, userkey,   config.py from config import train_url, arena_url, userkey import requests, random, json, time def start(is_train = True, debug = True, show_decision = True): #   if is_train: r = requests.post(train_url, data={"key":userkey}) else: r = requests.post(arena_url, data={"key":userkey}) timer = time.time() data = json.loads(r.text) if debug or show_decision: print('viewUrl:', data['viewUrl']) print(' :', data['game']['board']['size']) # while True: if debug: print('Turn', data['game']['turn']) #     direction = random.choice(['North', 'South', 'East', 'West', 'Stay']) if show_decision or debug: print(' ',str(data['game']['turn'])+':', direction) #    ,   ,  . if debug: print(':',time.time()-timer) r = requests.post(data['playUrl'], data={'key': userkey, 'dir': direction}) timer = time.time() if r.status_code != 200: print('Request code :', r.status_code) print('Reason:', r.reason) break data = json.loads(r.text) if data['game']['finished']: print('Game finished.') break 

Mais il est recommandé d'utiliser des développements standard, dont les liens peuvent être trouvés sur le site officiel de Vindinium.

Extra 1: Je veux vraiment lire sur le développement de l'intelligence artificielle basée sur Vindinium d'autres personnes, car de cette façon, vous pouvez comprendre la nature multiforme de la résolution de ce problème. Afin d'obtenir le résumé de la bataille au format json (cela peut être utile pour le débogage des combats), vous devez convertir le lien vers la bataille du formulaire http://vindinium.org/fd96vc2z en lien du formulaire http://vindinium.org/events/fd96vc2z . Mais je ne conseille pas de tourmenter le serveur de jeu, d'essayer d'obtenir des centaines de combats de meilleurs joueurs, utilisez le lien ci-dessus.

Extra 2: Si quelqu'un veut essayer d'exécuter son temps de fonctionnement dans Vindinium dans les limites de NanoPi Neo2 ou Orange Pi Zero, je peux offrir la possibilité de travailler avec ces ordinateurs à carte unique.

→ Lien vers Vindinium
→ Le lien vers le subreddit Vindinium est une chose très utile, là vous pouvez suivre mes mouvements dans Vindinium
→ Lien vers mon github avec un peu de travail sur Vindinium

Dans la prochaine partie, nous allons mettre en place des champs potentiels, travailler avec des cartes potentielles, écrire des conditions et imposer tout cela aux réalités modernes.