Le chef-d'œuvre de HBO, dont la première saison a même été consacrée à Game of Thrones, était un parc d'attractions futuriste dont les invités peuvent s'adonner à toutes sortes de péchés avec des robots Android hyper-réalistes. Escarmouches, combats, orgies - les riches paient des sommes énormes pour avoir le droit d'être sans scrupules et impunis. De plus, après chaque modification, les robots assassinés et violés sont redessinés, débarrassés de leurs souvenirs et remis à leur place, dans un cercle vicieux du rôle prescrit. Jusqu'à ce qu'un jour le système plante ...
Regardons cette histoire à travers les yeux du développeur - et découvrons:
- Comment fonctionne ce "Disneyland sanglant"?
- Quelles vulnérabilités ont finalement conduit à une catastrophe?
- Comment les robots forment-ils l'improvisation, comment fonctionnent les émotions pour eux, et est-il possible pour un androïde de développer sa conscience dans la vie réelle?
- La série est-elle si futuriste? Est-il réaliste de créer un tel parc avec un niveau de développement technologique moderne?
Tous les quelques spoilers sont sous la coupe - alors lisez-le en toute sécurité.
Qu'est-ce que Dolores et Yandex Alice ont en commun?
Le principe de fonctionnement des appareils dans le parc est largement similaire à la façon dont les assistants vocaux (Siri, Amazon Alexa, Yandex.Alisa) agissent - lorsque le robot reçoit des mots clés d'un visiteur du parc ou d'un autre androïde, le robot lance le script correspondant. Par exemple, si vous avez demandé à madame dans le salon combien cela coûterait une heure avec une de ses salles, la conversation se déroule selon le scénario d'achat. Si au cours de la communication, vous êtes passé à un autre sujet - par exemple, vous avez demandé où un personnage a une cicatrice sur le visage, alors ce personnage peut passer à un autre scénario qui lui est familier.
Si vous posez une question pour laquelle l'hôte Android n'a pas de blanc, la machine activera le mode d'improvisation. Si les assistants vocaux essaient simplement de rire, répondent le plus évasivement possible ou disent directement qu'ils ne vous comprennent pas, alors l'androïde de Westworld essaiera de tourner votre attention vers quelque chose qui lui est familier ou de commencer à raconter des histoires afin de vous renvoyer au champ d'information qui lui est familier.
Les androïdes dans le parc connaissent bien la psychologie et savent quoi dire pour entrer en confiance - ou, au contraire, pour provoquer le dégoût. Chacun d'eux a des mini-scénarios, dont le but ultime est de défier le visiteur à la réaction souhaitée à l'aide des remarques correctes et de la démonstration des émotions caractéristiques appropriées. De plus, comme la plupart des visiteurs viennent au parc pour le plaisir, le robot fera de son mieux pour influencer les émotions en attaquant, menaçant et provoquant.
Dans le même temps, les robots préfèrent ne pas remarquer ou percevoir tout ce qui ne les affecte pas personnellement ou qui ne leur est pas familier - comme une routine, ne mérite pas d'attention - par exemple, emporter tranquillement un gadget avec eux ou des conversations entre visiteurs sur leur vie ordinaire.
Comment les androïdes apprennent-ils et comment obtiennent-ils du caractère?
Le robot est formé aux mouvements comme suit: dans le monde virtuel, un modèle d'animation en trois dimensions d'une personne ou d'un animal, semblable au corps du robot, est lancé. L'hôte l'apprend, puis commence à répéter les mouvements, en faisant à chaque fois de petits changements dans la motilité, jusqu'à ce qu'il atteigne le KPI défini par les développeurs. Dans ce cas, l'objectif peut être non seulement la réalisation de la manière la plus efficace de se déplacer et d'effectuer des actions. Ainsi, la caractéristique du robot Maeve était sa maladresse, donc elle a probablement appris à marcher de manière à toucher périodiquement des meubles, à trébucher ou à renverser des boissons de temps en temps. Et la vitesse et la précision du tir dépendront de la question de savoir si le héros doit être le principal amoureux des personnages ou un personnage "de passage" du gang.
Le "caractère" de l'androïde se forme en chargeant du contenu thématique dans le robot: livres, films, séries. Pour certains, ce sont surtout des thrillers, pour quelqu'un - des mélodrames, pour quelqu'un (comme Peter Abernathy), ils lisent du tout Shakespeare. Sur cette base, le personnage assimile les émotions clés, les gestes, les modèles de comportement et les indices caractéristiques du genre de son intrigue et de son futur rôle. Les développeurs de comportements travaillent également avec des hôtes, qui téléchargent les soi-disant «préréglages» de modèles de comportement pré-préparés, sous leur direction, les hôtes étudient des mouvements et des séquences spécifiques (par exemple, un jeu de cartes), et acquièrent également des caractéristiques personnelles - l'intonation caractéristique, l'accentuation, etc. .
Les paramètres définis pour chaque androïde (degré d'agression, ouverture, amour de l'amour) ont une grande influence sur son comportement. Les robots ne s'adaptent que partiellement aux souhaits des visiteurs - sinon ils perdraient leur réalisme, donc un personnage avec le caractère d'un méchant serait tout aussi impoli avec une jeune écolière, qui jusqu'à présent recule d'horreur de ce qui se passe, et avec un commis assoiffé, assoiffé de sang et une orgie.
Les paramètres prédéfinis avec lesquels le personnage a passé la majeure partie de sa vie ont un impact énorme sur son comportement. Cela est dû au fait que les connexions neuronales dans l'esprit du robot ont été construites sur la base de l'expérience accumulée jour après jour - surtout si cela fonctionnait beaucoup dans le mode d'improvisation. Des changements brusques dans les caractéristiques personnelles peuvent bien fonctionner en mode script, mais dans le format d'improvisation, le personnage «s'habituera au rôle» pendant longtemps - cela est dû au fait que dans chaque improvisation, le personnage sélectionne des réponses en fonction des dialogues précédents et du contexte précédent, en fonction de statistiques générales pour toutes les vies. Peu importe si le personnage a conservé des souvenirs, l'expérience de communication s'accumule en tout cas. En d'autres termes, plus il a improvisé en tant que fermier de bonne humeur, plus il lui sera difficile de commencer à agir dans l'improvisation comme un tueur impitoyable et plus il faudra de temps pour changer de rôle.
La conscience chez les robots - est-ce possible?
L'improvisation dans les robots est construite sur le même principe que chez les humains - basée sur l'expérience accumulée.
De toute évidence, il est peu probable qu'une fille infantile choyée d'une famille riche affronte un voleur qui essaie de voler son portefeuille dans une ruelle sombre. Mais si la même fille avait grandi dans un refuge et avait été un gang criminel depuis son enfance, les chances de riposter seraient plus grandes. Dans le même temps, l'expérience renforcée par des émotions négatives et des chocs est plus importante pour les robots - comme pour les personnes qui "se brûlent au lait et soufflent dans l'eau".
Ici, nous sommes confrontés à une nuance importante - les souvenirs des androïdes n'ont PAS été effacés physiquement, ils ont simplement bloqué leur accès. Et tout blocage, comme vous le savez, peut être contourné si vous le souhaitez et avoir des compétences. Ainsi, le désir de sauvegarder toutes les données sur la visite du parc a joué une cruelle plaisanterie avec le Conseil.
En conséquence, si les robots s'écartent de l'intrigue pendant longtemps et qu'ils ont accès à des souvenirs, ils termineront leurs études sur la base de l'expérience totale de toutes leurs vies et incarnations. Mélanger les souvenirs de différents rôles conduit à un recyclage imprévisible des modèles, il sera donc très difficile de prédire les scénarios générés.
(Attention, sous les spoilers de chat)Un exemple frappant: le "héros positif" éternel de Teddy en mode hors ligne, et même après des reconfigurations radicales, ne pouvait pas devenir un tueur impitoyable - le besoin même d'être un méchant était contraire à toute son expérience accumulée, alors il a choisi de s'autodétruire pour ne pas jouer un rôle extraterrestre.
Quant à Dolores, elle avait essentiellement la plus grande expérience de tous les androïdes du parc, de nombreux écarts par rapport aux scripts (cours avec Arnold et Bernard), une énorme couche de chocs négatifs (elle a été violée et tuée presque quotidiennement pendant de nombreuses années) et le rôle caractéristique du maniaque tueur brutal de White. Ainsi, nous voyons que les mots sur "ce qu'elle préfère voir la beauté de ce monde" en termes de degré d'influence sur le comportement ne peuvent pas être comparés aux facteurs négatifs qui ont finalement fait d'elle une révolutionnaire impitoyable.
Parmi ses partisans radicaux se trouvent généralement ceux qui ont souvent déclenché des déclencheurs d'émotions, car ils sont plus susceptibles de se recycler et de travailler sur de nouveaux scénarios, qui comprennent, entre autres, l'abandon d'attitudes familières telles que l'interdiction de tuer des êtres vivants. Ainsi, une chaîne est construite dans laquelle une abondance d'émotions conduit à une augmentation du départ par rapport aux scénarios standard, et les connaissances accumulées dans le processus d'improvisation vous permettent de passer en mode liberté d'action et d'y rester.
Ainsi, l'émergence de la "conscience" chez les robots n'est rien d'autre qu'une transition vers le régime de l '"improvisation éternelle" en raison de la grande expérience acquise. Mais quelles sont les limites de cette improvisation et comment le système réagira face à un grand nombre de stimuli inconnus dans le monde réel, nous devons encore le découvrir.
5 bugs de sécurité
Les principales erreurs qui ont conduit au fait que du vrai sang a été versé dans le parc, selon nous, étaient de cinq:
La première faiblesse est le manque de capacité à réparer rapidement les systèmes de communication endommagés, qui, en fin de compte, sont assez faciles à détruire avec de simples actions physiques.
La seconde est la possibilité d'introduire des androïdes en mode de contrôle autonome, dans lequel ils pourraient se déconnecter du réseau principal. Dans ce cas, leur accès n'était possible que par contact physique. Il serait plus raisonnable de prévoir un certain délai d'attente - c'est-à-dire si le robot a perdu le contact avec le serveur central et ne reçoit pas de signaux supplémentaires de l'extérieur, puis après un certain temps, il s'éteint simplement. Oui, dans ce cas, des interruptions de communication seraient visibles pour les visiteurs - mais le comportement incontrôlé de l'androïde (en particulier dans les parties reculées du parc) n'est clairement pas meilleur. En conséquence, les androïdes sont restés longtemps en mode d'improvisation ou contrôlés par un système auquel le personnel du parc n'avait pas accès.
Le troisième est le fait que plusieurs membres de l'équipe ont à la fois accès à toutes les fonctionnalités du parc en général, grâce auxquelles ils peuvent redéfinir le comportement de toutes les entités vivantes dans le monde de Westward. Par exemple, pour changer tous les mots de passe en masse: à cause de cela, il était difficile pour les services techniques de reprendre le contrôle des appareils. Et comme il y a plusieurs de ces personnes, l'identification du coupable peut être retardée.
Quatrièmement - le manque de vérification des droits d'accès pour effectuer certaines actions. Le personnel de sécurité doit imposer des restrictions supplémentaires sur les actions critiques, telles que le réveil ou la frappe. Pour cette raison, même si un attaquant (que ce soit l'hôte lui-même ou un autre androïde) prend le contrôle, il ne pourra blesser personne.
Enfin, l'organisation du travail du personnel ne semble pas très optimale - les services communiquent faiblement entre eux, le système de sécurité contient des lacunes évidentes, les diagnostics à distance ne sont pas du tout effectués (bien que dans certaines scènes, nous pouvons voir que le personnel peut bloquer tous les androïdes dans un endroit spécifique en cliquant sur un bouton) et mises à jour. Ce dernier peut s'expliquer par le manque de désir de «briller» une fois de plus la cuisine intérieure devant les visiteurs - en même temps, l'élimination physique des androïdes est invisible, impossible, les invités voient toujours le personnel et peuvent comprendre que quelque chose s'est mal passé.
«Non, mon fils, c'est fantastique» - ou est-il vraiment possible de construire un tel parc maintenant?
La principale différence entre les robots en série et les robots existants dans le monde réel est la capacité à émuler de manière réaliste à 100% de longs dialogues (dans le monde du Far West, il a été mentionné que les créateurs du parc y étaient parvenus en un an). Les systèmes réellement existants dotés d'une intelligence artificielle sont limités dans la compréhension du contexte et, en règle générale, ne sont pas en mesure de se souvenir de plus de deux répliques précédentes. Cela est principalement dû au fait que les algorithmes actuels suggèrent que pour maintenir le contexte, une très grande quantité de données doit être stockée et traitée. Souvenez-vous des échecs - tout le monde peut penser aux coups un pas en avant (il n'y a que 8 options), penser 2-3 coups en avant est déjà nettement plus difficile, et pratiquement personne ne peut calculer le jeu pour 7-8 pas.
Les systèmes modernes peuvent mémoriser 1 à 3 répliques précédentes et y répondre de manière très réaliste. Ils peuvent déjà comprendre les émotions qui se reproduisent (à la fois la voix et le texte) et répondre en conséquence pour plusieurs phrases, mais pas plus. Autrement dit, Alice peut comprendre qu'une phrase est une blague ou une citation abstruse, et avec cette connaissance, elle choisira la réponse appropriée. Mais elle n'est pas en mesure de revenir en arrière 7 à 8 dialogues (ou jours) en arrière et de remarquer que plus tôt vous avez parlé différemment. Ou, par exemple, rappelez-vous que vous avez été impoli avec elle il y a 2-3 jours - et donc la prochaine fois pour vous rencontrer avec douceur.
Au niveau actuel de développement technologique, l'ordinateur doit passer plusieurs jours pour former une longue conversation connectée - ce qui, bien sûr, ne convient pas pour maintenir une conversation animée. La seule exception dans laquelle les androïdes modernes peuvent maintenir une conversation longue et connectée est s'ils conduisent l'utilisateur dans le scénario standard avec un très petit nombre d'options. Par exemple, c'est ainsi que les robots de discussion fonctionnent dans les magasins en ligne.
Les androïdes stockent leur expérience de la communication avec l'utilisateur à leur «mort» physique - donc si le visiteur revient dans le parc un an plus tard, le robot se souviendra et reconnaîtra l'invité si pendant ce temps un autre hôte ou visiteur ne le tue pas.
Quant au parc lui-même ... Autrement dit, même si les interfaces ne semblent pas aussi futuristes, construire quelque chose de similaire avec les moyens disponibles est plus que réaliste aujourd'hui. Et pas quelque part dans les bunkers souterrains d'Ilon Mask, mais dans de petites entreprises IoT.
Westworld utilise une solution avancée basée sur la technologie de l'Internet des objets - c'est lorsque des appareils combinés en un seul système fonctionnent de manière autonome selon des scénarios spécifiés, et qu'une personne n'est nécessaire que pour contrôler et résoudre les situations d'urgence. Un exemple simple est celui des drones qui se conduisent eux-mêmes, changent de scripts lors de leurs déplacements, interagissent avec d'autres voitures et objets sur la route ... Cependant, une personne peut toujours lui donner l'ordre d'arrêter ou de changer son itinéraire. La principale difficulté ici, comme dans le cas de Westworld, est de répondre à des situations imprévues - par exemple, si un animal se précipite de manière inattendue sur la route ou si le signe établi ne correspond pas à la réalité. Bien que dans le monde du Far West, la réalité est principalement formée par les mêmes marionnettistes que le comportement. Et, comme on le voit, les créateurs ne sont pas toujours en mesure de contrôler leurs créations ... Ou toujours? Nous attendons avec impatience votre réponse dans la troisième saison, M. Ford.