HBOs Meisterwerk, dessen erste Staffel sogar zum Game of Thrones ging, war ein futuristischer Vergnügungspark, dessen Gäste sich mit hyperrealistischen Android-Robotern allerlei Sünden hingeben können. Scharmützel, Kämpfe, Orgien - die Reichen zahlen riesige Summen für das Recht, skrupellos und ungestraft zu sein. Darüber hinaus werden die ermordeten und vergewaltigten Roboter nach jeder Änderung neu gezeichnet, von Erinnerungen befreit und in einem Teufelskreis der vorgeschriebenen Rolle an ihren Platz zurückgebracht. Bis eines Tages das System abstürzt ...
Schauen wir uns diese Geschichte mit den Augen des Entwicklers an - und finden Sie heraus:
- Wie funktioniert dieses "blutige Disneyland"?
- Welche Sicherheitslücken führten schließlich zu einer Katastrophe?
- Wie bilden Roboter Improvisation, wie wirken Emotionen für sie und kann ein Android im wirklichen Leben Bewusstsein entwickeln?
- Ist die Serie so futuristisch? Ist es realistisch, einen solchen Park mit einem modernen technologischen Entwicklungsstand zu schaffen?
Alle wenigen Spoiler sind unter dem Schnitt - also lesen Sie es sicher.
Was haben Dolores und Yandex Alice gemeinsam?
Das Funktionsprinzip der Geräte im Park ähnelt weitgehend dem Verhalten von Sprachassistenten (Siri, Amazon Alexa, Yandex.Alisa). Wenn der Roboter Schlüsselwörter von einem Besucher des Parks oder einem anderen Android erhält, startet der Roboter das entsprechende Skript. Wenn Sie beispielsweise Madame im Salon gefragt haben, wie viel eine Stunde mit einer ihrer Stationen kosten würde, richtet sich das Gespräch nach dem Kaufszenario. Wenn Sie während der Kommunikation zu einem anderen Thema gewechselt sind - zum Beispiel gefragt haben, wo ein Charakter eine Narbe im Gesicht hat -, kann dieser Charakter zu einem anderen Szenario wechseln, das ihm vertraut ist.
Wenn Sie eine Frage stellen, für die der Android-Host keine Leerzeichen hat, schaltet das Gerät den Improvisationsmodus ein. Wenn Sprachassistenten nur versuchen, sich darüber lustig zu machen, so ausweichend wie möglich zu antworten oder direkt zu sagen, dass sie Sie nicht verstehen, wird der Westworld-Android versuchen, Ihre Aufmerksamkeit auf etwas zu lenken, das ihm vertraut ist, oder Geschichten zu erzählen, um Sie zu dem ihm vertrauten Informationsfeld zurückzukehren.
Androiden im Park sind mit Psychologie bestens vertraut und wissen, was sie sagen müssen, um Vertrauen zu schaffen - oder umgekehrt, um Ekel zu verursachen. Jedes von ihnen hat Miniszenarien, deren letztendliches Ziel es ist, den Besucher mit Hilfe der richtigen Bemerkungen und der Demonstration geeigneter charakteristischer Emotionen zur gewünschten Reaktion herauszufordern. Da die meisten Besucher wegen des Nervenkitzels in den Park kommen, wird der Roboter sein Bestes geben, um die Emotionen durch Angriffe, Drohungen und Provokationen zu beeinflussen.
Gleichzeitig ziehen es Roboter vor, nicht alles zu bemerken oder wahrzunehmen, was sie nicht persönlich betrifft oder ihnen nicht vertraut ist - als Routine, die keine Aufmerksamkeit wert ist -, zum Beispiel leise mitgenommene Geräte oder Gespräche zwischen Besuchern über ihr gewöhnliches Leben.
Wie lernen Androiden - und wie bekommen sie Charakter?
Der Roboter wird wie folgt in Bewegungen trainiert: In der virtuellen Welt wird ein dreidimensionales Animationsmodell einer Person oder eines Tieres gestartet, das dem Körper des Roboters ähnelt. Der Host lernt es und beginnt dann, die Bewegungen zu wiederholen, wobei jedes Mal kleine Änderungen an der Motilität vorgenommen werden, bis der von den Entwicklern festgelegte KPI erreicht ist. In diesem Fall kann das Ziel nicht nur das Erreichen der effektivsten Art sein, sich zu bewegen und Aktionen auszuführen. Das charakteristische Merkmal des Maeve-Roboters war also Ungeschicklichkeit, so dass sie höchstwahrscheinlich lernte, so zu gehen, dass sie von Zeit zu Zeit regelmäßig Möbel berührt, stolpert oder Getränke verschüttet. Und die Geschwindigkeit und Genauigkeit des Schusses hängt davon ab, ob der Held der Hauptcharakterliebhaber oder ein "vorübergehender" Charakter der Bande sein soll.
Der "Charakter" des Android wird durch Laden thematischer Inhalte in den Roboter gebildet: Bücher, Filme, Serien. Manchen zeigen meistens Thriller, jemandem - Melodramen, jemandem (wie Peter Abernathy), sie lesen überhaupt Shakespeare. Auf dieser Grundlage assimiliert der Charakter wichtige Emotionen, Gesten, Verhaltensmuster und Hinweise, die für das Genre seiner Handlung und seine zukünftige Rolle charakteristisch sind. Verhaltensentwickler arbeiten auch mit Hosts zusammen, die unter ihrer Anleitung die sogenannten „Voreinstellungen“ vorbereiteter Verhaltensmuster herunterladen, Hosts bestimmte Bewegungen und Sequenzen (z. B. ein Kartenspiel) untersuchen und auch persönliche Merkmale erwerben - charakteristische Intonation, Betonung usw. .
Die für jeden Android eingestellten Parameter (Grad der Aggression, Offenheit, Liebe zur Liebe) haben einen großen Einfluss auf sein Verhalten. Roboter passen sich nur teilweise den Wünschen der Besucher an - sonst würden sie ihren Realismus verlieren, so dass ein Charakter mit dem Charakter eines Bösewichts ebenso unhöflich wäre wie ein junges Schulmädchen, das sich bisher entsetzt von dem zurückzieht, was passiert, und ein durstiger Angestellter, der nach Blut und einer Orgie dürstet.
Die vordefinierten Parameter, mit denen der Charakter den größten Teil seines Lebens verbracht hat, haben einen großen Einfluss auf sein Verhalten. Dies liegt an der Tatsache, dass neuronale Verbindungen im Kopf des Roboters auf der Grundlage von Erfahrungen aufgebaut wurden, die Tag für Tag gesammelt wurden - insbesondere, wenn es in der Art der Improvisation viel funktionierte. Abrupte Änderungen der persönlichen Eigenschaften können im Skriptmodus gut funktionieren, aber im Improvisationsformat wird sich der Charakter lange Zeit an die Rolle gewöhnen - dies liegt daran, dass der Charakter in jeder Improvisation Antworten basierend auf vorherigen Dialogen und dem vorherigen Kontext basierend auf auswählt allgemeine Statistiken für alle Leben. Unabhängig davon, ob der Charakter Erinnerungen behalten hat, sammelt sich auf jeden Fall Kommunikationserfahrung an. Mit anderen Worten, je mehr er als gutmütiger Bauer improvisierte, desto schwieriger wird es für ihn, als rücksichtsloser Killer-Maniac in der Improvisation zu agieren, und desto länger wird es dauern, seine Rolle zu ändern.
Bewusstsein in Robotern - ist das möglich?
Die Improvisation bei Robotern basiert auf dem gleichen Prinzip wie beim Menschen - basierend auf gesammelten Erfahrungen.
Offensichtlich ist es unwahrscheinlich, dass ein verwöhntes kindliches Mädchen aus einer wohlhabenden Familie einem Räuber gegenübersteht, der versucht, seine Brieftasche in einer dunklen Gasse auszurauben. Aber wenn dasselbe Mädchen in einem Tierheim aufgewachsen wäre und seit seiner Kindheit eine kriminelle Bande gewesen wäre, wäre die Chance, sich zu wehren, höher. Gleichzeitig ist die durch negative Emotionen und Schocks verstärkte Erfahrung für Roboter von größerer Bedeutung - wie bei Menschen, die sich "in Milch verbrennen und ins Wasser blasen".
Hier stehen wir vor einer wichtigen Nuance - die Erinnerungen an Androiden wurden NICHT physisch gelöscht, sie blockierten einfach den Zugang zu ihnen. Und jede Blockierung kann, wie Sie wissen, auf Wunsch umgangen werden und über Fähigkeiten verfügen. Der Wunsch, alle Daten über den Besuch im Park zu speichern, war ein grausamer Scherz mit dem Vorstand.
Wenn Roboter für längere Zeit von der Handlung abweichen und Zugang zu Erinnerungen haben, werden sie ihre Studien auf der Grundlage der Gesamterfahrung ihres gesamten Lebens und ihrer Inkarnationen beenden. Das Mischen von Erinnerungen aus verschiedenen Rollen führt zu einer unvorhersehbaren Umschulung von Modellen, sodass es sehr schwierig sein wird, die generierten Szenarien vorherzusagen.
(Achtung unter den Katzenspoilern)Ein anschauliches Beispiel: Teddys ewiger „positiver Held“ konnte sowohl im Offline-Modus als auch nach radikalen Neukonfigurationen kein rücksichtsloser Mörder werden - das Bedürfnis, ein Bösewicht zu sein, widersprach all seiner gesammelten Erfahrung, weshalb er sich entschied, sich selbst zu zerstören, um keine fremde Rolle zu spielen.
Dolores hatte im Grunde die größte Erfahrung aller Androiden im Park, zahlreiche Abweichungen von den Drehbüchern (Unterricht bei Arnold und Bernard), eine riesige Schicht negativer Schocks (sie wurde viele Jahre lang fast täglich vergewaltigt und getötet). und die charakteristische Rolle von Whites brutalem Killer-Maniac. Wir sehen also, dass die Worte über "was sie bevorzugt, um die Schönheit dieser Welt zu sehen" in Bezug auf den Grad des Einflusses auf das Verhalten nicht mit den negativen Faktoren verglichen werden können, die sie letztendlich zu einer rücksichtslosen Revolutionärin gemacht haben.
Zu ihren radikalen Anhängern zählen normalerweise diejenigen, die häufig Emotionsauslöser ausgelöst haben, da sie mit größerer Wahrscheinlichkeit neue Szenarien trainieren und trainieren, zu denen unter anderem das Aufgeben vertrauter Einstellungen wie das Verbot des Tötens von Lebewesen gehört. Auf diese Weise wird eine Kette aufgebaut, in der eine Fülle von Emotionen dazu führt, dass die Abweichung von Standardszenarien zunimmt, und das im Prozess der Improvisation gesammelte Wissen ermöglicht es Ihnen, in einen Modus der Handlungsfreiheit zu wechseln und darin zu bleiben.
Somit ist die Entstehung von "Bewusstsein" in Robotern nichts anderes als ein Übergang zum Regime der "ewigen Improvisation" aufgrund der großen gesammelten Erfahrungen. Aber was sind die Grenzen dieser Improvisation und wie das System reagieren wird, wenn es mit einer großen Anzahl unbekannter Reize in der realen Welt konfrontiert wird, müssen wir noch herausfinden.
5 Sicherheitslücken
Die Hauptfehler, die dazu führten, dass im Park echtes Blut vergossen wurde, waren unserer Meinung nach fünf:
Die erste Schwäche ist das Fehlen der Fähigkeit, beschädigte Kommunikationssysteme schnell zu reparieren, die, wie sich herausstellte, mit einfachen physischen Aktionen leicht zu zerstören sind.
Die zweite ist die Möglichkeit, Androiden in den autonomen Steuermodus einzuführen, in dem sie sich vom Hauptnetz trennen können. In diesem Fall war der Zugang zu ihnen nur durch physischen Kontakt möglich. Es wäre sinnvoller, eine bestimmte Zeitüberschreitung vorzusehen. Wenn der Roboter den Kontakt zum zentralen Server verloren hat und keine zusätzlichen Signale von außen empfängt, schaltet er sich nach einer Weile einfach aus. Ja, in diesem Fall wären Kommunikationsunterbrechungen für die Besucher spürbar - aber das unkontrollierte Verhalten des Android (insbesondere in abgelegenen Teilen des Parks) ist eindeutig nicht besser. Infolgedessen blieben Androiden lange Zeit im Improvisationsmodus oder wurden von einem System gesteuert, zu dem das Parkpersonal keinen Zugang hatte.
Das dritte ist die Tatsache, dass mehrere Mitglieder des Teams gleichzeitig Zugriff auf die gesamte Funktionalität des Parks im Allgemeinen haben, wodurch sie das Verhalten aller Lebewesen in der Welt von Westward neu definieren können. Zum Beispiel, um alle Passwörter massenhaft zu ändern: Aus diesem Grund war es für technische Dienste schwierig, die Kontrolle über Geräte zurückzugewinnen. Und da es mehrere solcher Personen gibt, kann sich die Identifizierung des Täters verzögern.
Viertens - das Fehlen einer Überprüfung der Zugriffsrechte zur Durchführung bestimmter Aktionen. Das Sicherheitspersonal sollte kritische Maßnahmen wie Aufwachen aus dem Schlaf oder Streik zusätzlich einschränken. Selbst wenn ein Angreifer (entweder der Host selbst oder ein anderer Android) die Kontrolle übernimmt, kann er daher niemandem Schaden zufügen.
Schließlich scheint die Organisation der Personalarbeit nicht sehr optimal zu sein - die Abteilungen kommunizieren schwach miteinander, das Sicherheitssystem weist offensichtliche Lücken auf, Ferndiagnosen werden überhaupt nicht durchgeführt (obwohl wir in einigen Szenen sehen können, dass das Personal alle Androiden an einem bestimmten Ort per Knopfdruck blockieren kann). und Updates. Letzteres erklärt sich aus dem mangelnden Wunsch, die Innenküche vor den Besuchern noch einmal zu „glänzen“ - gleichzeitig ist eine physische Entfernung von Androiden unsichtbar unmöglich, die Gäste sehen immer noch das Personal und können verstehen, dass etwas schief gelaufen ist.
„Nein, mein Sohn, das ist fantastisch“ - oder ist es jetzt wirklich möglich, einen solchen Park zu bauen?
Der Hauptunterschied zwischen Serienrobotern und bestehenden Robotern in der realen Welt besteht in der Fähigkeit, lange Dialoge zu 100% realistisch zu emulieren (in der Welt des Wilden Westens wurde erwähnt, dass die Schöpfer des Parks dies in einem Jahr erreicht haben). Wirklich existierende Systeme mit künstlicher Intelligenz verstehen den Kontext nur begrenzt und können sich in der Regel nicht an mehr als ein paar frühere Repliken erinnern. Dies ist hauptsächlich auf die Tatsache zurückzuführen, dass aktuelle Algorithmen darauf hinweisen, dass zur Aufrechterhaltung des Kontexts eine sehr große Datenmenge gespeichert und verarbeitet werden muss. Denken Sie an Schach - jeder kann sich Züge einen Schritt voraus vorstellen (es gibt nur 8 Optionen), 2-3 Züge voraus zu denken ist bereits spürbar schwieriger, und praktisch niemand kann das Spiel für 7-8 Schritte berechnen.
Moderne Systeme können sich 1-3 frühere Replikate merken und sehr realistisch darauf reagieren. Sie können bereits die sich wiederholenden Emotionen (sowohl Stimme als auch Text) verstehen und entsprechend auf mehrere Sätze reagieren, jedoch nicht länger. Das heißt, Alice kann verstehen, dass ein Satz ein Witz oder ein abstruses Zitat ist, und mit diesem Wissen wird sie die passende Antwort wählen. Aber sie ist nicht in der Lage, 7-8 Dialoge (oder Tage) zurück zu gehen und zu bemerken, dass Sie früher anders gesprochen haben. Oder denken Sie zum Beispiel daran, dass Sie vor 2-3 Tagen unhöflich zu ihr waren - und deshalb das nächste Mal, um Sie empfindlich zu treffen.
Auf dem gegenwärtigen Stand der Technologieentwicklung muss der Computer mehrere Tage damit verbringen, ein langes verbundenes Gespräch zu führen - was natürlich nicht für die Aufrechterhaltung eines lebhaften Gesprächs geeignet ist. Die einzige Ausnahme, in der moderne Androiden ein langes und verbundenes Gespräch führen können, besteht darin, dass sie den Benutzer im Standardszenario mit führen eine sehr kleine Anzahl von Optionen. So funktionieren beispielsweise Chat-Bots in Online-Shops.
Androiden speichern ihre Erfahrungen von der Kommunikation mit dem Benutzer bis zu ihrem physischen „Tod“. Wenn der Besucher also ein Jahr später wieder im Park ankommt, erinnert sich der Roboter an den Gast und erkennt ihn, wenn ihn während dieser Zeit ein anderer Gastgeber oder Besucher nicht tötet.
Was den Park selbst betrifft ... Das heißt, selbst wenn die Schnittstellen nicht so futuristisch aussehen, ist es heute mehr als realistisch, mit den verfügbaren Mitteln etwas Ähnliches zu bauen. Und nicht irgendwo in den unterirdischen Bunkern von Ilon Mask, sondern in kleinen IoT-Unternehmen.
Westworld verwendet eine fortschrittliche Lösung, die auf der Technologie des Internet der Dinge basiert. In diesem Fall arbeiten Geräte, die in einem einzigen System zusammengefasst sind, autonom nach bestimmten Szenarien, und eine Person wird nur zur Steuerung und Lösung von Notfallsituationen benötigt. Ein einfaches Beispiel sind Drohnen, die selbst fahren, Skripte unterwegs ändern, mit anderen Autos und Objekten auf der Straße interagieren ... Eine Person kann ihm jedoch jederzeit den Befehl geben, anzuhalten oder ihre Route zu ändern. Die Hauptschwierigkeit besteht hier, wie im Fall von Westworld, darin, auf unvorhergesehene Situationen zu reagieren - zum Beispiel, wenn ein Tier unerwartet auf die Straße rennt oder wenn das festgelegte Zeichen nicht der Realität entspricht. Obwohl in der Welt des Wilden Westens, wird die Realität meist von denselben Puppenspielern wie das Verhalten geformt. Und wie wir sehen, können Schöpfer ihre Kreationen nicht immer kontrollieren ... Oder immer? Wir freuen uns auf Ihre Antwort in der dritten Staffel, Herr Ford.