La obra maestra de HBO, cuya primera temporada fue incluso al Juego de Tronos, fue un parque de atracciones futurista cuyos invitados pueden disfrutar de todo tipo de pecados con robots androides hiperrealistas. Escaramuzas, peleas, orgías: los ricos pagan enormes sumas por el derecho a ser inescrupulosos e impunes. Además, después de cada alteración, los robots asesinados y violados son rediseñados, borrados de los recuerdos y devueltos a su lugar, en un círculo vicioso del papel prescrito. Hasta que un día el sistema falla ...
Veamos esta historia a través de los ojos del desarrollador y descubramos:
- ¿Cómo funciona este "Disneyland sangriento"?
- ¿Qué vulnerabilidades eventualmente llevaron al desastre?
- ¿Cómo forman los robots la improvisación, cómo funcionan las emociones para ellos y es posible que un androide desarrolle conciencia en la vida real?
- ¿Es la serie tan futurista? ¿Es realista crear un parque con un nivel moderno de desarrollo tecnológico?
Todos los pocos spoilers están debajo del corte, así que léalo con seguridad.
¿Qué tienen en común Dolores y Yandex Alice?
El principio de funcionamiento de los dispositivos en el parque es muy similar a la forma en que actúan los asistentes de voz (Siri, Amazon Alexa, Yandex.Alisa): cuando el robot recibe palabras clave de un visitante del parque u otro androide, el robot lanza la secuencia de comandos correspondiente. Por ejemplo, si le pregunta a la señora en el salón cuánto costaría una hora con uno de sus pupilos, la conversación va de acuerdo con el escenario de compra. Si en el proceso de comunicación cambiaste a otro tema; por ejemplo, preguntaste dónde tiene un personaje una cicatriz en la cara, entonces ese personaje puede cambiar a otro escenario que le sea familiar.
En caso de que haga una pregunta para la cual el host de Android no tiene espacios en blanco, la máquina activará el modo de improvisación. Si los asistentes de voz solo intentan reírse, responder de la manera más evasiva posible o decir directamente que no te entienden, entonces el androide de Westworld intentará dirigir tu atención a algo que le es familiar o comenzará a contar historias para regresar al campo de información que le es familiar.
Los androides en el parque están bastante familiarizados con la psicología y saben qué decir para entrar en la confianza o, por el contrario, causar asco. Cada uno de ellos tiene mini-escenarios, cuyo objetivo final es desafiar al visitante a la reacción deseada con la ayuda de los comentarios correctos y la demostración de las emociones características adecuadas. Además, dado que la mayoría de los visitantes vienen al parque por la emoción, el robot hará todo lo posible para influir en las emociones atacando, amenazando y provocando.
Al mismo tiempo, los robots prefieren no darse cuenta o percibir todo lo que no les afecta personalmente o que no les es familiar, como una rutina, que no merece atención, por ejemplo, un gadget en silencio con ellos o conversaciones entre los visitantes sobre su vida cotidiana.
¿Cómo aprenden los androides, y cómo obtienen carácter?
El robot está entrenado en movimientos de la siguiente manera: en el mundo virtual, se lanza un modelo de animación tridimensional de una persona o animal, similar al cuerpo del robot. El anfitrión lo aprende y luego comienza a repetir los movimientos, cada vez que hace pequeños cambios en la motilidad, hasta que alcanza los KPI establecidos por los desarrolladores. En este caso, el objetivo puede ser no solo el logro de la forma más efectiva de moverse y realizar acciones. Por lo tanto, el rasgo característico del robot Maeve era la torpeza, por lo que muy probablemente aprendió a caminar de manera periódica para tocar muebles, tropezar o derramar bebidas. Y la velocidad y la precisión del disparo dependerán de si el héroe debe ser el amante principal del personaje o un personaje "pasajero" de la pandilla.
El "personaje" del androide se forma al cargar contenido temático en el robot: libros, películas, series. Para algunos, en su mayoría son thrillers, para alguien, melodramas, para alguien (como Peter Abernathy), leen a Shakespeare. En base a esto, el personaje asimila emociones clave, gestos, patrones de comportamiento y señales características del género de su trama y su papel futuro. Los desarrolladores de comportamiento también trabajan con los anfitriones, que descargan los llamados "ajustes preestablecidos" de patrones de comportamiento pre-preparados, bajo su guía, los anfitriones estudian movimientos y secuencias específicas (por ejemplo, un juego de cartas), y también adquieren características personales: entonación característica, énfasis, etc. .
Los parámetros establecidos para cada androide (grado de agresión, apertura, amor por el amor) tienen una gran influencia en su comportamiento. Los robots solo se adaptan parcialmente a los deseos de los visitantes; de lo contrario, perderían su realismo, por lo que un personaje con el carácter de un villano sería igualmente grosero tanto con una joven colegiala, que hasta ahora retrocede horrorizada por lo que está sucediendo, y con un empleado sediento, sediento de sangre y una orgía.
Los parámetros predefinidos con los que el personaje pasó la mayor parte de su vida tienen un gran impacto en su comportamiento. Esto se debe al hecho de que las conexiones neuronales en la mente del robot se construyeron sobre la base de la experiencia acumulada día tras día, especialmente si funcionaba mucho en el modo de improvisación. Los cambios bruscos en las características personales pueden funcionar bien en el modo de secuencia de comandos, pero en el formato de improvisación el personaje se "acostumbrará al papel" durante mucho tiempo, esto se debe al hecho de que en cada improvisación el personaje selecciona respuestas basadas en diálogos anteriores y el contexto anterior, basado en estadísticas generales para todas las vidas. Independientemente de si el personaje ha retenido recuerdos, la experiencia de comunicación en cualquier caso se acumula. En otras palabras, cuanto más improvisa como un buen agricultor, más difícil será para él comenzar a actuar en la improvisación como un despiadado maníaco asesino y más tiempo le llevará cambiar su papel.
Conciencia en robots: ¿es posible?
La improvisación en los robots se basa en el mismo principio que en los humanos, basada en la experiencia acumulada.
Obviamente, una niña infantil mimada de una familia rica es poco probable que se enfrente a un ladrón que intenta robar su billetera en un callejón oscuro. Pero si la misma niña hubiera crecido en un refugio y hubiera sido una pandilla criminal desde la infancia, la posibilidad de defenderse sería mayor. Al mismo tiempo, la experiencia reforzada por las emociones negativas y los golpes es de mayor importancia para los robots, como en las personas que "se queman en la leche y soplan en el agua".
Aquí nos enfrentamos a un matiz importante: los recuerdos de los androides NO se borraron físicamente, simplemente bloquearon el acceso a ellos. Y cualquier bloqueo, como usted sabe, puede eludirse si lo desea y tener habilidades. Por lo tanto, el deseo de guardar todos los datos sobre la visita al parque fue una broma cruel con la Junta.
Como resultado, si los robots se desvían de la trama durante mucho tiempo y tienen acceso a los recuerdos, terminarán sus estudios sobre la base de la experiencia total de todas sus vidas y encarnaciones. Mezclar recuerdos de diferentes roles conduce a una nueva formación impredecible de los modelos, por lo que será muy difícil predecir los escenarios generados.
(Precaución, debajo de los spoilers de gatos)Un ejemplo vívido: el eterno "héroe positivo" de Teddy, tanto en modo fuera de línea, como incluso después de reconfiguraciones radicales, no podía convertirse en un asesino despiadado: la necesidad de ser un villano era contrario a toda su experiencia acumulada, por lo que decidió autodestruirse para no desempeñar un papel extraño.
En cuanto a Dolores, básicamente tuvo la mayor experiencia de todos los androides en el parque, numerosas desviaciones de los guiones (clases con Arnold y Bernard), una gran capa de choques negativos (fue violada y asesinada casi a diario durante muchos años) y el papel característico del brutal maníaco asesino de White. Por lo tanto, vemos que las palabras sobre "lo que ella prefiere ver la belleza de este mundo" en términos del grado de influencia en el comportamiento no se pueden comparar con los factores negativos que finalmente la convirtieron en una revolucionaria despiadada.
Entre sus seguidores radicales suelen estar aquellos que a menudo desencadenan desencadenantes de emociones, ya que tienen más probabilidades de volver a entrenar y trabajar en nuevos escenarios, que incluyen, entre otras cosas, abandonar actitudes familiares como prohibir el asesinato de seres vivos. Por lo tanto, se construye una cadena en la que una abundancia de emociones conduce a un aumento en la desviación de los escenarios estándar, y el conocimiento acumulado en el proceso de improvisación le permite cambiar a un modo de libertad de acción y permanecer en él.
Por lo tanto, la aparición de la "conciencia" en los robots no es más que una transición al régimen de "improvisación eterna" debido a la gran experiencia adquirida. Pero cuáles son los límites de esta improvisación y cómo reaccionará el sistema cuando se enfrente a una gran cantidad de estímulos desconocidos en el mundo real, todavía tenemos que averiguarlo.
5 errores de seguridad
Los principales errores que llevaron al hecho de que se derramó sangre real en el parque, en nuestra opinión, fueron cinco:
La primera debilidad es la falta de la capacidad de reparar rápidamente los sistemas de comunicación dañados, que, como resultó, son bastante fáciles de destruir con simples acciones físicas.
La segunda es la posibilidad de introducir los androides en el modo de control autónomo, en el que podrían desconectarse de la red principal. En este caso, el acceso a ellos solo era posible a través del contacto físico. Sería más razonable proporcionar un cierto tiempo de espera, es decir, si el robot ha perdido el contacto con el servidor central y no recibe señales adicionales del exterior, luego de un tiempo simplemente se apaga. Sí, en este caso, las interrupciones en la comunicación serían notables para los visitantes, pero aún así el comportamiento incontrolado del androide (especialmente en partes remotas del parque) claramente no es mejor. Como resultado, los androides durante mucho tiempo permanecieron en modo de improvisación o controlados por un sistema al que el personal del parque no tenía acceso.
El tercero es el hecho de que varios miembros del equipo a la vez tienen acceso a toda la funcionalidad del parque en general, gracias a lo cual pueden redefinir el comportamiento de todas las entidades vivientes en el mundo de Westward. Por ejemplo, para cambiar todas las contraseñas en masa: debido a esto, fue difícil para los servicios técnicos recuperar el control de los dispositivos. Y dado que hay varias de esas personas, la identificación del culpable puede demorarse.
Cuarto: la falta de verificación de los derechos de acceso para realizar ciertas acciones. El personal de seguridad debe imponer restricciones adicionales a las acciones críticas, como despertarse del sueño o golpear. Debido a esto, incluso si un atacante (ya sea el propio host u otro Android) toma el control, no podrá dañar a nadie.
Finalmente, la organización del trabajo del personal no parece ser muy óptima: los departamentos se comunican débilmente entre sí, el sistema de seguridad contiene brechas obvias, el diagnóstico remoto no se lleva a cabo en absoluto (aunque en algunas escenas podemos ver que el personal puede bloquear todos los androides en una ubicación específica con el clic de un botón) y actualizaciones Esto último puede explicarse por la falta de deseo de "brillar" una vez más la cocina interna frente a los visitantes; al mismo tiempo, la eliminación física de los androides es invisible imposible, los invitados aún ven al personal y pueden entender que algo salió mal.
"No, hijo, esto es fantástico", ¿o es realmente posible construir tal parque ahora?
La principal diferencia entre los robots en serie y los existentes en el mundo real es la capacidad de emular 100% de manera realista diálogos largos (en el Mundo del Salvaje Oeste se mencionó que los creadores del parque lograron esto en un año). Los sistemas realmente existentes con inteligencia artificial tienen una comprensión limitada del contexto y, por regla general, no pueden recordar más que un par de réplicas anteriores. Esto se debe principalmente al hecho de que los algoritmos actuales sugieren que para mantener el contexto, se debe almacenar y procesar una gran cantidad de datos. Recuerde el ajedrez: todos pueden pensar en movimientos un paso adelante (solo hay 8 opciones), pensar que 2-3 movimientos adelante ya es notablemente más difícil, y prácticamente nadie puede calcular el juego para 7-8 pasos.
Los sistemas modernos pueden recordar 1-3 réplicas anteriores y responder a ellas de manera muy realista. Ya pueden entender las emociones que se replican (tanto la voz como el texto) y responden en consecuencia para varias frases, pero no por más tiempo. Es decir, Alice puede entender que alguna frase es una broma o una cita absurda, y con este conocimiento, elegirá la respuesta adecuada. Pero ella no puede retroceder 7-8 diálogos (o días) atrás y notar que antes hablaste de manera diferente. O, por ejemplo, recuerde que fue grosero con ella hace 2 o 3 días y, por lo tanto, la próxima vez que nos veamos con gusto.
En el nivel actual de desarrollo tecnológico, la computadora necesita pasar varios días para formar una conversación larga y conectada, lo que, por supuesto, no es adecuado para mantener una conversación animada. La única excepción en la que los androides modernos pueden mantener una conversación larga y conectada es si guían al usuario en el escenario estándar con Un número muy pequeño de opciones. Por ejemplo, así es como funcionan los bots de chat en las tiendas en línea.
Los androides almacenan su experiencia desde la comunicación con el usuario hasta su "muerte" física, por lo que si el visitante vuelve al parque un año después, el robot recordará y reconocerá al huésped si durante este tiempo otro anfitrión o visitante no lo mata.
En cuanto al parque en sí ... Es decir, incluso si las interfaces no parecen tan futuristas, construir algo similar con los medios disponibles es más que realista en la actualidad. Y no en algún lugar de los bunkers subterráneos de Ilon Mask, sino en pequeñas empresas de IoT.
Westworld utiliza una solución avanzada basada en la tecnología de Internet de las cosas: esto es cuando los dispositivos combinados en un solo sistema operan de manera autónoma de acuerdo con escenarios específicos, y solo se necesita una persona para controlar y resolver situaciones de emergencia. Un ejemplo simple son los drones que se manejan solos, cambian guiones sobre la marcha, interactúan con otros autos y objetos en el camino ... Sin embargo, una persona siempre puede darle una orden para detenerse o cambiar su ruta. La principal dificultad aquí, como en el caso de Westworld, es responder a situaciones imprevistas, por ejemplo, si un animal sale corriendo inesperadamente a la carretera o si la señal establecida no corresponde a la realidad. Aunque en el Mundo del Salvaje Oeste, la realidad está formada principalmente por los mismos titiriteros que el comportamiento. Y, como vemos, los creadores no siempre pueden controlar sus creaciones ... ¿O siempre? Esperamos su respuesta en la tercera temporada, Sr. Ford.