A obra-prima da HBO, cuja primeira temporada chegou ao Game of Thrones, era um parque de diversões futurista cujos convidados podem se entregar a todos os tipos de pecados com robôs android hiper-realistas. Escaramuças, brigas, orgias - os ricos pagam enormes quantias pelo direito de serem inescrupulosos e impunes. Além disso, após cada alteração, os robôs assassinados e estuprados são redesenhados, limpos de memórias e retornados ao seu lugar, em um círculo vicioso do papel prescrito. Até que um dia o sistema trava ...
Vamos olhar para esta história através dos olhos do desenvolvedor - e descobrir:
- Como essa "maldita Disneylândia" funciona?
- Quais vulnerabilidades acabaram levando ao desastre?
- Como os robôs formam a improvisação, como as emoções funcionam para eles e é possível que um andróide desenvolva a consciência na vida real?
- A série é tão futurista? É realista criar um parque com um nível moderno de desenvolvimento tecnológico?
Todos os poucos spoilers estão sob o corte - então leia-o com segurança.
O que Dolores e Yandex Alice têm em comum?
O princípio de operação dos dispositivos no parque é muito semelhante ao modo como os assistentes de voz (Siri, Amazon Alexa, Yandex.Alisa) agem - quando o robô recebe palavras-chave de um visitante do parque ou de outro andróide, o robô inicia o script correspondente. Por exemplo, se você perguntasse a madame no salão quanto custaria uma hora com uma de suas enfermarias, a conversa ocorreria de acordo com o cenário da compra. Se no processo de comunicação você mudou para outro tópico - por exemplo, você perguntou onde um personagem tem uma cicatriz no rosto, esse personagem pode mudar para outro cenário que lhe é familiar.
Caso você faça uma pergunta para a qual o host Android não tenha espaços em branco, a máquina ativará o modo de improvisação. Se os assistentes de voz tentarem rir, responder o mais evasivamente possível ou dizer diretamente que eles não o entendem, o andróide do Westworld tentará desviar sua atenção para algo familiar para ele ou começará a contar histórias para retornar ao campo de informações familiar a ele.
Os andróides no parque estão bastante familiarizados com a psicologia e sabem o que dizer para entrar na confiança - ou, inversamente, causar nojo. Cada um deles possui mini-cenários, cujo objetivo final é desafiar o visitante à reação desejada com a ajuda das observações corretas e demonstração de emoções características adequadas. Além disso, como a maioria dos visitantes vem ao parque emocionada, o robô fará o possível para influenciar as emoções, atacando, ameaçando e provocando.
Ao mesmo tempo, os robôs preferem não perceber ou perceber tudo o que não os afeta pessoalmente ou que não lhes é familiar - como uma rotina, que não merece atenção - por exemplo, gadgets carregados silenciosamente com eles ou conversas entre visitantes sobre sua vida cotidiana.
Como os andróides aprendem - e como eles adquirem caráter?
O robô é treinado nos movimentos da seguinte forma: no mundo virtual, é lançado um modelo de animação tridimensional de uma pessoa ou animal, semelhante ao corpo do robô. O host aprende e começa a repetir os movimentos, cada vez que faz pequenas alterações na motilidade, até atingir o KPI definido pelos desenvolvedores. Nesse caso, o objetivo pode não ser apenas alcançar a maneira mais eficaz de mover e executar ações. Portanto, a característica do robô Maeve era a falta de jeito, por isso ela provavelmente aprendeu a andar de maneira a tocar periodicamente nos móveis, tropeçar ou derramar bebidas de vez em quando. E a velocidade e a precisão do tiro dependerão se o herói deve ser o amante principal do personagem ou um personagem "passageiro" da gangue.
O "personagem" do andróide é formado carregando conteúdo temático no robô: livros, filmes, séries. Mostrados para alguns são principalmente thrillers, para alguém - melodramas, para alguém (como Peter Abernathy), eles lêem Shakespeare. Com base nisso, o personagem assimila emoções, gestos, padrões de comportamento e pistas característicos do gênero de sua trama e de seu papel futuro. Os desenvolvedores comportamentais também trabalham com hosts, que fazem o download das chamadas "predefinições" de padrões de comportamento pré-preparados, sob sua orientação, que estudam movimentos e sequências específicas (por exemplo, um jogo de cartas) e também adquirem características pessoais - entonação, ênfase e assim por diante. .
Os parâmetros definidos para cada andróide (grau de agressão, abertura, amor ao amor) têm uma grande influência no seu comportamento. Os robôs se adaptam apenas parcialmente aos desejos dos visitantes - caso contrário, eles perderiam seu realismo, de modo que um personagem com o caráter de um vilão seria igualmente rude tanto com uma jovem estudante, que até agora recua horrorizada com o que está acontecendo, e com um funcionário com sede, com sede de sangue e uma orgia.
Os parâmetros predefinidos com os quais o personagem passou a maior parte de sua vida têm um enorme impacto em seu comportamento. Isso se deve ao fato de que as conexões neurais na mente do robô foram construídas com base na experiência acumulada dia após dia - especialmente se funcionou muito no modo de improvisação. Mudanças bruscas nas características pessoais podem funcionar bem no modo de script, mas no formato de improvisação o personagem "se acostuma com o papel" por muito tempo - isso se deve ao fato de que em cada improvisação o personagem seleciona respostas com base em diálogos anteriores e no contexto anterior, com base no estatísticas gerais para todas as vidas. Independentemente de o personagem ter mantido memórias, a experiência de comunicação acumula-se. Em outras palavras, quanto mais ele improvisou como um agricultor de boa índole, mais difícil será para ele começar a agir na improvisação como um maníaco assassino implacável e mais tempo levará para mudar seu papel.
Consciência em robôs - é possível?
A improvisação em robôs é construída com o mesmo princípio que em humanos - com base na experiência acumulada.
Obviamente, é improvável que uma menina mimada de uma família rica enfrente um ladrão que esteja tentando roubar sua carteira em um beco escuro. Mas se a mesma garota tivesse crescido em um abrigo e tivesse sido uma quadrilha criminosa desde a infância, a chance de revidar seria maior. Ao mesmo tempo, a experiência reforçada por emoções e choques negativos é de maior importância para os robôs - como nas pessoas que "se queimam no leite e sopram na água".
Aqui estamos diante de uma nuance importante - as memórias dos andróides NÃO foram apagadas fisicamente, elas simplesmente bloquearam o acesso a eles. E qualquer bloqueio, como você sabe, pode ser contornado, se desejado, e com habilidades. Portanto, o desejo de salvar todos os dados sobre a visita ao parque fez uma piada cruel com o Conselho.
Como resultado, se os robôs se afastarem da trama por um longo tempo e tiverem acesso a memórias, eles concluirão seus estudos com base na experiência total de todas as suas vidas e encarnações. A mistura de memórias de diferentes funções leva a um novo treinamento imprevisível de modelos, por isso será muito difícil prever os cenários gerados.
(Cuidado, sob os spoilers de gatos)Um exemplo vívido: o eterno "herói positivo" de Teddy, tanto offline quanto depois de reconfigurações radicais, não poderia se tornar um assassino implacável - a própria necessidade de ser um vilão contradiz toda a sua experiência acumulada, então ele decidiu se autodestruir para não desempenhar um papel alienígena.
Quanto a Dolores, ela basicamente teve a maior experiência de todos os andróides do parque, inúmeros desvios dos roteiros (aulas com Arnold e Bernard), uma enorme camada de choques negativos (ela foi estuprada e morta quase diariamente por muitos anos) e o papel característico do brutal maníaco assassino de White. Assim, vemos que as palavras sobre "o que ela prefere ver a beleza deste mundo" em termos do grau de influência no comportamento não podem ser comparadas com os fatores negativos que a tornaram uma revolucionária implacável.
Entre seus seguidores radicais, geralmente estão aqueles que frequentemente desencadeiam disparadores de emoções, pois são mais propensos a treinar e trabalhar em novos cenários, que incluem, entre outros, o abandono de atitudes familiares, como a proibição de matar seres vivos. Assim, é construída uma cadeia na qual uma abundância de emoções leva a um aumento na saída de cenários padrão, e o conhecimento acumulado no processo de improvisação permite que você alterne para o modo de liberdade de ação e permaneça nele.
Assim, o surgimento da "consciência" nos robôs nada mais é do que uma transição para o regime de "improvisação eterna" devido à grande experiência adquirida. Mas quais são os limites dessa improvisação e como o sistema reagirá quando confrontado com um grande número de estímulos desconhecidos no mundo real, ainda precisamos descobrir.
5 bugs de segurança
Os principais erros que levaram ao derramamento de sangue real no parque, em nossa opinião, foram cinco:
A primeira fraqueza é a falta de capacidade de reparar rapidamente sistemas de comunicação danificados, que, como se viu, são bastante fáceis de destruir com ações físicas simples.
A segunda é a possibilidade de introduzir os andróides no modo de controle autônomo, no qual eles podem se desconectar da rede principal. Nesse caso, o acesso a eles só era possível através do contato físico. Seria mais razoável fornecer um certo tempo limite - ou seja, se o robô perder o contato com o servidor central e não receber sinais adicionais de fora, depois de um tempo ele simplesmente será desligado. Sim, neste caso, interrupções na comunicação seriam visíveis para os visitantes - mas ainda assim o comportamento descontrolado do andróide (especialmente em partes remotas do parque) claramente não é melhor. Como resultado, andróides por muito tempo permaneceram no modo de improvisação ou controlados por um sistema ao qual os funcionários do parque não tinham acesso.
O terceiro é o fato de vários membros da equipe terem acesso a toda a funcionalidade do parque em geral, graças à qual eles podem redefinir o comportamento de todas as entidades vivas no mundo ocidental. Por exemplo, para alterar todas as senhas em massa: por causa disso, era difícil para os serviços técnicos recuperar o controle dos dispositivos. E como existem várias pessoas, a identificação do culpado pode ser adiada.
Quarto - a falta de verificação dos direitos de acesso para executar determinadas ações. O pessoal de segurança deve colocar restrições adicionais em ações críticas, como acordar do sono ou atacar. Devido a isso, mesmo que um invasor (o próprio host ou outro androide) assuma o controle, ele não poderá prejudicar ninguém.
Finalmente, a organização do trabalho do pessoal não parece ser ótima - os departamentos se comunicam fracamente, o sistema de segurança contém lacunas óbvias, o diagnóstico remoto não é realizado (embora em algumas cenas possamos ver que o pessoal pode bloquear todos os andróides em um local específico com o clique de um botão) e atualizações. Este último pode ser explicado pela falta de desejo de "brilhar" novamente a cozinha interna na frente dos visitantes - ao mesmo tempo, a remoção física dos andróides é invisível, os visitantes ainda veem a equipe e conseguem entender que algo deu errado.
"Não, filho, isso é fantástico" - ou é realmente possível construir um parque assim agora?
A principal diferença entre os robôs seriais e os existentes no mundo real é a capacidade de emular 100% de forma realista de diálogos longos (no Mundo do Oeste Selvagem, foi mencionado que os criadores do parque conseguiram isso em um ano). Sistemas realmente existentes com inteligência artificial são limitados na compreensão do contexto e, como regra, não conseguem se lembrar de mais do que algumas réplicas anteriores. Isso se deve principalmente ao fato de que os algoritmos atuais sugerem que, para manter o contexto, uma quantidade muito grande de dados deve ser armazenada e processada. Lembre-se do xadrez - todos podem pensar nos movimentos um passo à frente (existem apenas 8 opções), pensar em 2-3 movimentos à frente já é notavelmente mais difícil e praticamente ninguém consegue calcular o jogo em 7-8 passos.
Os sistemas modernos podem lembrar de 1 a 3 réplicas anteriores e responder a elas de maneira muito realista. Eles já conseguem entender as emoções que se reproduzem (voz e texto) e respondem de acordo com várias frases, mas não por mais tempo. Ou seja, Alice pode entender que alguma frase é uma piada ou uma citação obscura e, com esse conhecimento, ela escolherá a resposta apropriada. Mas ela não é capaz de voltar 7-8 diálogos (ou dias) e notar que anteriormente você falava diferente. Ou, por exemplo, lembre-se de que você rude com ela há 2-3 dias - e, portanto, da próxima vez em conhecê-lo com delicadeza.
No nível atual de desenvolvimento de tecnologia, o computador precisa passar vários dias para formar uma conversa longa e conectada - o que, é claro, não é adequado para manter uma conversa animada. A única exceção em que os andróides modernos poderão manter uma conversa longa e conectada é se levarem o usuário no cenário padrão com um número muito pequeno de opções. Por exemplo, é assim que os bots de bate-papo funcionam em lojas online.
Os andróides armazenam sua experiência de se comunicar com o usuário até sua "morte" física - portanto, se o visitante voltar ao parque em um ano, o robô lembrará e reconhecerá o hóspede se durante esse período outro host ou visitante não o matar.
Quanto ao próprio parque ... Ou seja, mesmo que as interfaces não pareçam tão futuristas, construir algo semelhante com os meios disponíveis é hoje mais do que realista. E não em algum lugar nos bunkers subterrâneos da Ilon Mask, mas em pequenas empresas de IoT.
O Westworld usa uma solução avançada baseada na tecnologia da Internet das Coisas - é quando os dispositivos combinados em um único sistema operam autonomamente de acordo com cenários especificados, e uma pessoa é necessária apenas para controlar e resolver situações de emergência. Um exemplo simples são os drones que dirigem sozinhos, alteram scripts em movimento, interagem com outros carros e objetos na estrada ... No entanto, uma pessoa sempre pode dar a ele um comando para parar ou alterar sua rota. A principal dificuldade aqui, como no caso da Westworld, é responder a situações imprevistas - por exemplo, se um animal inesperadamente sair correndo para a estrada ou se o sinal estabelecido não corresponder à realidade. Embora no mundo do oeste selvagem, a realidade seja formada principalmente pelos mesmos marionetistas que o comportamento. E, como vemos, os criadores nem sempre são capazes de controlar suas criações ... Ou sempre? Aguardamos sua resposta na terceira temporada, Sr. Ford.