Meu carro tem alucinações? O algoritmo que controla o sistema de vigilância policial na minha cidade sofre de paranóia? Marvin, o caroneiro Android do Galaxy, sofria de todos os diodos do lado esquerdo. Minha torradeira tem sentimentos semelhantes?
Isso parece engraçado, mas apenas até entendermos que nossos algoritmos são cada vez mais parecidos conosco. Quanto mais aprendemos sobre nosso cérebro, mais colocamos esse conhecimento na criação de versões algorítmicas de nós mesmos. Esses algoritmos controlam a velocidade dos robomobiles, determinam os objetivos dos drones militares autônomos, calculam nossa suscetibilidade à publicidade comercial e política, encontram almas gêmeas em serviços on-line e avaliam os riscos de seguros e empréstimos. Os algoritmos se tornam um pano de fundo quase sensível para nossas vidas.
Os algoritmos mais populares usados hoje no trabalho são algoritmos com
aprendizado profundo . Eles copiam a arquitetura do cérebro humano, construindo modelos complexos de informação. Eles são treinados para entender a realidade circundante através de sua percepção, para determinar o que é importante e para entender o que vem dela. Eles se parecem com nossos cérebros, e seu risco de problemas psicológicos está aumentando.
Deep Blue, o algoritmo que derrotou o campeão mundial de xadrez Garry Kasparov em 1997, usou força bruta, classificando um milhão de posições por segundo e prevendo até 20 jogadas no futuro. Todos entenderam como isso funciona, mesmo que não pudessem repeti-lo. O AlphaGo, um algoritmo de aprendizado aprofundado que derrotou Lee Sedola em 2016, é fundamentalmente diferente. Ele usou redes neurais para criar seu próprio entendimento do jogo, considerado o mais difícil de todos os jogos de tabuleiro. AlphaGo
treinou observando os outros e brincando consigo mesmo. Programadores e jogadores de go estão confusos com o estilo de jogo não convencional do AlphaGo. Sua estratégia a princípio parece incomum. E só então entendemos o que ele tinha em mente e, então, não 100%.
Para explicar melhor o que quero dizer com reflexão, considere o seguinte. Programas como Deep Blue podem ter um erro no código. Eles podem cair devido ao estouro de memória. Eles podem ficar paralisados devido a um loop infinito ou apenas dar a resposta errada. Mas todos esses problemas podem ser resolvidos por um programador que tem acesso ao código fonte do programa com o qual o algoritmo foi escrito.
Algoritmos como o AlphaGo funcionam de maneira muito diferente. Seus problemas são muito difíceis de ver, apenas olhando para o código do programa. Eles estão relacionados à apresentação interna de informações. Essa visão é um espaço multidimensional em constante mudança, que se assemelha a paisagens de sonhos. Resolver os problemas de tais algoritmos requer nem mais nem menos que um psicoterapeuta para algoritmos.
Pegue veículos não tripulados. O Robomobile, que viu o primeiro sinal de parada no mundo real, já havia visto milhões de sinais de parada durante o treinamento no processo de construção de uma representação mental desse sinal. Sob diferentes condições de iluminação, com bom e mau tempo, com buracos de bala e sem eles - os sinais de parada contêm uma quantidade incrível de informações diversas. Nas condições mais normais, o robô reconhecerá o sinal de parada. Mas nem todas as condições são normais. Algumas experiências recentes
mostraram que alguns adesivos pretos que cobrem o sinal de parada podem enganar um algoritmo que decide que é, de fato, um sinal de limite de velocidade a 100 km / h. O algoritmo, tendo encontrado algo terrivelmente semelhante à sombra contrastante de uma árvore, começa a alucinar.
E quantas maneiras um algoritmo tem uma alucinação? Para descobrir, teríamos de pedir ao algoritmo todas as combinações possíveis de dados de entrada. Isso significa que algo pode dar errado de inúmeras maneiras. Os programadores especialistas sabem disso há muito tempo e usam-no para criar os chamados exemplos contraditórios. O grupo de pesquisa do MIT LabSix do MIT
mostrou que, emitindo imagens especiais para o algoritmo de classificação de imagens do Google e usando os dados recebidos dele, é possível identificar seus pontos fracos. E então eles podem usar essas fraquezas para enganar o algoritmo - por exemplo, para fazê-lo acreditar que o raio-x é na verdade uma imagem de dois filhotes brincando na grama.
Os algoritmos também podem cometer erros, porque às vezes percebem características ambientais que se correlacionam com o resultado final, embora não tenham uma relação causal com ele. No mundo dos algoritmos, isso é chamado de
reciclagem . Quando isso acontece no cérebro, chamamos de superstição.
Uma das maiores falhas algorítmicas no momento continua sendo a chamada. "
parábola Google Flu " [previsão de epidemia de gripe]. O Google Flu usou informações que as pessoas pesquisam no Google para prever os locais e a intensidade dos surtos de gripe. No início, as previsões da Google contra a gripe funcionaram bem, mas finalmente começaram a se deteriorar até que, finalmente, o sistema começou a prever o dobro de casos de gripe do que o registrado nos Centros de Controle de Doenças dos EUA. O Google Flu, como um xamã algorítmico, simplesmente prestou atenção no que era necessário.
Talvez patologias algorítmicas possam ser corrigidas. Mas, na prática, os algoritmos costumam ser caixas pretas proprietárias cuja atualização é proibida pelas leis do comércio. A
Arma da Derrota Matemática de 2016 de Katie O'Neill descreve o verdadeiro desfile aberração, composto de algoritmos comerciais cujas patologias astutas estragaram a vida das pessoas. De particular interesse são as falhas algorítmicas que dividem os ricos e os pobres. É mais provável que as pessoas pobres tenham problemas de crédito, morem em locais com altas taxas de criminalidade e estejam cercadas por outras pessoas pobres com problemas semelhantes. Por causa disso, os algoritmos escolhem essas pessoas como alvos para enganar anúncios que se alimentam de seu desespero, oferecem empréstimos
subprime e enviam mais policiais para seus bairros, aumentando a probabilidade de que a polícia os detenha por crimes que ocorrem na mesma frequência e em áreas mais ricas. Os algoritmos usados pelo sistema de justiça atribuem a essas pessoas períodos longos, reduzem suas chances de liberdade condicional, bloqueiam vagas para elas, aumentam os juros das hipotecas, exigem altos prêmios de seguro e assim por diante.
Esse círculo vicioso algorítmico está oculto em bonecas aninhadas que consistem em caixas pretas: algoritmos de caixa preta que ocultam o processo de processamento em seus pensamentos de dimensões mais altas, às quais não temos acesso, estão ocultos em caixas pretas de direitos de propriedade dos algoritmos. Em alguns lugares, por exemplo, em Nova York, isso levou a propostas para a adoção de leis que exigem o monitoramento da justiça dos algoritmos usados pelos serviços municipais. Mas se não conseguimos nem detectar distorções cognitivas em nós mesmos, como podemos esperar que sejam detectadas em nossos algoritmos?
Algoritmos, treinando em dados humanos, adquirem nossas distorções. Em um
estudo recente liderado por Eileen Kaliskan, da Universidade de Princeton, descobriu-se que algoritmos baseados em notícias adquiriram rapidamente preconceitos raciais e de gênero. Como Kaliskan observou: “Muitas pessoas acreditam que os carros não têm preconceito. Mas as máquinas treinam em dados humanos. E as pessoas têm preconceitos. ”
As redes sociais são um ninho de serpentes de preconceito e ódio humanos. Algoritmos que passam muito tempo nas redes sociais rapidamente se tornam fanáticos cegos. Eles adquirem preconceito contra enfermeiras e engenheiras. Eles entendem mal questões como imigração e direitos das minorias. Um pouco mais, e os algoritmos começarão a tratar as pessoas de maneira tão injusta quanto as pessoas se relacionam. Mas os algoritmos são inerentemente muito confiantes em sua infalibilidade. E, a menos que você os treine de maneira inversa, eles não terão motivos para suspeitar de incompetência (tudo é como as pessoas).
Nos algoritmos que descrevi, surgem problemas psicológicos devido à qualidade dos dados nos quais eles treinam. Mas os algoritmos podem ter problemas semelhantes devido à sua estrutura interna. Eles podem esquecer as informações antigas ao aprender novas informações. Imagine que você se lembra do nome de um novo colega e de repente esqueceu onde mora. Em casos extremos, algoritmos podem sofrer devido ao chamado “
Esquecimento catastrófico ” quando o algoritmo como um todo não pode mais aprender e lembrar de algo novo.
A teoria do comprometimento cognitivo relacionado à idade é baseada em uma idéia semelhante: quando a memória fica sobrecarregada, o cérebro e o computador levam mais tempo para encontrar o que sabem.
Quando exatamente um caso dá uma guinada patológica - depende do ponto de vista. Como resultado, anormalidades psicológicas nas pessoas geralmente permanecem sem solução.
Sinestésicos , como minha filha, em cuja percepção as cartas escritas estão associadas a certas cores, muitas vezes não percebem que têm um dom especial para a percepção, até a adolescência.
As evidências da análise do discurso de Ronald Reagan agora sugerem que ele sofria de demência como presidente. Um artigo do The Guardian
descreve como os tiroteios em massa ocorridos nos Estados Unidos cerca de nove em cada dez dias nos últimos cinco anos são
frequentemente encenados pelos chamados Pessoas "normais" que não suportam perseguição e depressão.
Em muitos casos, são necessárias várias interrupções consecutivas para detectar um problema. Um diagnóstico de esquizofrenia leva pelo menos um mês para observar os sintomas. Os transtornos de personalidade social - um termo moderno para psicopatia e sociopatia - não podem ser diagnosticados em pessoas com menos de 18 anos e só podem ser diagnosticados se uma pessoa tiver distúrbios de comportamento por até 15 anos.
A maioria dos distúrbios psicológicos não possui biomarcadores, assim como não há bugs no código AlphaGo. Os problemas em nosso "equipamento" não são visíveis. Ela está no nosso "software". Muitas opções para perturbações do cérebro tornam cada problema psicológico único. Os classificamos em categorias amplas, como
esquizofrenia ou
síndrome de Asperger , mas a maioria dos distúrbios possui uma ampla gama, cobrindo os sintomas que podem ser encontrados na maioria das pessoas, em um grau ou outro. Em 2006, os psicólogos Matthew Keller e Joffrey Miller escreveram que essa é uma propriedade inevitável da estrutura cerebral.
Em uma mente como a nossa, muito pode dar errado. Carl Jung sugeriu certa vez que em toda pessoa inteligente existe um louco. Quanto mais nossos algoritmos se tornam como nós, mais fácil é para ele se esconder neles.
Thomas Hills é professor de psicologia na Universidade de Warwick em Coventry, Grã-Bretanha.