¿Mi auto tiene alucinaciones? ¿El algoritmo que controla el sistema de vigilancia policial en mi ciudad sufre de paranoia? Marvin, el autoestopista Android de Galaxy, sufría de todos los diodos en el lado izquierdo. ¿Mi tostadora tiene sentimientos similares?
Esto suena divertido, pero solo hasta que comprendamos que nuestros algoritmos se parecen cada vez más a nosotros mismos. Cuanto más aprendemos sobre nuestro cerebro, más ponemos este conocimiento en la creación de versiones algorítmicas de nosotros mismos. Estos algoritmos controlan la velocidad de los robomóviles, determinan los objetivos de los drones militares autónomos, calculan nuestra susceptibilidad a la publicidad comercial y política, encuentran almas gemelas en los servicios en línea y evalúan los riesgos de los seguros y préstamos. Los algoritmos se convierten en un telón de fondo casi sensible para nuestras vidas.
Los algoritmos más populares usados hoy en día en el trabajo son algoritmos con
aprendizaje profundo . Copian la arquitectura del cerebro humano, construyendo modelos complejos de información. Están entrenados para comprender la realidad circundante a través de su percepción, para determinar lo que es importante y para comprender lo que surge de ella. Se parecen a nuestros cerebros, y su riesgo de problemas psicológicos está creciendo.
Deep Blue, el algoritmo que derrotó al campeón mundial de ajedrez Garry Kasparov en 1997, utilizó la fuerza bruta, clasificando un millón de posiciones por segundo y prediciendo hasta 20 movimientos en el futuro. Todos entendieron cómo funciona, incluso si no podían repetirlo. AlphaGo, un algoritmo de aprendizaje en profundidad que derrotó a Lee Sedola en 2016, es fundamentalmente diferente. Utilizó redes neuronales para crear su propia comprensión del juego, considerado el más difícil de todos los juegos de mesa. AlphaGo
entrenó observando a otros y jugando consigo mismo. Los programadores y los jugadores go están confundidos por el estilo de juego poco convencional de AlphaGo. Su estrategia al principio parece inusual. Y solo entonces entendemos lo que tenía en mente, y luego, no al 100%.
Para explicarte mejor lo que quiero decir con reflexión, considera lo siguiente. Programas como Deep Blue pueden tener un error en el código. Pueden caerse del desbordamiento de la memoria. Pueden estar paralizados debido a un bucle infinito o simplemente dar la respuesta incorrecta. Pero todos estos problemas pueden ser resueltos por un programador que tenga acceso al código fuente del programa con el que se escribió el algoritmo.
Algoritmos como AlphaGo funcionan de manera muy diferente. Sus problemas son muy difíciles de ver, solo mirando el código del programa. Están relacionados con la presentación interna de información. Esta vista es un espacio multidimensional en constante cambio que se asemeja a los paisajes de los sueños. Resolver los problemas de tales algoritmos requiere ni más ni menos que un psicoterapeuta para algoritmos.
Tomar vehículos no tripulados. El Robomobile, que vio la primera señal de alto en el mundo real, ya había visto millones de señales de alto durante el entrenamiento mientras construía una representación mental de este signo. Bajo diferentes condiciones de iluminación, con buen y mal tiempo, con agujeros de bala y sin ellos, las señales de alto contienen una cantidad increíble de información diversa. En las condiciones más normales, el robot reconocerá la señal de stop. Pero no todas las condiciones son normales. Algunos experimentos recientes
han demostrado que unas pocas pegatinas negras que cubren la señal de stop pueden engañar a un algoritmo que decide que, de hecho, es una señal de límite de velocidad de 60 mph. El algoritmo, habiéndose encontrado con algo terriblemente similar a la sombra contrastante de un árbol, comienza a alucinar.
¿Y de cuántas maneras tiene un algoritmo una alucinación? Para averiguarlo, tendríamos que preguntar al algoritmo todas las combinaciones posibles de datos de entrada. Esto significa que algo puede salir mal de infinitas maneras. Los programadores expertos lo saben desde hace mucho tiempo y lo usan para crear el llamado ejemplos adversos El grupo de investigación MIT LabSix de MIT
mostró que al emitir imágenes especiales para el algoritmo de clasificación de imágenes de Google y usar los datos recibidos de él, se pueden identificar sus puntos débiles. Y luego pueden usar estas debilidades para engañar al algoritmo, por ejemplo, para hacerle creer que la radiografía es en realidad una imagen de dos cachorros jugando en la hierba.
Los algoritmos también pueden cometer errores, ya que a veces perciben características ambientales que se correlacionan con el resultado final, aunque no tienen una relación causal con él. En el mundo de los algoritmos, esto se llama
reentrenamiento . Cuando esto sucede en el cerebro, lo llamamos superstición.
Una de las fallas algorítmicas más grandes en este momento sigue siendo la llamada. "
parábola Google Flu " [predicción de epidemia de gripe]. Google Flu utilizó información que las personas buscan en Google para predecir los lugares y la intensidad de los brotes de gripe. Al principio, las predicciones de la gripe de Google funcionaron bien, pero comenzaron a deteriorarse con el tiempo, hasta que, finalmente, el sistema comenzó a predecir el doble de casos de influenza que los registrados en los Centros para el Control de Enfermedades de EE. UU. Google Flu, como chamán algorítmico, simplemente prestó atención a lo que no se necesitaba.
Quizás las patologías algorítmicas puedan corregirse. Pero en la práctica, los algoritmos a menudo son cajas negras patentadas cuya actualización está prohibida por las leyes del comercio. El
Arma de derrota matemática 2016 de Katie O'Neill describe el verdadero desfile de monstruos, compuesto por algoritmos comerciales cuyas astutas patologías arruinaron la vida de las personas. De particular interés son las fallas algorítmicas que dividen a los ricos y a los pobres. Las personas pobres tienen más probabilidades de tener problemas de crédito, viven en lugares con altas tasas de criminalidad y están rodeadas de otras personas pobres con problemas similares. Debido a esto, los algoritmos eligen a estas personas como objetivos para engañar a los anuncios que se alimentan de su desesperación, les ofrecen préstamos de
alto riesgo y envían más policías a sus vecindarios, lo que aumenta la probabilidad de que la policía los detenga por delitos que ocurren con la misma frecuencia y en zonas más ricas. Los algoritmos utilizados por el sistema de justicia asignan a esas personas a largo plazo, reducen sus posibilidades de libertad condicional, bloquean las vacantes para ellos, aumentan los intereses hipotecarios, requieren grandes primas de seguro, etc.
Este círculo vicioso algorítmico está oculto en muñecas anidadas que consisten en cajas negras: los algoritmos de caja negra que ocultan el proceso de procesamiento en sus pensamientos de dimensiones superiores, a los que no tenemos acceso, están ocultos en cajas negras de derechos de propiedad de los algoritmos. En algunos lugares, por ejemplo, en Nueva York, esto ha llevado a propuestas para la adopción de leyes que requieren el monitoreo de la equidad de los algoritmos utilizados por los servicios municipales. Pero si ni siquiera podemos detectar distorsiones cognitivas en nosotros mismos, ¿cómo podemos esperar que se detecten en nuestros algoritmos?
Los algoritmos, el entrenamiento en datos humanos, adquieren nuestras distorsiones. En un
estudio reciente dirigido por Eileen Kaliskan de la Universidad de Princeton, se descubrió que los algoritmos basados en noticias adquirieron rápidamente sesgos raciales y de género. Como señaló Kaliskan: “Muchas personas creen que los automóviles no tienen prejuicios. Pero las máquinas entrenan en datos humanos. Y la gente tiene prejuicios ".
Las redes sociales son un nido de serpientes de prejuicios y odio humano. Los algoritmos que pasan mucho tiempo en las redes sociales se convierten rápidamente en fanáticos ciegos. Adquieren prejuicios contra enfermeras e ingenieras. No entienden cuestiones como la inmigración y los derechos de las minorías. Un poco más, y los algoritmos comenzarán a tratar a las personas tan injustamente como las personas se relacionan entre sí. Pero los algoritmos son inherentemente demasiado confiados en su infalibilidad. Y a menos que los entrenes al revés, no tendrán motivos para sospechar de su incompetencia (todo es como la gente).
En los algoritmos que describí, surgen problemas psicológicos debido a la calidad de los datos en los que se entrenan. Pero los algoritmos pueden tener problemas similares debido a su estructura interna. Pueden olvidar la información anterior cuando aprenden información nueva. Imagina que recuerdas el nombre de un nuevo colega y de repente olvidaste dónde vives. En casos extremos, los algoritmos pueden sufrir debido a la llamada "
Olvido catastrófico " cuando el algoritmo en su conjunto ya no puede aprender y recordar algo nuevo.
La teoría del deterioro cognitivo relacionado con la edad se basa en una idea similar: cuando la memoria se sobrecarga, tanto el cerebro como la computadora tardan más en encontrar lo que saben.
Cuando exactamente un caso toma un giro patológico, depende del punto de vista. Como resultado, las anormalidades psicológicas en las personas a menudo permanecen sin resolver.
Los sinestésicos , como mi hija, en cuya percepción las letras escritas están asociadas con ciertos colores, a menudo no se dan cuenta de que tienen un don especial para la percepción, hasta la adolescencia.
La evidencia del análisis del discurso de Ronald Reagan ahora sugiere que sufría de demencia como presidente. Un artículo de The Guardian
describe cómo los disparos masivos que tuvieron lugar en los Estados Unidos alrededor de nueve de cada diez días en los últimos cinco años a
menudo son organizados por los llamados Personas "normales" que no soportan la persecución y la depresión.
En muchos casos, se requieren varias interrupciones consecutivas para detectar un problema. Un diagnóstico de esquizofrenia toma al menos un mes para observar los síntomas. Los trastornos de personalidad social, un término moderno para psicopatía y sociopatía, no pueden diagnosticarse en personas menores de 18 años, y luego pueden diagnosticarse solo si una persona ha tenido trastornos de conducta hasta 15 años.
La mayoría de los trastornos psicológicos no tienen biomarcadores, al igual que no hay errores en el código AlphaGo. Los problemas en nuestro "equipo" no son visibles. Ella está en nuestro "software". Muchas opciones para la interrupción del cerebro hacen que cada problema psicológico sea único. Los clasificamos en categorías amplias, como la
esquizofrenia o el
síndrome de Asperger , pero la mayoría de los trastornos tienen una amplia gama, que cubre los síntomas que se pueden encontrar en la mayoría de las personas, en un grado u otro. En 2006, los psicólogos Matthew Keller y Joffrey Miller escribieron que esta es una propiedad inevitable de la estructura cerebral.
En una mente como la nuestra, muchas cosas pueden salir mal. Carl Jung una vez sugirió que en cada persona inteligente hay un loco. Cuanto más se parezcan nuestros algoritmos a nosotros, más fácil será para él esconderse en ellos.
Thomas Hills es profesor de psicología en la Universidad de Warwick en Coventry, Gran Bretaña.