Ma voiture a-t-elle des hallucinations? L'algorithme contrôlant le système de surveillance policière dans ma ville souffre-t-il de paranoïa? Marvin, l'auto-stoppeur Android de la Galaxie, a souffert de toutes les diodes du côté gauche. Mon grille-pain a-t-il des sentiments similaires?
Cela semble drôle, mais seulement jusqu'à ce que nous comprenions que nos algorithmes nous ressemblent de plus en plus. Plus nous en apprenons sur notre cerveau, plus nous mettons cette connaissance à créer des versions algorithmiques de nous-mêmes. Ces algorithmes contrôlent la vitesse des robots, déterminent les objectifs des drones militaires autonomes, calculent notre sensibilité à la publicité commerciale et politique, trouvent des âmes sœurs dans les services en ligne et évaluent les risques pour les assurances et les prêts. Les algorithmes deviennent une toile de fond presque sensible à nos vies.
Les algorithmes les plus populaires utilisés aujourd'hui dans le travail sont des algorithmes d'
apprentissage profond . Ils copient l'architecture du cerveau humain, construisant des modèles complexes d'informations. Ils sont formés pour comprendre la réalité environnante à travers sa perception, pour déterminer ce qui est important et pour comprendre ce qui en découle. Ils ressemblent à notre cerveau et leur risque de problèmes psychologiques augmente.
Deep Blue, l'algorithme qui a vaincu le champion du monde d'échecs Garry Kasparov en 1997, a utilisé la force brute, triant un million de positions par seconde et prévoyant jusqu'à 20 mouvements à l'avenir. Tout le monde a compris comment cela fonctionne, même s'ils ne pouvaient pas le répéter. AlphaGo, un algorithme d'apprentissage en profondeur qui a vaincu Lee Sedola en 2016, est fondamentalement différent. Il a utilisé les réseaux de neurones pour créer sa propre compréhension du jeu, considéré comme le plus difficile de tous les jeux de société. AlphaGo
s'est entraîné en regardant les autres et en jouant avec lui-même. Les programmeurs et les joueurs de go sont confus par le style de jeu non conventionnel d'AlphaGo. Sa stratégie semble d'abord inhabituelle. Et c'est seulement alors que nous comprenons ce qu'il avait en tête, et puis, pas à 100%.
Pour mieux vous expliquer ce que je veux dire par réflexion, considérez ce qui suit. Des programmes comme Deep Blue peuvent avoir une erreur dans le code. Ils peuvent tomber d'un débordement de mémoire. Ils peuvent être paralysés en raison d'une boucle infinie ou simplement donner la mauvaise réponse. Mais tous ces problèmes peuvent être résolus par un programmeur qui a accès au code source du programme avec lequel l'algorithme a été écrit.
Des algorithmes comme AlphaGo fonctionnent très différemment. Leurs problèmes sont très difficiles à voir, il suffit de regarder le code du programme. Ils sont liés à la présentation interne des informations. Cette vue est un espace multidimensionnel en constante évolution ressemblant à des paysages de rêve. La résolution des problèmes de tels algorithmes ne nécessite ni plus ni moins qu'un psychothérapeute pour les algorithmes.
Prenez des véhicules sans pilote. La Robomobile, qui a vu le premier panneau d'arrêt dans le monde réel, avait déjà vu des millions de panneaux d'arrêt pendant l'entraînement en train de construire une représentation mentale de ce panneau. Sous différentes conditions d'éclairage, par beau et mauvais temps, avec ou sans trous de balles, les panneaux d'arrêt contiennent une quantité incroyable d'informations diverses. Dans la plupart des conditions normales, le robot reconnaîtra le panneau d'arrêt. Mais toutes les conditions ne sont pas normales. Certaines expériences récentes
ont montré que quelques autocollants noirs couvrant le panneau d'arrêt peuvent tromper un algorithme qui décide qu'il s'agit en fait d'un panneau de limitation de vitesse à 60 mph. L'algorithme, ayant rencontré quelque chose de terriblement similaire à l'ombre contrastante d'un arbre, commence à halluciner.
Et combien de façons un algorithme a-t-il une hallucination? Pour le savoir, il faudrait demander à l'algorithme toutes les combinaisons possibles de données d'entrée. Cela signifie que quelque chose peut mal tourner de plusieurs façons. Les programmeurs experts le savent depuis longtemps et ils l'utilisent pour créer ce que l'on appelle exemples contradictoires. Le groupe de recherche MIT LabSix du MIT a
montré qu'en émettant des images spéciales à l'algorithme de classification d'images de Google et en utilisant les données reçues de celui-ci, on peut identifier ses points faibles. Et puis ils peuvent utiliser ces faiblesses pour tromper l'algorithme - par exemple, pour lui faire croire que la radiographie est en fait une image de deux chiots jouant dans l'herbe.
Les algorithmes peuvent également faire des erreurs, car ils perçoivent parfois des caractéristiques environnementales qui sont en corrélation avec le résultat final, bien qu'ils n'aient pas de relation causale avec lui. Dans le monde des algorithmes, cela s'appelle le
recyclage . Lorsque cela se produit dans le cerveau, nous l'appelons superstition.
L'une des plus grandes défaillances algorithmiques à l'heure actuelle reste la soi-disant. "
parabola Google Flu " [prédiction épidémique de la grippe]. Google Grippe a utilisé des informations que les gens recherchent sur Google pour prédire les lieux et l'intensité des épidémies de grippe. Au début, les prévisions de Google Grippe ont bien fonctionné, mais elles ont commencé à se détériorer avec le temps, jusqu'à ce que, finalement, le système commence à prédire deux fois plus de cas de grippe qu'il n'a été enregistré dans les Centers for Disease Control des États-Unis. Google Flu, en tant que chaman algorithmique, a simplement fait attention à ce qui n'était pas nécessaire.
Peut-être que les pathologies algorithmiques peuvent être corrigées. Mais en pratique, les algorithmes sont souvent des boîtes noires propriétaires dont la mise à jour est interdite par les lois du commerce. L'
arme de défaite mathématique de Katie O'Neill 2016 décrit le véritable défilé de monstres, composé d'algorithmes commerciaux dont les pathologies rusées ont gâché la vie des gens. Les failles algorithmiques qui divisent les riches et les pauvres sont particulièrement intéressantes. Les pauvres sont plus susceptibles d'avoir des problèmes de crédit, de vivre dans des endroits où le taux de criminalité est élevé et sont entourés d'autres pauvres ayant des problèmes similaires. Pour cette raison, les algorithmes choisissent ces personnes comme cibles pour tromper les publicités qui se nourrissent de leur désespoir, leur offrent des prêts à
risque et envoient plus de policiers dans leurs zones de résidence, augmentant ainsi la probabilité que la police les détienne pour des crimes qui se produisent à la même fréquence. et dans les zones plus riches. Les algorithmes utilisés par le système judiciaire attribuent à ces personnes de longues périodes, réduisent leurs chances de libération conditionnelle, bloquent les vacances pour elles, augmentent les intérêts hypothécaires, nécessitent des primes d'assurance importantes, etc.
Ce cercle vicieux algorithmique est caché dans des poupées imbriquées constituées de boîtes noires: les algorithmes de boîte noire cachant le traitement dans leurs pensées de dimensions supérieures, auxquelles nous n'avons pas accès, sont cachés dans des boîtes noires de droits de propriété sur les algorithmes. Dans certains endroits, par exemple à New York, cela a conduit à des propositions pour l'adoption de lois exigeant le contrôle de l'équité des algorithmes utilisés par les services municipaux. Mais si nous ne pouvons même pas détecter les distorsions cognitives en nous-mêmes, comment pouvons-nous nous attendre à ce qu'elles soient détectées dans nos algorithmes?
Les algorithmes, formés aux données humaines, acquièrent nos distorsions. Dans une
étude récente dirigée par Eileen Kaliskan de l'Université de Princeton, il a été découvert que les algorithmes basés sur les nouvelles acquéraient rapidement des biais raciaux et de genre. Comme l'a souligné Kaliskan: «Beaucoup de gens croient que les voitures n'ont aucun préjugé. Mais les machines s'entraînent sur les données humaines. Et les gens ont des préjugés. »
Les réseaux sociaux sont le nid d'un serpent de préjugés humains et de haine. Les algorithmes qui passent beaucoup de temps sur les réseaux sociaux deviennent rapidement des fanatiques aveugles. Ils acquièrent des préjugés contre les infirmières et les femmes ingénieurs. Ils comprennent mal des questions telles que l'immigration et les droits des minorités. Un peu plus, et les algorithmes commenceront à traiter les gens aussi injustement que les gens se rapportent les uns aux autres. Mais les algorithmes sont intrinsèquement trop confiants dans leur infaillibilité. Et à moins que vous ne les entraîniez dans l'autre sens, ils n'auront aucune raison de se soupçonner d'incompétence (tout est comme les gens).
Dans les algorithmes que j'ai décrits, des problèmes psychologiques se posent en raison de la qualité des données sur lesquelles ils s'entraînent. Mais les algorithmes peuvent avoir des problèmes similaires en raison de leur structure interne. Ils peuvent oublier d'anciennes informations lorsqu'ils apprennent de nouvelles informations. Imaginez que vous vous souveniez du nom d'un nouveau collègue et que vous ayez soudainement oublié où vous habitez. Dans les cas extrêmes, les algorithmes peuvent souffrir en raison de ce que l'on appelle «
Oubli catastrophique » lorsque l'algorithme dans son ensemble ne peut plus apprendre et se souvenir de quelque chose de nouveau.
La théorie de la déficience cognitive liée à l'âge est basée sur une idée similaire: lorsque la mémoire devient surchargée, le cerveau et l'ordinateur prennent plus de temps pour trouver ce qu'ils savent.
Quand exactement un cas prend une tournure pathologique - cela dépend du point de vue. En conséquence, les anomalies psychologiques chez les personnes restent souvent non résolues.
Les synesthésiques , comme ma fille, dans la perception de laquelle les lettres écrites sont associées à certaines couleurs, ne réalisent souvent pas qu'elles ont un don spécial pour la perception, jusqu'à l'adolescence.
Les preuves de l'analyse du discours de Ronald Reagan suggèrent maintenant qu'il souffrait de démence en tant que président. Un article de The Guardian
décrit comment les fusillades de masse qui ont eu lieu aux États-Unis environ neuf jours sur dix au cours des cinq dernières années sont
souvent mises en scène par les soi-disant Des gens "normaux" qui ne supportent pas la persécution et la dépression.
Dans de nombreux cas, plusieurs interruptions consécutives sont nécessaires pour détecter un problème. Un diagnostic de schizophrénie prend au moins un mois pour observer les symptômes. Les troubles de la personnalité asociale - un terme moderne pour désigner la psychopathie et la sociopathie - ne peuvent pas être diagnostiqués chez les personnes de moins de 18 ans, puis ils ne peuvent être diagnostiqués que si une personne a eu des troubles du comportement jusqu'à 15 ans.
La plupart des troubles psychologiques n'ont pas de biomarqueurs, tout comme il n'y a pas de bogues dans le code AlphaGo. Les problèmes dans notre "équipement" ne sont pas visibles. Elle est dans notre "logiciel". De nombreuses options de perturbation du cerveau rendent chaque problème psychologique unique. Nous les classons en grandes catégories, telles que la
schizophrénie ou le
syndrome d'Asperger , mais la plupart des troubles ont une large gamme, couvrant les symptômes qui peuvent être trouvés chez la plupart des gens, à un degré ou un autre. En 2006, les psychologues Matthew Keller et Joffrey Miller ont écrit que c'était une propriété inévitable de la structure cérébrale.
Dans un esprit comme le nôtre, beaucoup de choses peuvent mal tourner. Carl Jung a suggéré une fois que dans chaque personne intelligente se trouve un fou. Plus nos algorithmes nous ressemblent, plus il lui est facile de se cacher.
Thomas Hills est professeur de psychologie à l'Université de Warwick à Coventry, en Grande-Bretagne.