La guerre contre l'IA commence à dominer les stratégies des États-Unis et de la Chine, mais les technologies sont-elles prêtes pour cela?
En mars dernier, des chercheurs chinois ont annoncé leur intention de lancer une attaque brillante et potentiellement dévastatrice contre l'un des atouts technologiques les plus précieux des États-Unis: la voiture électrique Tesla.
Une équipe du laboratoire de sécurité du géant chinois de la technologie Tencent a montré plusieurs façons de tromper l'algorithme d'IA de Tesla. En modifiant légèrement les données transmises aux capteurs de la voiture, les chercheurs ont réussi à confondre l'IA qui conduisait la voiture.
Dans un cas, il y avait un motif caché sur l'écran du téléviseur qui faisait fonctionner les essuie-glaces.
Dans un autre, les marquages sur la route ont été légèrement modifiés pour confondre le système de conduite autonome, après quoi il a déplacé la voiture dans une voie adjacente.
Les algorithmes de Tesla font généralement un excellent travail pour repérer les gouttes de pluie sur le pare-brise ou suivre les marquages routiers, mais leur principe de fonctionnement est fondamentalement différent de la perception humaine. Pour cette raison, il devient étonnamment facile de tromper les algorithmes d'apprentissage en profondeur (qui gagnent rapidement en popularité dans des domaines tels que la reconnaissance faciale et le diagnostic du cancer) si vous connaissez leurs faiblesses.
Il peut sembler que dans la confusion de la voiture Tesla, il n'y a pas de menaces stratégiques pour les États-Unis. Mais que se passerait-il si des technologies similaires étaient utilisées pour tromper les drones de combat ou les logiciels qui analysent les images satellite afin qu'il voit des objets qui ne sont pas dans les images, ou ne voit pas ce que c'est vraiment?
L'accumulation d'intelligence artificielle
Partout dans le monde, l'IA est déjà considérée comme la prochaine étape pour obtenir un avantage militaire significatif.
Cette année, les États-Unis ont annoncé la mise en œuvre d'une stratégie dans laquelle l'IA sera utilisée dans de nombreux domaines militaires, notamment l'analyse des données, la prise de décision, les véhicules autonomes, la logistique et les armes. Sur les 718 milliards de dollars demandés par le ministère de la Défense pour 2020, 927 millions de dollars iront à l'IA et à l'apprentissage automatique. Parmi les projets existants, il y a à la fois des projets ennuyeux (vérifier si l'IA peut prédire le besoin d'entretien des chars et des camions) et les choses les plus avancées dans le domaine des armements (essaims de drones).
Le Pentagone préconise l'utilisation de l'IA, notamment par crainte que sa technologie ne soit utilisée par ses adversaires. L'année dernière, Jim Mattis, en tant que secrétaire à la Défense, a envoyé au président Donald Trump un mémo avertissant que les États-Unis accusent déjà un retard en matière d'IA. Son anxiété peut être comprise.
En juillet 2017, la Chine a dévoilé sa stratégie en matière d'IA, affirmant que «les plus grands pays développés du monde acceptent le développement de l'IA comme stratégie principale pour améliorer leur position concurrentielle et protéger la sécurité de l'État». Quelques mois plus tard, Vladimir Poutine, le président de la Russie, a fait la prédiction suivante: "Quiconque devient un chef de file de l'IA gouvernera le monde" [
il s'agit d'une traduction littérale du passage cité de l'article original. Mais, comme cela arrive souvent, la citation est déformée. Elle ressemblait à ceci : «Si quelqu'un peut assurer un monopole dans le domaine de l'intelligence artificielle, alors nous en comprenons tous les conséquences - il deviendra le dirigeant du monde» / env. perev. ].
Le désir de construire les armes les plus intelligentes et les plus meurtrières peut être compris, mais, comme le montre le piratage de Tesla, un ennemi qui connaît les principes de l'algorithme de l'IA peut le neutraliser ou même le retourner contre les propriétaires. Le secret pour gagner des guerres contre l'IA n'est peut-être pas de construire les armes les plus impressionnantes, mais de maîtriser l'art de la tromperie logicielle perfide.
Bots de combat
Par une belle journée ensoleillée, l'été dernier à Washington, D.C., Michael Canaan s'est assis au café du Pentagone, a mangé un sandwich et a été étonné par le nouvel ensemble d'algorithmes puissants d'apprentissage automatique.
Quelques semaines plus tôt, Kanaan avait regardé un jeu vidéo dans lequel cinq algorithmes d'IA fonctionnaient ensemble, et avait presque battu et déjoué cinq personnes dans un concours dans lequel ils devaient contrôler les forces, le camp et les ressources dispersés sur un champ de bataille vaste et complexe. Cependant, Kanaan fronça les sourcils sous ses cheveux blonds coupés court alors qu'il décrivait ce qui se passait. C'était la démonstration la plus impressionnante de la stratégie de l'IA de tout ce qu'il a vu - une secousse inattendue de l'IA, similaire à celle qui s'est produite aux échecs, aux jeux pour Atari, etc.
Ces combats se sont déroulés dans Dota 2, un jeu vidéo NF populaire qui reste incroyablement complexe pour les ordinateurs. Les équipes doivent défendre leurs territoires en attaquant le camp ennemi dans un environnement plus complexe et perfide que n'importe quel jeu de société. Les joueurs ne peuvent voir qu'une petite partie de l'ensemble du terrain, et cela peut prendre environ une demi-heure pour déterminer si leur stratégie est gagnante.
Les opposants sous le contrôle de l'IA n'ont pas été développés par les militaires, mais par OpenAI, qui a été créé pour mener des recherches fondamentales dans le domaine de l'IA par les sommités de la Silicon Valley, notamment Elon Mask et Sam Altman. Ces guerriers algorithmiques, connus sous le nom d'OpenAI Five, ont développé leur propre stratégie gagnante, pratiquant le jeu sans relâche et utilisant des mouvements qui se sont avérés être les meilleurs.
C'est le genre de logiciel qui intéresse Canaan, l'un de ceux qui doivent utiliser l'IA pour moderniser l'armée américaine. De son point de vue, ce logiciel montre quels avantages l'armée recevra, en faisant appel à de grands chercheurs mondiaux dans le domaine de l'IA. Cependant, s'ils sont prêts à le fournir - cette question devient plus aiguë.
Kanaan a dirigé le United States Air Force Project Maven, une initiative militaire visant à utiliser l'IA pour automatiser la reconnaissance des objets dans les photographies aériennes. Google était le contractant du projet, et quand en 2018 certains employés de l'entreprise l'ont découvert, l'entreprise a décidé d'abandonner ce projet. Après cela, la société a publié les règles d'utilisation de l'IA, où elle a écrit que Google n'utilisera pas son IA pour développer "des armes ou d'autres technologies dont le principal objectif ou la méthode de mise en œuvre implique de blesser des personnes".
Google a été suivi par des employés d'autres grandes entreprises technologiques, obligeant les employeurs à s'abstenir de contrats militaires. De nombreux chercheurs éminents en IA ont soutenu les tentatives d'organiser une interdiction mondiale des armes entièrement autonomes.
Cependant, pour Kanaan, ce sera un gros problème si les militaires ne peuvent pas travailler avec des chercheurs - tels que ceux qui ont développé OpenAI Five. La perspective dans laquelle l'adversaire aura accès à une technologie aussi avancée semble encore plus désagréable. "Le code est dans le domaine public, tout le monde peut l'utiliser", a-t-il déclaré. Et il a ajouté: la guerre est beaucoup plus compliquée qu'un jeu vidéo. »
Augmentation de l'IA
Kanaan insiste donc sur la question de l'IA, en particulier parce qu'il sait de première main à quel point cela peut être utile aux militaires. Il y a six ans, il était officier du renseignement en Afghanistan pour l'US Air Force et était responsable du déploiement d'un nouveau dispositif de collecte de renseignements: un analyseur hyperspectral. Cet outil peut détecter des objets cachés à la vue ordinaire, tels que des réservoirs recouverts de tissu de camouflage ou des émissions provenant d'une usine d'explosifs illégale. Kanaan dit que ce système a permis aux militaires de retirer des milliers de kilogrammes d'explosifs du champ de bataille. Et encore, souvent, les analystes ne pouvaient pas en pratique analyser les énormes quantités de données collectées par l'analyseur. «Nous avons passé trop de temps à regarder les données et trop peu de temps à prendre des décisions», dit-il. «Parfois, cela traînait tellement que nous avons commencé à nous demander si nous pouvions sauver encore plus de vies.»
La solution se trouve dans une percée réalisée dans le domaine de la vision par ordinateur par une équipe de l'Université de Toronto sous la direction de Joffrey Hinton. Les scientifiques ont montré qu'un algorithme inspiré d'un réseau de neurones multicouches peut reconnaître des objets avec une précision sans précédent si vous lui fournissez suffisamment de données et de puissance de calcul.
L'apprentissage d'un réseau de neurones implique qu'il recevra des données, par exemple des pixels d'image, et qu'il les traitera, en changeant constamment les connexions internes du réseau à l'aide de techniques mathématiques, afin que la sortie soit aussi proche que possible d'un résultat spécifique, par exemple, pour déterminer si image de l'objet. Au fil du temps, ces réseaux neuronaux d'apprentissage en profondeur apprennent à reconnaître des motifs à partir de pixels qui indiquent, par exemple, des personnes ou des maisons. Des percées dans l'apprentissage en profondeur ont engendré le boom actuel de l'IA; cette technologie est à la base des systèmes autonomes pour les algorithmes Tesla et OpenAI.
Kanaan a immédiatement reconnu le potentiel d'apprentissage en profondeur pour traiter différents types d'images et de données de capteurs pour les opérations militaires. Lui et ses collègues de l'Air Force ont rapidement commencé à inciter les autorités à investir dans cette technologie. Leurs efforts ont contribué à l’avancement des plans de développement de l’IA du Pentagone.
Cependant, peu de temps après que le deep learning a fait irruption dans le domaine de l'IA, les chercheurs ont découvert que les mêmes propriétés qui en font un outil si puissant sont également son talon d'Achille.
S'il est possible de calculer comment ajuster les paramètres du réseau afin qu'il classe correctement l'objet, alors il est possible de calculer quels changements minimaux dans l'image peuvent provoquer une erreur du réseau. Dans de tels «exemples compétitifs», après avoir changé seulement quelques pixels de l'image, elle a la même apparence pour une personne, mais est perçue d'une manière complètement différente par l'algorithme AI. Le problème peut survenir partout où l'apprentissage en profondeur est utilisé - par exemple, dans la gestion de véhicules robotiques, la planification de missions ou la détection de piratages de réseau.
Et au milieu de toute cette croissance active de l'utilisation de l'IA à des fins militaires, peu de gens remarquent les mystérieuses vulnérabilités des logiciels.
Déplacer des cibles
Un objet remarquable illustre toute la puissance de l'apprentissage automatique compétitif. Ceci est une image d'un bug.
Cela me semble normal ou à vous, mais elle voit un drone ou un robot avec un certain algorithme de vision industrielle obtenu par une formation approfondie ... comme un pistolet. En fait, le motif unique des marques sur la carapace de tortue peut être refait afin que la vision par ordinateur basée sur l'IA, accessible via le service cloud de Google, la confond avec quoi que ce soit (depuis lors, Google a mis à jour son algorithme, et vous ne pouvez pas simplement le tromper )
Dans le même temps, la tortue n'a pas été fabriquée par l'ennemi de l'État, mais par quatre gars du MIT. L'un d'eux est Anish Ataliy, un jeune homme dégingandé et très poli travaillant dans le domaine de la sécurité informatique au laboratoire d'informatique et d'intelligence artificielle (CSAIL). Une vidéo tournant sur son ordinateur portable montre le processus de test des tortues (certains de ces modèles, a-t-il dit, ont été volés lors d'une conférence), qui sont tournés à 360 degrés et également renversés. Et l'algorithme y voit la même chose: "fusil de chasse", "fusil de chasse", "fusil de chasse".
Les premiers exemples concurrentiels étaient fragiles et refusaient souvent de fonctionner, mais Ataliy et ses amis pensaient qu'ils seraient en mesure de développer une version assez fiable d'un tel exemple qui pourrait fonctionner même sur un objet imprimé sur une imprimante 3D. Il était nécessaire de simuler des objets en trois dimensions et de développer un algorithme qui crée une tortue - un exemple compétitif qui fonctionnera sous différents angles de vue et à différentes distances. Autrement dit, ils ont proposé un algorithme qui crée quelque chose qui trompe de manière fiable l'apprentissage automatique.
Les applications militaires de cette technologie sont évidentes. En utilisant des algorithmes compétitifs de camouflage, les tanks et les avions peuvent se cacher des satellites et des drones avec l'IA. Les missiles alimentés par l'IA peuvent devenir aveugles avec des données compétitives, ou même revenir à des cibles amies. Les informations fournies aux algorithmes intelligents peuvent être empoisonnées en déguisant une menace terroriste ou en piégeant des soldats dans le monde réel.
Atalya est surpris de voir à quel point il se préoccupe peu de l'apprentissage machine compétitif. «J'ai parlé à un tas de gens de cette industrie, leur demandant s'ils étaient préoccupés par les exemples concurrentiels», dit-il. "Presque tous ont répondu négativement."
Heureusement, le Pentagone commence à y prêter attention. En août, le projet DARPA a annoncé le lancement de plusieurs grands projets de recherche sur l'IA. Parmi eux, GARD, un programme axé sur l'apprentissage automatique compétitif. Hawa Shigelman, professeur à l'Université du Massachusetts et gestionnaire de programme pour le GARD, dit que ces attaques peuvent être dévastatrices dans des situations militaires parce que les gens ne peuvent pas les reconnaître. «Nous sommes censés être aveugles», dit-il. "Et cela rend la situation très dangereuse."
Les problèmes concurrents d'apprentissage automatique expliquent également pourquoi le Pentagone est si désireux de travailler avec des entreprises comme Google et Amazon, ainsi qu'avec des instituts de recherche comme le MIT. La technologie se développe très rapidement, et les dernières avancées ont lieu dans des laboratoires gérés par des entreprises de la Silicon Valley et les meilleures universités, plutôt que par des entrepreneurs de défense ordinaires.
Ce qui est important, ils se produisent également en dehors des États-Unis, en particulier en Chine. «Je pense qu'un autre monde arrive», dit Kanaan. "Et nous devons le combattre avec l'IA."
La réaction de colère à l'utilisation de l'IA à des fins militaires est compréhensible, mais elle peut ne pas voir l'image dans son ensemble. Les gens s'inquiètent des robots tueurs intelligents, mais il est possible que nous courions plus tôt le risque d'un brouillard de guerre algorithmique - à travers lequel même les machines les plus intelligentes ne peuvent rien voir.