Pourquoi vous ne devriez pas avoir peur des robots tueurs

Une dystopie dans laquelle des robots tueurs détruisent des innocents semble terrible, mais disons-le franchement: tout est de la science-fiction

Une scène du film Slaughterbots dans laquelle des drones tueurs autonomes tombent entre les mains de terroristes dans un avenir dystopique

Des drones tueurs tombés aux mains de terroristes organisent le massacre de personnes innocentes. Les armes robotiques de destruction massive font des ravages et de la peur. Le court-métrage, créé par les partisans de l'interdiction des armes autonomes, a été créé pour vous faire croire que cette anti-utopie est déjà très proche , et que des mesures doivent être prises aujourd'hui. Le film Slaughterbots est sorti en novembre 2017, en même temps que la Conférence des Nations Unies sur les armes autonomes. La réunion des Nations Unies ne s'est pas terminée sur quoi que ce soit de concret, mais la vidéo gagne en popularité. Il a déjà été vu par plus de 2 millions de personnes et a touché des dizaines d'articles . Cela fonctionne parfaitement comme propagande. Et avec la conviction d'accepter une interdiction des armes autonomes, elle ne résiste pas du tout.


Bien sûr, un monde dans lequel les terroristes pourraient lancer un essaim de drones tueurs sur des innocents serait terrible, mais l'avenir montré dans le film est-il réaliste? Une belle image permet de masquer les lacunes de la logique. Le film plonge le spectateur dans un cauchemar dystopique, mais disons-le franchement: tout est de la science-fiction.

L'hypothèse principale du film est qu'à l'avenir, l'armée créera des microdrons autonomes avec des charges cumulatives qui peuvent voler jusqu'à la tête d'une personne et activer des explosifs, la tuant ainsi. Dans le film, ces robots tueurs tombent rapidement entre les mains de terroristes, ce qui entraîne un grand nombre de morts dans le monde.



Le concept principal a un fondement dans la réalité. Dans notre monde, l'État islamique [une organisation terroriste interdite en Fédération de Russie] a utilisé des quadricoptères prêts à l'emploi , équipés d'une petite quantité d'explosifs, pour attaquer les troupes irakiennes, faisant plusieurs dizaines de soldats tués et blessés. Les drones terroristes d'aujourd'hui sont principalement contrôlés à distance, mais les drones amateurs deviennent plus indépendants. Les derniers modèles savent déjà voler par eux-mêmes vers une cible fixe, en contournant les obstacles, ainsi qu'en suivant et en suivant indépendamment les objets en mouvement. Un petit drone équipé d'un système de reconnaissance faciale peut, en principe, être utilisé pour rechercher et détruire de manière autonome certaines personnes, comme le montre le film Slaughterbots. En quelques minutes de recherche sur Internet, j'ai trouvé des ressources où vous pouvez télécharger et former un réseau neuronal gratuit qui reconnaîtra les visages. Et bien que personne n'ait combiné ces technologies, comme le montre le film, tous les composants sont déjà réels.

Mais je veux faire une déclaration: nous ne pouvons pas empêcher cette technologie de tomber entre les mains de futurs terroristes. C'est triste, mais il faut le comprendre. Tout comme les terroristes peuvent utiliser des voitures pour éperonner des foules, la technologie nécessaire pour transformer les drones amateurs en armes grossières et autonomes est déjà trop répandue pour être arrêtée. C'est un problème, et la meilleure réponse sera de nous concentrer sur des mesures de protection qui nous permettront d'affronter les drones et d'attraper des terroristes à l'aide de systèmes de surveillance. "

Le film utilise ce problème, mais le gonfle au-delà de toute mesure, affirmant que les drones peuvent être utilisés par des terroristes comme armes de destruction massive et tuer des milliers de personnes. Heureusement, ce scénario cauchemardesque est tout aussi probable que le HAL 9000 , ce qui vous empêche d'entrer dans la passerelle. Les technologies présentées dans la vidéo sont réalistes, mais tout le reste n'est que des déchets. Les hypothèses suivantes sont formulées dans la vidéo:

• Les gouvernements lanceront la production de masse de microdrones destinés à être utilisés comme armes de destruction massive.
• Il n'y a pas de défense efficace contre les microdrons mortels.
• Les gouvernements ne sont pas en mesure de défendre les armes de niveau militaire contre les terroristes.
• Les terroristes sont capables de lancer des attaques coordonnées à grande échelle.

Ces hypothèses vont de controversées à fantastiques.

Bien sûr, la vidéo elle-même est une fiction et les personnes responsables du développement de la défense utilisent souvent des scénarios fictifs pour aider les politiciens à réfléchir aux conséquences des événements probables. Je suis un analyste de la défense travaillant dans un groupe de réflexion et dans mes précédents travaux au Pentagone, j'ai participé à la planification stratégique. Et j'ai utilisé des scénarios fictifs pour illustrer le choix de la technologie militaire dans laquelle l'armée américaine devrait investir. Mais pour que ces scénarios soient utiles, ils doivent être au moins probables. Ce doit être quelque chose qui peut arriver. Le scénario utilisé dans le film Slaughterbots est incapable de prendre en compte la réalité politique et stratégique de l'utilisation de la technologie militaire par le gouvernement.

Premièrement, rien ne prouve que les gouvernements envisagent de produire en masse de petits drones pour tuer un grand nombre de civils. Dans mon livre à venir, Army of None: les armes autonomes et l'avenir de la guerre [Army from None: les armes autonomes et l'avenir des guerres], j'examine les armes des générations futures construites dans les laboratoires de défense du monde entier. La Russie, la Chine et les États-Unis participent tous à une course à l'autonomie et à l'intelligence artificielle. Mais ils créent des armes, pour la plupart destinées à combattre l'armée. Il s'agit d'armes destinées à frapper des cibles militaires [ contre- forces], et non à frapper d'autres actifs, dont des civils [ contre-valeur ]. Les armes autonomes du premier type, bien sûr, ont leurs propres problèmes, mais elles ne sont pas développées dans le but de détruire massivement des civils, et elles ne peuvent pas être reconfigurées pour une telle utilisation.

Deuxièmement, la vidéo parle de drones qui peuvent surmonter toutes les «contre-actions». Les experts de la télévision crient que "nous ne pouvons pas nous protéger". Ce n'est même pas de la fiction, mais de la farce. Pour chaque technologie militaire, il y a opposition, et l'opposition aux petits drones ne peut même pas être qualifiée d'hypothétique. Le gouvernement américain développe activement des méthodes de tir, de brouillage, de friture, de casse, de piégeage et d'autres méthodes de lutte contre les petits drones. Les microdrones dans la vidéo peuvent être contrés avec succès avec quelque chose d'aussi simple qu'un treillis métallique. La vidéo montre des drones lourds percant des trous dans les murs à travers lesquels d'autres pénètrent - mais une simple défense multicouche peut aider contre cela. Les analystes militaires examinent la valeur de la défense contre l'attaque, auquel cas l'avantage est clairement du côté de la défense statique.


Dans un monde où les terroristes mènent périodiquement des attaques avec des drones improvisés, il est peu probable que les gens supportent l'inconvénient de créer des structures défensives fiables, tout comme les gens ne portent pas de gilets pare-balles pour se protéger contre les coups improbables d'un tireur. Mais si un pays hostile construit des centaines de milliers de drones qui peuvent effacer une ville de la surface de la terre, vous pouvez être sûr que les choses ne peuvent pas se passer de filets. La vidéo prend le vrai problème: les terroristes attaquant avec des drones - et la met à l'échelle sans tenir compte de la réaction des autres parties. Si la production de microdrons létaux à l'échelle industrielle commençait, la protection et les contre-mesures contre eux deviendraient une priorité de l'État, auquel cas les contre-mesures seraient simples. Et toute arme qui peut être protégée avec un treillis métallique n'est pas considérée comme une arme de destruction massive.

Troisièmement, la vidéo implique que l'armée n'est pas en mesure d'empêcher les terroristes d'avoir accès à des armes de niveau militaire. Mais aujourd'hui, nous ne donnons pas de grenades à main, de fusils antichars ou de mitrailleuses à des terroristes [vrai, cette affirmation est réfutée même par le dernier biopic avec Tom Cruise dans le rôle-titre / env. trad.]. Les terroristes attaquant avec des drones excitent tout le monde car ils utilisent des explosifs artisanaux, attachés à la technologie finie. C'est un vrai problème, mais encore une fois, la vidéo met cette menace à l'échelle des volumes irréalistes. Même si l'armée commençait à fabriquer des microdrones mortels, les terroristes pourraient en obtenir un grand nombre pas plus facilement que toute autre technologie militaire. Les armes tombent vraiment progressivement entre les mains des participants aux hostilités combattant du mauvais côté, mais ce n'est pas parce que la Syrie est pleine de missiles antichars à tête chercheuse qu'ils sont faciles à rencontrer à New York. Les terroristes utilisent des avions et des camions précisément parce qu'il n'est pas si facile de faire entrer en contrebande des armes de type militaire dans un pays occidental.


Microdrones tueurs du film

Quatrièmement, la vidéo suggère que les terroristes sont capables d'attaquer avec une coordination incroyablement précise. Dans un épisode, deux personnes libèrent un essaim de 50 drones depuis les portes d'une camionnette. Cet épisode en lui-même est assez réaliste; l'un des problèmes des armes autonomes est qu'un petit groupe de personnes peut lancer une attaque à plus grande échelle que s'il avait des armes classiques. Un wagon avec 50 drones est une option assez raisonnable. Mais le film amène l'idée à une absurdité. Il est allégué qu'environ 8 300 personnes ont été tuées lors d'attaques simultanées. Ensuite, si les gens avec une camionnette dépeignent une attaque typique, alors pour de tels dommages, les terroristes devraient mener environ 160 attaques à travers le monde. Les terroristes mènent souvent des attaques coordonnées, mais leur nombre ne dépasse généralement pas dix . Et la vidéo suppose non seulement la présence de super-armes, mais aussi qu'elle est tombée entre les mains de super-vilains.

Dans le film, le battage médiatique et la peur sont utilisés pour surmonter les hypothèses critiques, à la suite de quoi il interfère avec une discussion rationnelle des risques associés à l'accès des terroristes aux armes autonomes . De la vidéo, il devient clair que nous devons avoir peur. Mais pourquoi avoir peur? Des armes qui choisissent elles-mêmes leurs objectifs (à ce propos, d'ailleurs, tout n'est pas clair dans la vidéo)? Des armes sans contre-mesures? Que les terroristes peuvent mettre la main sur des armes? Des capacités d'armes autonomes pour intensifier les attaques? Si vous voulez faire peur aux robots tueurs, alors cette vidéo vous convient. Mais lorsque vous essayez d'analyser en profondeur le problème, cela ne résiste même pas à une simple étude. La vidéo ne donne aucun argument, mais est engagée dans la création de sensations bon marché et l'escalade de la peur.

Naturellement, le but de la vidéo est d'encourager les téléspectateurs à agir avec peur.
La vidéo se termine par les mots d'un professeur de l'Université de Californie à Berkeley, Stuart Russell , mettant en garde contre les dangers des armes autonomes et exhortant le spectateur à agir pour que ce cauchemar ne devienne pas une réalité. Je respecte hautement Stuart Russell, à la fois un chercheur en IA et une personne contribuant aux conflits d'armes autonomes. J'ai invité Russell à des événements au Center for New American Security , où je suis engagé dans un programme de recherche lié à l' IA et à la sécurité mondiale . Je ne doute pas que les vues de Russell sont sincères. Mais la vidéo, pour tenter de convaincre le spectateur, fait une application non prise en charge.

Pour aggraver les choses, la solution proposée - le traité interdisant les armes autonomes - ne résoudra pas les vrais problèmes auxquels l'humanité est confrontée avec le développement de l'autonomie des armes. L'interdiction n'empêchera pas les terroristes de fabriquer des armes robotisées artisanales. De plus, l'interdiction de telles armes, qui est démontrée dans la vidéo, n'affectera pas les risques associés à l'émergence d'armes autonomes dans l'armée. En fait, il n'est même pas clair si l'arme présentée dans le film tombera sous une telle interdiction, car là, elle agit de manière très sélective.

Se concentrant sur des scénarios extrêmes et improbables, le film empêche en fait de progresser dans la résolution des véritables problèmes liés aux armes autonomes. Les Etats parmi les leaders dans le développement d'armes robotiques sont susceptibles de noter des craintes basées sur ce film. Le film verse de l'eau sur le moulin de ceux qui affirment que la peur des armes autonomes est irrationnelle et sujette à un battage médiatique excessif.

Les armes autonomes soulèvent d'importantes questions sur le respect des lois de la guerre, sur les risques et le contrôle, et sur le rôle moral des personnes dans les hostilités. Ce sont des questions importantes qui méritent une discussion sérieuse. Lorsque Russell et d'autres s'engagent dans un débat animé sur ces questions, je salue une telle discussion. Mais le film spécifié ne rentre pas dans cette catégorie. La vidéo a réussi à capter l'attention des médias, mais son penchant pour les sensations entrave les discussions intellectuelles sérieuses qui doivent avoir lieu sur le sujet des armes autonomes.

Paul Sharr est chercheur principal, directeur de la technologie et de la sécurité publique au New American Security Center (CNAS). De 2009 à 2012, il a dirigé le groupe de travail du département américain de la Défense, qui a élaboré des directives pour l'utilisation de l'autonomie dans les armements.