Ce que les chercheurs en IA pensent des risques possibles associés

Je me suis intéressé aux risques associés à l'IA en 2007. A cette époque, la réaction de la plupart des gens à ce sujet était quelque chose comme ceci: "C'est très drôle, revenez quand quelqu'un d'autre que des crétins d'Internet y croira."

Au cours des années suivantes, plusieurs personnalités extrêmement intelligentes et influentes, dont Bill Gates , Stephen Hawking et Elon Musk , ont publiquement partagé leurs préoccupations concernant les risques de l'IA, suivies par des centaines d'autres intellectuels, des philosophes d'Oxford aux cosmologistes du MIT et des investisseurs de la Silicon Valley. . Et nous revoilà.

Ensuite, la réaction a changé: "Eh bien, quelques scientifiques et hommes d'affaires peuvent y croire, mais il est peu probable qu'ils soient de vrais experts dans ce domaine qui connaissent vraiment la situation."

De là sont venus des déclarations comme l'article de vulgarisation scientifique " Bill Gates a peur de l'IA, mais les chercheurs en IA devraient savoir ":

Après avoir parlé avec des chercheurs en IA - de vrais chercheurs, qui ne font guère fonctionner de tels systèmes, sans parler du bon fonctionnement, il devient clair qu'ils n'ont pas peur que la superintelligence leur arrive soudainement, ni maintenant ni à l'avenir. . Malgré toutes les histoires effrayantes racontées par Mask, les chercheurs ne sont pas pressés de construire des salles de protection et d'autodestruction avec un compte à rebours.

Ou, comme ils l'ont écrit sur Fusion.net dans l'article " Objection à propos des robots tueurs d'une personne qui développe réellement l'IA ":

Andrew Angie développe professionnellement des systèmes d'IA. Il a enseigné un cours d'IA à Stanford, développé l'IA sur Google, puis est passé au moteur de recherche chinois Baidu pour continuer son travail à l'avant-garde de l'application de l'IA à des problèmes du monde réel. Donc, quand il apprend comment Elon Musk ou Stephen Hawking - des gens qui ne connaissent pas directement la technologie moderne - parlent de l'IA, qui pourrait potentiellement détruire l'humanité, on peut presque l'entendre se couvrir le visage avec ses mains.

Ramez Naam de Marginal Revolution répète à peu près la même chose dans l'article « Que pensent les chercheurs des risques de l'IA? »:

Elon Musk, Stephen Hawking et Bill Gates ont récemment exprimé leurs inquiétudes quant au fait que le développement de l'IA pourrait mettre en œuvre le scénario du «tueur d'IA», et potentiellement conduire à l'extinction de l'humanité. Ce ne sont pas des chercheurs en IA, et pour autant que je sache, ils n'ont pas travaillé directement avec l'IA. Que pensent les vrais chercheurs en IA des risques de l'IA?

Il cite les mots de chercheurs en IA spécialement sélectionnés, comme les auteurs d'autres histoires - puis s'arrête, sans mentionner d'opinions différentes de cela.

Mais ils existent. Les chercheurs en IA, y compris les chefs de file dans le domaine, ont activement exprimé leurs préoccupations concernant les risques de l'IA et au-delà du renseignement, et depuis le tout début. Je commencerai par énumérer ces personnes, malgré la liste de Naam, puis je passerai à la raison pour laquelle je ne considère pas cela comme une «discussion» au sens classique attendu de la liste des étoiles.

Les critères de ma liste sont les suivants: je ne mentionne que les chercheurs les plus prestigieux, ou les professeurs de science dans les bons instituts avec de nombreuses citations d'articles scientifiques, ou les scientifiques très respectés de l'industrie qui travaillent pour de grandes entreprises et ont de bons antécédents. Ils sont engagés dans l'IA et l'apprentissage automatique. Ils ont plusieurs déclarations fortes à l'appui d'un certain point de vue concernant l'apparition d'une singularité ou d'un risque sérieux de l'IA dans un proche avenir. Certains d'entre eux ont écrit des ouvrages ou des livres sur ce sujet. D'autres ont simplement exprimé leurs pensées, estimant qu'il s'agit d'un sujet important qui mérite d'être étudié.

Si quelqu'un n'est pas d'accord avec l'inclusion d'une personne dans cette liste ou pense que j'ai oublié quelque chose d'important, faites-le moi savoir.

* * * * * * * * * *

Stuart Russell est professeur d'informatique à Berkeley, lauréat du prix IJCAI Computers And Thought, chercheur à la Computer Mechanization Association, chercheur à l'American Academy of Advanced Scientific Research, directeur du Center for Intelligent Systems, lauréat du prix Blaise Pascal, etc. etc. Co-auteur de AI: A Modern Approach , un manuel classique utilisé dans 1 200 universités à travers le monde. Sur son site Internet, il écrit:

Dans le domaine de l'IA, 50 ans de recherche sont en cours sous la bannière de l'hypothèse que le plus intelligent est le mieux. Le souci du bien de l'humanité doit être combiné à cela. L'argument est simple:

1. L'IA est susceptible d'être créée avec succès.
2. Un succès illimité entraîne de grands risques et de grands avantages.
3. Que pouvons-nous faire pour augmenter les chances d'obtenir des avantages et d'éviter les risques?

Certaines organisations travaillent déjà sur ces questions, notamment l'Institute for the Future of Humanity d'Oxford, le Center for Existential Risk Studies de Cambridge (CSER), l'Institute for the Study of Machine Intelligence de Berkeley et l'Institute for Future Life de Harvard / MIT (FLI). Je fais partie de conseils consultatifs avec le CSER et FLI.

Tout comme les chercheurs en fusion nucléaire ont considéré le problème de la limitation des réactions nucléaires comme l'un des problèmes les plus importants dans leur domaine, le développement du domaine de l'IA posera inévitablement des questions de contrôle et de sécurité. Les chercheurs commencent déjà à poser des questions, de purement techniques (les principaux problèmes de rationalité et d'utilité, etc.) à des problèmes largement philosophiques.

Sur edge.org, il décrit un point de vue similaire:

Comme l'expliquent Steve Omohandro, Nick Bostrom et d'autres, une divergence de valeurs avec les systèmes de prise de décision, dont les possibilités ne cessent de croître, peut entraîner des problèmes - peut-être même des problèmes d'échelle d'extinction, si les machines sont plus capables que les humains. Certains croient qu’il n’y a aucun risque prévisible pour l’humanité dans les siècles à venir, oubliant peut-être que la différence de temps entre la déclaration confiante de Rutherford selon laquelle l’énergie atomique ne peut jamais être extraite et moins de 24 heures se sont écoulées par l’invention de la réaction en chaîne nucléaire déclenchée par les neutrons .

Il a également essayé de devenir un représentant de ces idées dans la communauté universitaire, indiquant :

Je trouve que les principaux acteurs de cette industrie, qui n'ont jamais exprimé de craintes auparavant, se disent que ce problème doit être pris très au sérieux, et le plus tôt nous le prendrons au sérieux, mieux ce sera.

David McAllister est professeur et agrégé supérieur au Toyota Institute of Technology, affilié à l'Université de Chicago, qui a auparavant travaillé dans les facultés du MIT et du Cornell Institute. Il est membre de l'American AI Association, a publié plus d'une centaine d'ouvrages, mené des recherches dans les domaines de l'apprentissage automatique, de la théorie de la programmation, de la prise de décision automatique, de la planification de l'IA, de la linguistique computationnelle, et a eu un impact majeur sur les algorithmes du célèbre ordinateur d'échecs Deep Blue. Selon un article de la Pittsburgh Tribune Review:

Le professeur de Chicago, David McAllister, considère inévitable l'émergence de la capacité des machines intelligentes entièrement automatiques à concevoir et à créer des versions plus intelligentes d'elles-mêmes, c'est-à-dire le début d'un événement connu sous le nom de singularité [technologique]. La singularité permettra aux machines de devenir infiniment intelligentes, conduisant à un «scénario incroyablement dangereux», dit-il.

Dans son blog, Pensées sur les voitures , il écrit:

La plupart des informaticiens refusent de parler de véritables succès en IA. Je pense qu'il serait plus raisonnable de dire que personne ne peut prédire quand une IA comparable à l'esprit humain sera reçue. John MacArthy m'a dit une fois que lorsqu'on lui demandait combien de temps l'IA au niveau humain serait créée, il répond qu'elle a cinq à cinq cents ans. MacArthy était intelligent. Compte tenu des incertitudes dans ce domaine, il est raisonnable de considérer le problème de l'IA amicale ...

Au début, l'IA généralisée sera sûre. Cependant, les premiers stades de l'OII seront un excellent site de test pour l'IA en tant que serviteur ou d'autres options d'IA amicales. Ben Goertzel annonce également une approche expérimentale dans un bon article sur son blog. Si l'ère des OII sûrs et pas trop intelligents nous attend, alors nous aurons le temps de penser à des temps plus dangereux.

Il était membre du groupe d'experts AAAI Panel On Long-Term AI Futures dédié aux perspectives à long terme de l'IA, a présidé le comité de contrôle à long terme et est décrit comme suit :

Makalister m'a parlé de l'approche de la "singularité", un événement où les ordinateurs deviennent plus intelligents que les gens. Il n'a pas nommé la date exacte de son occurrence, mais a déclaré que cela pourrait se produire dans les deux prochaines décennies, et à la fin, cela arriverait certainement. Voici ses vues sur la singularité. Deux événements importants se produiront: l'intelligence opérationnelle, dans laquelle nous pouvons facilement parler aux ordinateurs, et une réaction en chaîne de l'IA, dans laquelle l'ordinateur peut s'améliorer sans aucune aide, puis la répéter à nouveau. Le premier événement que nous remarquerons dans les systèmes d'assistance automatique qui nous aidera vraiment. Plus tard, il deviendra vraiment intéressant de communiquer avec les ordinateurs. Et pour que les ordinateurs puissent faire tout ce que les gens peuvent faire, vous devez attendre que le deuxième événement se produise.

Hans Moravek est un ancien professeur à l'Institut de robotique de l'Université Carnegie Mellon, du nom de lui dans le paradis de Moravec , fondateur de SeeGrid Corporation , qui se spécialise dans les systèmes de vision industrielle pour les applications industrielles. Son travail, « Synthesis of Sensors in the Certainty Grids of Mobile Robots », a été cité plus de mille fois, et il a été invité à écrire un article pour la British Encyclopedia of Robotics, à une époque où les articles des encyclopédies étaient écrits par des experts mondiaux dans ce domaine, et non par des centaines de commentateurs Internet anonymes.

Il est également l'auteur de Robot: From a Simple Machine to a Transcendental Mind , qu'Amazon décrit comme suit:

Dans ce livre passionnant, Hans Moravek prédit que d'ici 2040, les machines approcheront le niveau intellectuel des gens, et d'ici 2050, elles nous dépasseront. Mais alors que Moravec prédit la fin d'une ère de domination humaine, sa vision de cet événement n'est pas si sombre. Il n'est pas isolé d'un avenir dans lequel les machines gouvernent le monde, mais l'accepte et décrit un point de vue étonnant selon lequel les robots intelligents deviendront nos descendants évolutionnaires. Moravec pense qu'à la fin de ce processus, "le vaste cyberespace s'unira au supramental inhumain et traitera les affaires aussi loin des gens que les affaires humaines des bactéries".

Shane Leg est co-fondateur de DeepMind Technologies , une startup de l'IA achetée en 2014 pour 500 millions de dollars par Google. Il a reçu son doctorat de l'Institut de l'IA nommé d'après Dale Moul en Suisse, et a également travaillé dans la division de neurobiologie computationnelle. Gatsby à Londres. Au terme de sa thèse, «superintelligence machine», il écrit :

Si quelque chose apparaît qui peut s'approcher de la puissance absolue, ce sera une machine super intelligente. Par définition, elle pourra atteindre un grand nombre d'objectifs dans une grande variété d'environnements. Si nous nous préparons soigneusement à une telle opportunité à l'avance, nous pouvons non seulement éviter la catastrophe, mais aussi commencer une ère de prospérité, contrairement à tout ce qui existait auparavant.

Dans une interview ultérieure, il dit :

L'IA est maintenant là où Internet était en 1988. Les besoins d'apprentissage automatique sont requis dans des applications spéciales (moteurs de recherche tels que Google, hedge funds et bioinformatique), et leur nombre augmente chaque année. Je pense que vers le milieu de la prochaine décennie, ce processus deviendra massif et perceptible. Le boom de l'IA devrait avoir lieu vers 2020, suivi d'une décennie de progrès rapides, peut-être après les corrections du marché. L'IA au niveau humain sera créée vers la mi-2020, bien que beaucoup de gens n'accepteront pas le début de cet événement. Après cela, les risques associés à l'IA avancée seront mis en pratique. Je ne parlerai pas de la «singularité», mais ils s'attendent à ce qu'à un moment donné après la création de l'OII, des choses folles commencent à se produire. C'est entre 2025 et 2040.

Lui et ses co-fondateurs Demis Khasabis et Mustafa Suleiman ont signé une pétition pour l'Institut pour la vie future concernant les risques liés à l'IA, et l'une de leurs conditions pour rejoindre Google était que l'entreprise accepte d'organiser un conseil d'éthique de l'IA pour étudier ces questions.

Steve Omohundro est un ancien professeur d'informatique à l'Université de l'Illinois, le fondateur du groupe de vision par ordinateur et de formation au Center for the Study of Complex Systems, et l'inventeur de divers développements importants dans l'apprentissage automatique et la vision par ordinateur. Il a travaillé sur des robots lisant les lèvres, le langage de programmation parallèle StarLisp, des algorithmes d'apprentissage géométrique. Il dirige actuellement Self-Aware Systems , "une équipe de scientifiques qui veille à ce que les technologies intelligentes profitent à l'humanité". Son travail, «Les bases de la motivation de l'IA », a aidé à créer le domaine de l'éthique des machines, car il a noté que les systèmes super-intelligents seront dirigés vers des objectifs potentiellement dangereux. Il écrit:

Nous avons montré que tous les systèmes d'IA avancés sont susceptibles d'avoir un ensemble de motivations fondamentales. Il est impératif de comprendre ces motivations afin de créer des technologies qui garantissent un avenir positif à l'humanité. Yudkovsky a appelé à une «IA amicale». Pour ce faire, nous devons développer une approche scientifique du «développement utilitaire», qui nous permettra de développer des fonctions socialement utiles qui conduiront aux séquences que nous désirons. Les progrès rapides du progrès technologique suggèrent que ces problèmes pourraient bientôt devenir critiques.

Vous pouvez trouver ses articles sur le sujet "AI rationnelle pour le bien commun" sur le lien .

Murray Shanahan est titulaire d'un doctorat en informatique de Cambridge et est maintenant professeur de robotique cognitive à l'Imperial College de Londres. Il a publié des travaux dans des domaines tels que la robotique, la logique, les systèmes dynamiques, la neurobiologie computationnelle et la philosophie de l'esprit. Il travaille actuellement sur le livre Technological Singularity , qui sera publié en août. L'annotation promotionnelle d'Amazon est la suivante:

Shanahan décrit les progrès technologiques de l'IA, à la fois réalisés sous l'influence des connaissances de la biologie et développés à partir de zéro. Il explique que lorsque l'IA du niveau humain sera créée - une tâche théoriquement possible mais difficile - la transition vers une IA superintelligente sera très rapide. Le Shanahan réfléchit à ce que l'existence de machines superintelligentes peut mener à des domaines tels que la personnalité, la responsabilité, les droits et l'individualité. Certains représentants de l'intelligence artificielle superintelligente peuvent être créés au profit de l'homme, certains peuvent devenir incontrôlables. (C'est-à-dire, Siri ou HAL?) La singularité représente pour l'humanité à la fois une menace existentielle et une opportunité existentielle de surmonter ses limites. Shanahan indique clairement que si nous voulons obtenir un meilleur résultat, nous devons imaginer les deux possibilités.

Marcus Hutter est professeur de recherche en informatique à la National Australia University. Avant cela, il a travaillé à l'Institut de l'IA nommé d'après Dale Mole en Suisse et à l'Institut national de l'informatique et des communications en Australie, et a également travaillé sur l'apprentissage stimulé, les découvertes bayésiennes, la théorie de la complexité computationnelle, la théorie de Salomon sur les prédictions inductives, la vision par ordinateur et les profils génétiques. Il a également beaucoup écrit sur la singularité. Dans l'article « L'intelligence peut-elle exploser? », Il écrit:

Ce siècle peut être témoin d'une explosion technologique dont l'ampleur mérite le nom de singularité. Le scénario par défaut est une communauté d'individus intelligents en interaction dans le monde virtuel, simulée sur des ordinateurs avec des ressources informatiques en augmentation hyperbolique. Cela s'accompagne inévitablement d'une explosion de vitesse, mesurée par le temps physique, mais pas nécessairement d'une explosion d'intelligence. Si le monde virtuel est peuplé d'individus libres et en interaction, la pression évolutive conduira à l'émergence d'individus de plus en plus intelligents qui rivaliseront pour les ressources informatiques. Le point final de cette accélération évolutive de l'intelligence peut être la communauté des individus les plus intelligents. Certains aspects de cette communauté singulière peuvent théoriquement être étudiés à l'aide d'outils scientifiques modernes. Bien avant l'apparition de cette singularité, en plaçant même cette communauté virtuelle dans notre imagination, on peut imaginer l'émergence de différences, comme par exemple une forte baisse de la valeur d'un individu qui peut entraîner des conséquences radicales.

Jürgen Schmidhuber est professeur d'IA à l'Université de Lugano et ancien professeur de robotique cognitive à l'Université de technologie de Munich. Il développe certains des réseaux de neurones les plus avancés au monde, travaille sur la robotique évolutionnaire et la théorie de la complexité informatique, et est chercheur à l'Académie européenne des sciences et des arts. Dans son livre, « Hypothèses des singularités », il soutient qu '«avec la poursuite des tendances existantes, nous ferons face à une explosion intellectuelle au cours des prochaines décennies». Interrogé directement à l'AMA de Reddit sur les risques associés à l'IA, il a répondu :

. - , ? , , : , . - . , , . , . . . , , trouver un créneau pour la survie . "

Richard Saton est professeur et membre du comité iCORE de l'Université de l'Alberta. Il est chercheur à l'Association pour le développement de l'IA, co-auteur du manuel le plus populaire sur l'apprentissage stimulé , pionnier de la méthode des différences de temps, l'un des plus importants dans ce domaine.

Dans son rapportlors d'une conférence sur l'IA organisée par l'Institute for the Future of Life, Saton a fait valoir qu '"il y a une réelle chance que même avec nos vies" une IA soit créée qui soit intellectuellement comparable aux humains, et a ajouté que cette IA "ne nous obéira pas", " pour concurrencer et coopérer avec nous », et que« si nous créons des esclaves super intelligents, nous obtenons des adversaires super intelligents. » En conclusion, il a déclaré que "nous devons réfléchir à des mécanismes (sociaux, juridiques, politiques, culturels) pour garantir le résultat souhaité", mais que "les gens ordinaires deviendront inévitablement moins importants". Il a également mentionné des problèmes similaires lors de la présentation du Gadsby Institute. Aussi dans le livre de Glenn Beckil existe de telles lignes: "Richard Saton, l'un des plus grands spécialistes de l'IA, prédit une explosion de l'intelligence quelque part au milieu du siècle."

Andrew Davison est professeur de vision industrielle à l'Imperial College de Londres, leader dans les groupes de vision robotique et le Dyson Robotics Laboratory, et inventeur du système de localisation et de balisage informatisé MonoSLAM. Sur son site Internet, il écrit :

, , , , 2006 : , (, 20-30 ). « » ( , ), , , , . , , , , , , .

, , , ( ). , . « » . , , , .

Alan Turing et Irving John Goode n'ont pas besoin d'être présentés. Turing a inventé les fondements mathématiques de la science informatique et a donné son nom à une machine de Turing, à l'exhaustivité de Turing et au test de Turing. Goode a travaillé avec Turing à Bletchley Park, a aidé à créer l'un des premiers ordinateurs et a inventé de nombreux algorithmes bien connus, par exemple, l'algorithme de transformée de Fourier discrète rapide, connu sous le nom d'algorithme FFT. Dans leur travail, les voitures numériques peuvent-elles penser? Turing écrit:

Supposons que de telles machines puissent être créées et considérons les conséquences de leur création. Un tel acte rencontrera sans aucun doute l'hostilité, à moins que nous n'ayons progressé dans la tolérance religieuse depuis l'époque de Galilée. L'opposition sera constituée d'intellectuels craignant de perdre leur emploi. Mais il est probable que les intellectuels se tromperont. Il sera possible de faire beaucoup de choses pour tenter de maintenir leur intellect au niveau des normes fixées par les machines, car après le début de la méthode de la machine, cela ne prend pas beaucoup de temps jusqu'au moment où les machines dépassent nos capacités insignifiantes. À un certain stade, nous devons nous attendre à ce que les machines prennent le contrôle.

Tout en travaillant à Atlas Computer Lab dans les années 60, Goode a développé cette idée dans « Raisonnement pour la première machine ultra-intelligente »:

, , . – , . , , « », . , – , .

* * * * * * * * * *

Cela me dérange que cette liste puisse donner l'impression d'une certaine querelle entre «croyants» et «sceptiques» dans ce domaine, au cours de laquelle ils se fracassent mutuellement. Mais je ne le pensais pas.

Lorsque je lis des articles sur les sceptiques, je tombe toujours sur deux arguments. Premièrement, nous sommes encore très loin de l'IA du niveau humain, sans parler de la superintelligence, et il n'y a aucun moyen évident d'atteindre de tels sommets. Deuxièmement, si vous demandez des interdictions de recherche sur l'IA, vous êtes un idiot.

Je suis entièrement d'accord avec les deux points. Comme les dirigeants du mouvement du risque de l'IA.

Enquête auprès des chercheurs en IA ( Muller & Bostrom, 2014) ont montré qu'en moyenne, ils donnent 50% pour le fait que l'IA de niveau humain apparaîtra d'ici 2040 ode, et 90% - qu'elle apparaîtra d'ici 2075. En moyenne, 75% d'entre eux pensent que la superintelligence («l'intelligence artificielle, dépassant sérieusement les capacités de chaque personne dans la plupart des professions ») apparaîtra dans les 30 ans suivant l'avènement de l'IA au niveau humain. Et bien que la technique de ce sondage soulève certains doutes, si vous acceptez ses résultats, il s'avère que la plupart des chercheurs en IA conviennent que quelque chose qui mérite d'être inquiété apparaîtra dans une ou deux générations.

Mais le directeur de l'Institut de l'intelligence artificielle, Luke Muelhauser, et le directeur de l'Institut pour l'avenir de l'humanité, Nick Bostrom, ont déclaré que leurs prédictions pour le développement de l'IA sont bien plus tardives que les prévisions des scientifiques participant à l'enquête. Si vous étudiezles données sur les prédictions de l'IA de Stuart Armstrong, on peut voir que, en général, les estimations sur le moment de l'apparition de l'IA faites par les partisans de l'IA ne diffèrent pas des estimations faites par les sceptiques de l'IA. De plus, la prédiction à long terme dans ce tableau appartient à Armstrong lui-même. Cependant, Armstrong travaille actuellement à l'Institut pour l'avenir de l'humanité, attirant l'attention sur les risques de l'IA et la nécessité de rechercher les objectifs de la superintelligence.

La différence entre les partisans et les sceptiques n'est pas dans leurs évaluations du moment où nous devrions nous attendre à l'apparition de l'IA au niveau humain, mais dans le moment où nous devons commencer à nous préparer à cela.

Ce qui nous amène au deuxième point. La position des sceptiques, semble-t-il, est que même si nous devrions probablement envoyer quelques personnes intelligentes pour travailler sur une évaluation préliminaire du problème, il n'est absolument pas nécessaire de paniquer ou d'interdire l'étude de l'IA.

Les fans de l'IA insistent sur le fait que même si nous n'avons pas besoin de paniquer ou d'interdire la recherche sur l'IA, cela vaut probablement la peine d'envoyer quelques personnes intelligentes pour travailler sur une évaluation préliminaire du problème.

Jan Lekun est sans doute le sceptique le plus ardent des risques liés à l'IA. Il a été abondamment cité dans un article sur la science populaire , dans un article sur la révolution marginale , et il a également parlé avec KDNuggets et IEEEsur les "questions inévitables de la singularité", qu'il décrit lui-même comme "étant si loin que la science-fiction peut être écrite à leur sujet". Mais lorsqu'on lui a demandé de clarifier sa position, il a déclaré:

Elon Musk est très inquiet des menaces existentielles contre l'humanité (c'est pourquoi il construit des roquettes pour envoyer des gens coloniser d'autres planètes). Et bien que le risque d'une rébellion de l'IA soit très faible et très éloigné de l'avenir, nous devons y réfléchir, développer des mesures et des règles de précaution. Tout comme le comité de bioéthique est apparu dans les années 1970 et 1980, avant l'utilisation généralisée de la génétique, nous avons besoin de comités d'éthique de l'IA. Mais, comme l'a écrit Yoshua Benjio, nous avons encore beaucoup de temps.

Eric Horvitz est un autre expert souvent désigné comme le principal porte-parole du scepticisme et des limites. Son point de vue a été décrit dans des articles tels que «Le directeur de Microsoft Research pense que l'IA hors de contrôle ne nous tuera pas » et « Eric Horvitz de Microsoft pense que l'IA ne devrait pas avoir peur ». Mais voici ce qu'il a dit dans une interview plus longue avec NPR:

Keist: Horvitz doute que les secrétaires virtuels ne se transformeront jamais en quelque chose qui conquérera le monde. Il dit qu'il faut s'attendre à ce qu'un kite évolue en Boeing 747. Est-ce à dire qu'il se moque d'une singularité?

Horvitz: Non. Je pense qu'il y avait un mélange de concepts, et moi aussi j'ai des sentiments mitigés.

Keist: En particulier, en raison d'idées telles que la singularité, Horvits et d'autres experts en IA tentent de plus en plus de traiter les problèmes éthiques qui peuvent survenir avec une IA étroitement ciblée dans les années à venir. Ils posent également des questions plus futuristes. Par exemple, comment puis-je créer un bouton d'arrêt d'urgence pour un ordinateur qui peut se changer lui-même?

Horvits: Je crois vraiment que les enjeux sont suffisamment élevés pour consacrer du temps et de l'énergie à rechercher activement des solutions, même si la probabilité de tels événements est faible.

Cela coïncide généralement avec la position de bon nombre des agitateurs à risque d'IA les plus ardents. Avec de tels amis, les ennemis ne sont pas nécessaires.

L'article de Slate, « N'ayez pas peur de l'IA » , met également les choses sous un jour surprenant:

Comme le dit Musk lui-même, la solution au risque d'IA réside dans la collaboration sobre et rationnelle des scientifiques et des législateurs. Cependant, il est assez difficile de comprendre comment parler de «démons» peut aider à atteindre ce noble objectif. Elle peut même la gêner.

Premièrement, il y a d'énormes trous dans l'idée du script Skynet. Bien que les chercheurs dans le domaine de l'informatique croient que le raisonnement de Mask n'est «pas complètement fou», ils sont encore trop loin d'un monde dans lequel le battage médiatique autour de l'IA déguise une réalité légèrement moins IA que nos informaticiens sont confrontés.

Ian Lekun, chef du laboratoire d'IA de Facebook, a résumé cette idée dans un article sur Google+ en 2013: le battage médiatique nuit à l'IA. Au cours des cinq dernières décennies, le battage médiatique a tué AI quatre fois. Elle doit être arrêtée. "Lekun et d'autres ont à juste titre peur du battage médiatique. Le fait de ne pas répondre aux attentes élevées imposées par la science-fiction entraîne de sérieuses coupes budgétaires pour la recherche en IA.

Les scientifiques travaillant sur l'IA sont des gens intelligents. Ils ne sont pas intéressés à tomber dans des pièges politiques classiques, dans lesquels ils seraient divisés en camps et s’accuseraient de panique ou d’ostrichisme. Apparemment, ils essaient de trouver un équilibre entre la nécessité de commencer les travaux préliminaires liés à la menace qui se profile quelque part au loin, et le risque de provoquer une sensation si forte qui les frappera.

Je ne veux pas dire qu'il n'y a pas de divergence d'opinion sur la rapidité avec laquelle vous devez commencer à résoudre ce problème. Fondamentalement, tout se résume à savoir s'il est possible de dire que «nous résoudrons le problème lorsque nous le rencontrerons» ou d'attendre un décollage aussi inattendu, en raison duquel tout deviendra incontrôlable et pour lequel, par conséquent, nous devons nous préparer à l'avance. Je vois moins de preuves que je ne le souhaiterais que la majorité des chercheurs en IA avec leurs propres opinions comprennent la deuxième possibilité. Que puis-je dire, même si dans un article sur Marginal Revolution un expert est cité disant que la superintelligence ne représente pas une grande menace, car "les ordinateurs intelligents ne peuvent pas se fixer des objectifs", bien que quiconque lit Bostrom sache que tout le problème est.

Il y a encore une montagne de travail à faire. Mais juste pour ne pas sélectionner spécifiquement des articles dans lesquels "les vrais experts en IA ne se soucient pas de la superintelligence".