J'ai entendu qu'à l'avenir, l'IA informatique deviendra si plus intelligente que nous qu'elle supprimera tous nos emplois et ressources, et que les gens disparaîtront. En est-il ainsi?
C'est la question la plus fréquemment posée dans mes discours sur l'IA. Les personnes qui lui posent la question sont sincèrement inquiètes et leur inquiétude vient d'autres personnes - des experts qui posent la même question. Parmi eux, vous pouvez rencontrer les personnes les plus intelligentes qui vivent aujourd'hui - par exemple,
Stephen Hawking ,
Elon Musk ,
Max Tegmark ,
Sam Harris et
Bill Gates - et ils croient tous en la possibilité d'un tel scénario. Lors d'une récente conférence sur l'IA, un comité des neuf personnes les plus compétentes en IA a convenu que nous ne pouvions pas éviter l'avènement d'une IA surhumaine.
Mais ce scénario de conquête du monde de l'IA comprend cinq hypothèses qui, comme il ressort d'une étude approfondie, ne sont pas fondées sur des preuves. Ces déclarations peuvent être justifiées à l'avenir, mais maintenant aucune d'entre elles n'a de preuves. Ce sont les hypothèses:
1. L'IA devient déjà plus intelligente que nous, et sa puissance augmente de façon exponentielle.
2. Nous allons créer une IA générale similaire à la nôtre.
3. Nous sommes capables de créer une intelligence humaine à base de silicium.
4. L'intellect peut grandir sans limites.
5. Après l'explosion de la superintelligence, il nous aidera à résoudre tous nos problèmes.
Comme objection à ce canon orthodoxe, je donnerai cinq déclarations hérétiques qui, il me semble, ont plus de raisons.
1. L'intelligence n'est pas unidimensionnelle, donc le concept de «plus intelligent que les gens» n'a pas de sens.
2. Ni les humains ni l'IA n'ont une conscience générale.
3. L'émulation de la pensée humaine sur d'autres médias sera limitée par le coût de sa création.
4. Les dimensions de l'intelligence ne sont pas infinies.
5. L'intelligence n'est qu'un des facteurs du progrès.
Si l'attente de l'apparition d'une IA surhumaine (SII) est basée sur cinq hypothèses clés qui n'ont aucune preuve, alors cette idée ressemble plus à une croyance religieuse ou à un mythe. Ensuite, je développerai chacune de mes cinq contre-hypothèses, et je prouverai que SII est en fait un mythe.
1.
L'idée fausse la plus courante sur l'IA commence par l'idée fausse sur l'intelligence naturelle. Elle consiste dans le fait que l'intelligence est unidimensionnelle. La plupart des techniciens ont tendance à représenter l'intelligence comme le fait
Nick Bostrom dans Superintelligence, comme un graphique linéaire unidimensionnel avec une amplitude croissante.
D'un côté, la faible intelligence, par exemple, un petit animal; de l'autre, un génie, disons, élevé - comme si l'intelligence pouvait être représentée comme un niveau sonore en décibels. Bien sûr, dans ce cas, il est facile d'imaginer que le volume de l'intelligence continue de croître et, par conséquent, dépasse notre niveau hautement intellectuel et devient un intellect ultra-fort - un rugissement! - inaccessible pour nous et au-delà du calendrier.
Ce modèle est topologiquement équivalent à une échelle sur laquelle chaque étape suivante de l'intelligence est supérieure d'une étape à la précédente. Les animaux plus jeunes sont sur les marches inférieures, et l'IA de haut niveau nous dépassera et sera sur les marches ci-dessus. La chronologie de cet événement n'a pas d'importance, seul le classement importe - la métrique de l'intelligence croissante.
Le problème avec ce modèle est qu'il est aussi mythique que l'échelle de l'évolution. Avant Darwin, le monde naturel était considéré comme une échelle sur laquelle se trouvaient des animaux plus jeunes sous la personne. Même après Darwin, il était de coutume de considérer l'évolution comme une «échelle», selon laquelle les poissons se transformaient en reptiles, puis en mammifères, puis en primates, en humains, et chaque stade est à un «stade d'évolution» légèrement supérieur, et donc considéré comme plus intelligent que les précédents. Ainsi l'échelle de l'intelligence est cohérente avec l'échelle de l'existence. Mais ces modèles ont une approche totalement non scientifique.
Une représentation plus précise de l'évolution naturelle des espèces est un disque en expansion, comme dans l'image ci-dessus, d'abord proposé par
David Hillis de l'Université du Texas et créé sur la base de l'ADN. Ce
mandala généalogique commence au centre avec les formes de vie les plus primitives, puis se ramifie dans le temps. Le temps passe à l'extérieur, donc les nouveaux types de vie qui habitent la planète aujourd'hui sont autour de la circonférence. Cette image souligne le fait de l'évolution, ce qui est difficile à accepter: chacune des espèces vivant aujourd'hui est également évolutive. Les gens existent sur cet anneau avec des cafards, des mollusques, des fougères, des renards et des bactéries. Chaque espèce a traversé une chaîne continue de trois milliards d'années de reproduction réussie, ce qui signifie que les bactéries et les blattes d'aujourd'hui sont aussi évolutives que les humains. Il n'y a pas d'échelle.
De même, il n'y a pas d'échelle pour l'intelligence. L'intelligence n'est pas unidimensionnelle. Il s'agit d'un complexe de nombreux types et modes de reconnaissance, dont chacun est un continuum. Prenez la tâche la plus simple de mesurer l'intelligence animale. Si l'intellect était unidimensionnel, nous construirions simplement l'intellect du perroquet, du dauphin, du cheval, de l'écureuil, du poulpe, de la baleine bleue, du chat et du gorille dans l'ordre ascendant correct. Mais aujourd'hui, nous n'avons aucune preuve scientifique de l'existence d'une telle lignée. Une des raisons à cela pourrait être l'absence de différence entre les intelligences chez les animaux, mais nous ne le voyons pas non plus. La zoologie regorge d'exemples étonnants de différences dans la pensée animale. Mais peut-être qu'ils ont tous une «intelligence générale» relative? Peut-être, mais pour lui, nous n'avons aucun moyen de mesurer et de mesurer. Nous avons de nombreuses métriques différentes pour de nombreux types de cognition.
Au lieu d'une seule ligne avec des décibels, un modèle d'intelligence plus précis serait un graphique de son espace probabiliste, comme, par exemple, la figure ci-dessus, représentant des formes possibles. L'intelligence est un continuum combinatoire. De nombreux nœuds, dont chacun est un continuum, créent des structures complexes et diverses dans des dimensions supérieures. Certains intellects peuvent être très complexes et avoir de nombreux sous-nœuds de pensée. D'autres peuvent être plus simples, mais s'étirent plus loin, en prenant un angle dans l'espace. Ces complexes, que nous appelons intellects, peuvent être considérés comme des symphonies impliquant de nombreux types d'instruments. Ils diffèrent non seulement par le volume, mais aussi par le ton, la mélodie, la couleur, le tempo, etc. Ils peuvent être représentés comme des écosystèmes. Et dans ce sens, les différents nœuds-composants de la pensée dépendent les uns des autres et sont créés ensemble.
Comme l'a dit
Marvin Minsky , les esprits humains sont des communautés d'esprits. Nous travaillons sur des écosystèmes de pensée. Nous avons à l'intérieur de nombreux types de pensée qui traitent de nombreux types de pensée: déduction, induction, logique symbolique, intelligence émotionnelle, logique spatiale, mémoire à court terme et mémoire à long terme. Le système nerveux de nos intestins est également un cerveau d'un certain type avec son propre mode de pensée. Nous ne pensons pas seulement avec un seul cerveau, nous pensons avec tout le corps.
Ces modes de pensée varient d'un individu à l'autre et d'une espèce à l'autre. L'écureuil peut se souvenir de l'emplacement exact de plusieurs milliers de glands pendant des années, ce qui affecte complètement l'esprit humain. Donc, dans ce genre de pensée, les protéines sont supérieures aux humains. Cette superpuissance est connectée à d'autres modes, s'estompant par rapport au nôtre, et cette connexion constitue l'esprit de l'écureuil. Dans le règne animal, il existe de nombreux autres exemples d'opportunités supérieures aux opportunités humaines, et elles sont également incluses dans différents systèmes.
Il en va de même pour l'IA. Les esprits artificiels sont déjà supérieurs aux humains dans certaines dimensions. Votre calculatrice est un génie des mathématiques, la mémoire de Google est déjà supérieure à la nôtre dans une certaine dimension. Nous créons une IA qui se démarque dans certains modes. Nous sommes capables de faire certaines de ces choses nous-mêmes, mais elles le font mieux - par exemple, dans les domaines des probabilités ou des mathématiques. D'autres modes de pensée ne sont pas disponibles pour nous - seul un moteur de recherche peut mémoriser chaque mot sur six milliards de pages Web. À l'avenir, nous proposerons des modes de pensée complètement nouveaux que nous n'avons pas, et même dans la nature vivante. Inventant le vol artificiel, nous nous sommes inspirés des régimes de vol biologiques, principalement le battement d'ailes. Mais nous avons inventé de tels vols - avec des hélices et des ailes fixes - qui étaient inconnus du monde biologique. C'est le vol de quelqu'un d'autre. De la même manière, nous proposerons de nouveaux modes de pensée qui n'existent pas dans la nature. Dans de nombreux cas, il s'agira de nouveaux modes spécifiques et petits conçus pour un travail spécifique - peut-être un type de raisonnement adapté uniquement aux statistiques et à la théorie des probabilités.
Dans d'autres cas, le nouvel esprit sera un ensemble complexe de types de pensée que nous pouvons utiliser pour résoudre des problèmes qui ne se prêtent pas à notre intelligence. Bon nombre des problèmes les plus complexes des affaires et de la science peuvent nécessiter une solution en deux étapes. Première étape: inventer un nouveau mode de pensée qui peut fonctionner avec nos esprits. Deuxièmement: combinez-les pour résoudre le problème. Puisque nous résolvons des problèmes qui nous étaient auparavant inaccessibles, nous voulons appeler ce nouveau type de pensée «plus intelligent» que nous, mais en réalité, il est tout simplement différent de nous. Le principal avantage de l'IA est une pensée différente. Je pense qu'il est utile de considérer l'IA comme une pensée extraterrestre (ou extraterrestre artificielle). Son caractère inhabituel sera sa principale vertu.
Dans le même temps, nous intégrerons ces différents modes de pensée dans des communautés d'esprit plus complexes. Certains de ces complexes seront plus complexes que les nôtres, car ils peuvent résoudre des problèmes qui nous sont inaccessibles, et alors quelqu'un veut les appeler surhumains. Mais nous n'appelons pas Google SII, bien que sa mémoire dépasse la nôtre, car il y a beaucoup de choses que nous pouvons faire mieux que lui. Ces complexes d'IA pourront nous dépasser dans de nombreuses dimensions, mais personne ne peut faire tout ce que nous faisons mieux que nous. Cela peut être comparé aux capacités physiques des personnes. La révolution industrielle a déjà 200 ans, et bien qu'en général les machines dépassent les capacités physiques d'une personne (vitesse de déplacement, haltérophilie, coupe précise, etc.), il n'y a pas de machine capable de surpasser la personne moyenne dans tout ce qu'elle fait.
Et tandis que la communauté des esprits de l'IA devient plus complexe, cette complexité est encore difficile à mesurer scientifiquement. Nous n'avons pas de bonnes métriques de complexité qui peuvent déterminer si le concombre d'un Boeing 747 est plus difficile ou décrire comment leurs difficultés diffèrent. C'est l'une des raisons pour lesquelles nous n'avons pas de bonnes mesures pour l'esprit. Il sera très difficile de déterminer si l'esprit A est plus difficile que l'esprit B et, par conséquent, il est difficile de comprendre lequel d'entre eux est le plus intelligent. Bientôt, nous comprendrons que l'esprit n'est pas unidimensionnel et, en fait, nous nous intéressons à toutes les nombreuses façons dont l'intellect est capable de fonctionner - tous ces nœuds de cognition que nous n'avons pas encore découverts.
2.
La deuxième erreur liée à l'intelligence humaine est notre conviction que notre esprit est universel, c'est un esprit à usage général. Cette croyance a conduit à l'émergence de l'objectif souvent déclaré des chercheurs en IA de créer une IA généralisée, OII. Cependant, si nous considérons l'intelligence comme un plus grand espace de possibilités, elle n'a pas un état généralisé. L'intelligence humaine n'est pas dans une position centrale autour de laquelle tournent d'autres intelligences spécialisées. L'intelligence humaine est un type d'intelligence très, très spécial qui a émergé à la suite de millions d'années d'évolution de sorte que notre espèce survit sur cette planète. Si vous le placez dans l'espace de toutes les intelligences possibles, ce sera quelque part dans le coin, tout comme notre monde est au bord d'une immense galaxie.
Nous pouvons certainement imaginer et même inventer une pensée qui ressemble à un couteau suisse universel. Il fait un très bon travail avec un tas de tâches, mais il ne fait très bien avec aucune d'entre elles. L'IA suivra la même
maxime d' ingénierie que toutes les choses créées ou nées: vous ne pouvez pas optimiser chaque dimension. Seuls les compromis sont possibles. Il ne fonctionnera pas pour créer une unité multifonctionnelle généralisée supérieure aux unités spécialisées. Un esprit large, «capable de tout», ne pourra pas faire tout cela aussi bien que des spécialistes. Puisque nous croyons à la généralisation de nos esprits, nous pensons que la pensée n'a pas à suivre des compromis d'ingénierie, qu'il sera possible de créer une intelligence qui maximise tous les modes de pensée. Mais il n'y a aucune preuve de cela. Nous n'avons pas encore inventé suffisamment d'options pour que l'esprit puisse voir tout l'espace (et jusqu'à présent, nous balayons l'esprit des animaux, les évaluons avec une amplitude unidimensionnelle).
3.
Une partie de cette croyance vient du concept de l'informatique universelle. Cette hypothèse, formellement décrite en 1950 comme la
thèse de Church-Turing , stipule que tous les calculs qui atteignent un certain seuil sont équivalents. Par conséquent, pour tous les calculs, il existe un noyau universel, et qu'ils se produisent dans une seule machine avec de nombreuses parties rapides ou lentes, ou dans le cerveau biologique - tout cela est le même processus logique. Et cela signifie qu'il est possible d'émuler n'importe quel processus informatique (pensée) dans n'importe quelle machine capable de calculer "universel". Les adhérents de la singularité sont basés sur ce principe, s'attendant à ce que nous puissions créer des cerveaux de silicium qui peuvent accueillir l'esprit humain, et que nous pouvons créer un esprit artificiel qui pense comme les humains n'est que beaucoup plus intelligent. Cet espoir doit être sceptique, car il est basé sur une mauvaise compréhension de l'hypothèse Church-Turing.
Le point de départ de cette hypothèse est le suivant: "S'il y a un film infini (mémoire) et du temps, tous les calculs sont équivalents." Le problème est qu'en réalité l'ordinateur n'a pas de mémoire et de temps infinis. Dans le monde réel, le temps réel est critique, souvent même une question de vie ou de mort. Oui, toute réflexion peut être équivalente si le temps est ignoré. Oui, vous pouvez émuler la pensée humaine sur n'importe quelle matrice, tant que vous ignorez le temps ou les limites réelles du stockage de données et de mémoire. Cependant, en incluant le temps, il sera possible de redéfinir sensiblement ce principe: "Deux systèmes informatiques fonctionnant sur des plateformes très différentes ne seront pas équivalents dans le temps". Ou: "La seule façon d'obtenir des schémas de pensée similaires est de les exécuter sur des plateformes équivalentes." La matière physique sur laquelle les calculs fonctionnent - en particulier lorsqu'ils deviennent plus complexes - affecte considérablement le type de pensée qui peut fonctionner avec succès en temps réel.
Je poursuivrai ces arguments et dirai que la seule façon d'obtenir un processus de pensée proche de l'homme est d'exécuter des calculs sur des tissus mous et humides similaires à l'homme. Cela signifie que des IA très grandes et complexes fonctionnant sur du silicium sec nous donneront des types de pensée vastes, complexes et inhumains. S'il devient possible de créer un cerveau artificiel humide en utilisant des neurones cultivés similaires aux humains, alors je dirais que ses pensées seront très similaires aux nôtres. Les avantages d'un cerveau aussi humide sont proportionnels à la similitude avec laquelle nous pouvons créer la fondation. Le coût de la création d'un tel «ordinateur humain» est énorme et plus le tissu est proche du tissu cérébral, plus il sera rentable de créer une personne. En fin de compte, nous pouvons le faire en neuf mois.
De plus, comme indiqué ci-dessus, nous pensons avec l'aide de tout le corps, et pas seulement avec un seul cerveau. Nous avons beaucoup de données montrant que le système nerveux intestinal guide notre processus décisionnel «rationnel», qu'il est capable d'apprendre et de prédire les événements. Plus nous modélisons le système du corps humain, plus nous nous rapprochons de sa reproduction. L'intelligence travaillant sur un corps très différent (silicium sec au lieu de carbone humide) va penser différemment.
Il me semble que ce n'est pas un bug, mais une fonctionnalité. Comme je l'ai mentionné au paragraphe 2, la différence entre la pensée et l'humain est le principal avantage de l'IA. C'est une autre raison pour laquelle il est erroné de dire qu'il est "plus intelligent que les gens".
4.
Au centre du concept d'intelligence surhumaine - en particulier, l'idée qu'une telle intelligence s'améliorera constamment - se trouve la croyance que l'échelle de l'intelligence est infinie. Je n'en vois aucune preuve. Croire en cela aide l'idée erronée de la dimension unique de l'intelligence - mais ce n'est que de la foi. Dans l'Univers, il n'y a pas de manière fiable connue à la science des dimensions physiques sans fin. La température n'est pas infinie - il y a le froid
final et la
chaleur finale . Le temps et l'espace sont finis. La vitesse finale. Peut-être que la ligne numérique en mathématiques est infinie, mais les attributs physiques ont des limites. Il sera raisonnable de dire que l'esprit lui-même est fini. La question est donc: où est la limite de l'intelligence? Nous avons tendance à croire qu'elle est bien au-delà de notre portée, elle est bien "plus haute" que nous, autant que nous sommes "plus haute" que la fourmi. Si nous quittons le problème qui se pose constamment de la dimension unique, quelles preuves avons-nous que nous n'avons pas atteint cette limite? Pourquoi ne pouvons-nous pas être au maximum? , , ? , – , ?
,
. , – . , , - . «» [
The Inevitable ] , - . :
• , , ( ).
• , .
• , .
• , , .
• , , .
• , , - .
• , , .
• , , , .
• , .
• , , , ..
• , , .
• .
• , , .
• , .
• , .
• , , .
• , .
• , , .
• , .
• , .
• , .
• , .
• , .
• -.
• -.
• , , .
, .
, ( - ), , , , . , . , . ? . , , ? , , . . 10 .
, , , .
, , , , , . : « , … , , . , 2029 ».
, , , , . . , .
, « », , .
, . , , , . , «» .
5.
Une autre croyance, non réfutée par personne, en l'avènement de la FIS, non étayée par des preuves, est qu'une superintelligence d'une puissance presque infinie résoudra rapidement tous nos principaux problèmes non résolus.
De nombreux partisans de l'explosion du renseignement estiment qu'elle conduira à une explosion de progrès. J'appelle cette foi mythique «le thinkisme». C'est une idée fausse que les étapes futures du progrès ne sont pas réalisables uniquement en raison d'un manque de puissance mentale ou d'intelligence. Je note que la croyance que la pensée est une panacée magique pour tout est courante chez de nombreuses personnes qui aiment penser.
Prenez un traitement contre le cancer ou une prolongation de la vie. Vous ne pouvez pas résoudre de tels problèmes avec une seule pensée. Aucune pensée n'est suffisante pour comprendre comment les cellules vieillissent ou comment les télomères disparaissent. Aucun intellect super-duper ne peut comprendre comment fonctionne le corps humain en lisant simplement toute la littérature scientifique connue dans le monde et en y réfléchissant. Aucun FIC ne peut, simplement en pensant à toutes les expériences de fusion nucléaire, produire un schéma de fusion nucléaire qui fonctionne. Pour surmonter le chemin qui consiste à ne pas savoir comment quelque chose fonctionne et à comprendre comment quelque chose fonctionne, il faut bien plus qu'une simple réflexion. Dans le monde réel, des tas d'expériences sont en cours, chacune conduisant à l'apparition de montagnes de données contradictoires qui nécessitent d'autres expériences pour créer une hypothèse de travail. Penser aux données potentielles ne vous donnera pas les bonnes données.
La pensée n'est qu'une partie de la science, peut-être même une petite partie de celle-ci. Par exemple, nous ne disposons pas de suffisamment de données pour nous rapprocher de la résolution du problème de la mort. Lorsque vous travaillez avec des organismes vivants, presque toutes les expériences prennent du temps. Le métabolisme lent des cellules ne peut pas être dispersé. Obtenir des résultats prend des années, des mois, au moins des jours. Si nous voulons savoir ce qui arrive aux particules subatomiques, nous ne pouvons pas simplement y penser. Nous devons construire des structures physiques énormes, complexes et astucieuses pour le découvrir. Même si les physiciens les plus intelligents étaient 1000 fois plus intelligents qu'aujourd'hui, sans collisionneur, ils n'auraient rien appris de nouveau.
Il ne fait aucun doute que l'ISR peut accélérer les progrès de la science. Nous pouvons faire des simulations informatiques d'atomes ou de cellules et les accélérer plusieurs fois, mais deux problèmes limitent l'utilité des simulations. La première est que les simulations et les modèles peuvent aller plus vite que les processus étudiés uniquement parce que nous ne prenons pas en compte quelque chose. C'est l'essence même d'un modèle ou d'une simulation. De plus, tester, vérifier et prouver ces modèles prend également beaucoup de temps et doit aller à la vitesse des processus simulés. La vérification de la vérité ne peut pas être accélérée.
Ces versions simplifiées sont utiles pour filtrer les voies les plus prometteuses et accélérer les progrès. Mais en réalité il n'y a pas d'excès; tout ce qui est réel exerce dans une certaine mesure son influence; c'est l'une des définitions de la réalité. Si vous commencez à pomper des modèles et des simulations avec de plus en plus de données, il devient vite clair que la réalité est plus rapide que sa simulation à 100%. C'est une autre définition de la réalité: la version la plus rapide possible de tous les détails et degrés de liberté présents. Si vous pouvez modéliser toutes les molécules en cellules et toutes les cellules du corps humain, la simulation ne fonctionnera pas aussi vite que le corps humain. Peu importe combien vous en pensez, vous aurez besoin de temps pour l'expérimentation, que ce soit un vrai système ou une simulation.
Pour être utile, l'IA doit s'infiltrer dans le monde réel, et le monde fixera la vitesse de son innovation. Sans mener d'expériences, construire des prototypes, des erreurs et des expériences avec la réalité, l'intelligence peut penser, mais pas produire de résultats. Pas de découvertes instantanées par minute, heure, jour ou année d'occurrence de ce qu'on appelle. Une «IA surhumaine» n'est pas attendue. Bien sûr, les succès dans le développement de l'IA augmenteront considérablement le nombre de découvertes par unité de temps, en particulier, car l'IA, contrairement aux gens, posera des questions que les gens ne poseraient pas, mais même une intelligence extrêmement puissante, par rapport à nous, ne garantit pas des progrès instantanés. Pour résoudre des problèmes, il faut bien plus que du simple renseignement.
L'intelligence seule ne pourra pas résoudre non seulement les problèmes de cancer et de longévité, mais aussi les problèmes de l'intellect lui-même. Un mantra typique des partisans de la singularité est que dès que vous faites une IA «plus intelligente qu'une personne», il pense et invente soudain une IA, «plus intelligente que lui-même», qui, à son tour, pense encore plus correctement et invente encore plus intelligence artificielle intelligente, et en conséquence, tout se terminera par une explosion de puissance intellectuelle à un niveau presque divin. Nous n'avons aucune preuve que le simple fait de penser à l'intelligence suffit pour créer de nouveaux niveaux d'intelligence. Une telle pensée est la foi. Nous avons beaucoup de preuves que, en plus d'une grande quantité de connaissances, nous avons besoin d'expériences, de données, d'essais et d'erreurs, de questions inhabituellement posées et de tout le reste au-delà de la simple ingéniosité afin d'inventer de nouveaux types d'esprits fonctionnant avec succès.
En conclusion, je dirai que je peux me tromper avec mes déclarations. Nous en sommes aux premiers stades. Nous pouvons découvrir une métrique universelle pour l'intelligence; découvrez son infini dans toutes les directions. Puisque nous savons très peu sur ce qu'est l'intelligence (sans parler de la conscience), la probabilité d'une sorte de singularité de l'IA dépasse zéro. Il me semble que toutes les preuves parlent en faveur de la faible probabilité d'un tel scénario, mais cette probabilité est non nulle.
Donc, bien que je ne sois pas d'accord avec sa probabilité, je suis d'accord avec les objectifs plus larges d'
OpenAI et des gens intelligents inquiets à propos de l'IDE - que nous devrions créer des IA amicales et réfléchir à la manière de leur inculquer des valeurs qui correspondent aux nôtres. Et bien que je pense que l'IDE est une menace existentielle très éloignée (qui mérite d'être considérée), je pense que sa faible probabilité (basée sur les preuves disponibles) ne devrait pas régir notre science, notre politique et notre développement. La collision d'un astéroïde avec la Terre serait une catastrophe. Sa probabilité est supérieure à zéro (il faut donc soutenir
le fonds B612 ), mais il ne faut pas laisser la possibilité d'une frappe d'astéroïdes pour gérer nos décisions, par exemple dans le domaine du changement climatique, des voyages dans l'espace, ou même de l'urbanisme.
De la même manière, les preuves suggèrent jusqu'à présent que l'IA ne sera probablement pas surhumaine, mais extrahumaine, ce seront des centaines de nouveaux types de pensée différents de l'humain, dont aucun ne se révélera être une IA à usage général, et aucun d'eux ne deviendra un dieu, résoudre instantanément tous nos problèmes. Au lieu de cela, nous aurons une galaxie d'intelligences limitées, travaillant dans des dimensions inconnues, dépassant nos capacités dans bon nombre d'entre elles, travaillant avec nous pour résoudre les problèmes existants et en créer de nouveaux au fil du temps.
Je comprends le charme et l'attrait du dieu SII. C'est quelque chose comme Superman. Mais, comme Superman, c'est une figure mythique. Quelque part dans l'univers, Superman peut exister, mais la probabilité de son existence est extrêmement faible. Mais les mythes peuvent être utiles et ne pas disparaître après leur invention. L'idée de Superman ne mourra pas. L'idée d'une singularité surhumaine de l'IA, une fois qu'elle sera apparue, ne mourra pas non plus. Mais nous devons comprendre que maintenant c'est une idée religieuse et non scientifique. Si nous étudions les données dont nous disposons aujourd'hui sur l'intelligence artificielle et naturelle, nous ne pouvons que conclure que nos discussions sur le mythique dieu SII ne sont que des mythes.
De nombreuses îles isolées de
Micronésie sont entrées en contact pour la première fois avec le reste du monde pendant la Seconde Guerre mondiale. Les dieux extraterrestres ont volé dans leur ciel dans des oiseaux bruyants, ont déversé de la nourriture et des marchandises sur leurs îles et ne sont pas revenus. Des cultes religieux sont apparus sur les îles, priant pour que les dieux reviennent et déversent plus de biens. Même maintenant, cinquante ans plus tard, beaucoup attendent toujours le retour de la marchandise. Il est possible que le SRI soit un autre culte du fret. Après une centaine d'années, les gens pourront regarder en arrière, à notre époque, au moment où les croyants ont commencé à attendre l'émergence du FIC, qui leur apporterait des bénéfices inimaginables. Décennie après décennie, ils attendent l'arrivée de l'IDE, confiant que celui-ci avec ses bénéfices devrait apparaître très prochainement.
Mais l'IA non surhumaine est déjà réelle ici. Nous redéfinissons constamment ce terme, augmentons sa complexité et, par conséquent, nous le maintenons à l'avenir, mais au sens large de la définition des intelligences extraterrestres - dans un spectre continu d'esprits, d'intellect, de pensées, de logiques, d'enseignements et de consciences différents - l'IA existe déjà sur la planète et continue étendre, approfondir, diversifier et intensifier. Aucune invention précédente ne peut se comparer à son pouvoir sur le monde, et d'ici la fin du siècle, l'IA touchera et changera tous les aspects de nos vies. Mais le mythe de l'intelligence artificielle surhumaine, prêt à nous donner l'abondance ou à nous conduire dans le super-esclavage (ou les deux en même temps), apparemment, continuera à vivre - cette opportunité est trop mythique pour la rejeter.