Plusieurs romans de Kurt Vonnegut ont la planète fictive de Tralfamador. Ses habitants vivent en quatre dimensions, et voient à la fois tout le temps du début à la fin. Ils savent comment l'univers a commencé et ils savent comment il va mourir: les scientifiques du test de Tralfamadore lanceront un super-moteur, il explosera et détruira tout. Mais ils n'essaient même pas d'empêcher une catastrophe. Il n'y a aucune indication dans leur pensée que le cours des événements doit être changé. Ils continuent de progresser vers ce moteur, car dans leur monde tout ce qui se passe s'est déjà produit.
Parfois, il me semble, nous pensons la même chose, seulement un peu moins consciemment. L'idée que le progrès ne peut être arrêté nous donne un optimisme inébranlable. Si vous ne vous arrêtez pas, alors tout se passe comme ça et il y a des succès sans fin continus à venir. Nous devons nous détendre et ramer avec le courant. Même des scénarios inquiétants réagissent dans un coin de conscience avec une joie romantique. "Est-ce que les voitures deviendront intelligentes et tueront tout le monde?" Classe! Comme un film! " Il y fait référence avec un pessimisme sérieux - presque de la folie.
Il est clair que la réalité est toujours plus ennuyeuse que la fiction, et les alarmistes et les luddites meurent généralement avant que le progrès ne justifie leurs craintes. Mais selon certains futurologues, même de notre vivant, nous pouvons être témoins de grands points de non-retour, que nous sommes heureux de précipiter à toute vitesse.
Récemment,
fillpackart a écrit une
colonne sur les niveaux d'abstraction dans les langages de programmation modernes. Apparemment, entre le code et l'exécution sur le matériel, il y a tellement de couches automatisées d'interprétation et de compilation que nous commençons à perdre le contrôle des choses de bas niveau.
Nous avons beaucoup discuté de ce sujet et, bien sûr, nous ne pensons pas que tous les programmeurs devraient abandonner ensemble les langages familiers et passer à un marteau avec un fer à souder. L'abstraction est géniale. Capacités modernes, facilité de résolution des problèmes et niveau de confort - tout va bien. Probablement, être développeur est cool comme jamais auparavant.
Mais le monde est une chose pleine de paradoxes. Il est important de réfléchir à ce qui va arriver à l'industrie dans dix ans. Mais après 60–70–170 - en quelque sorte, ce n'est plus tellement. C'est comme si cela ne nous concernait pas. Même si nous survivons, d'ici là, la pression atmosphérique et les appels des petits-enfants deviendront plus importants pour nous. Mais au moins pendant une seconde, imaginez ce qui se passera si vous augmentez constamment l'épaisseur des abstractions et augmentez le confort de la programmation. Si vous automatisez, automatisez et automatisez.
Je pense que dans ce cas, les descendants de nos descendants hériteront de la «boîte noire» - une technologie qui fonctionne seule, compréhensible seulement pour elle et pour nous, les créateurs morts depuis longtemps (qui ont laissé une sorte de documentation ancienne illisible), en quelque sorte. La technologie n'aura pas besoin de savoir, elle doit juste être entretenue. Et je suis sûr que sur ce point, l'informatique construira sa culture, et chaque manifeste se lira: "N'allez pas au cœur de la technologie, laissez-le simplement résoudre les problèmes."
Imaginez simplement à quoi ressembleraient les conversations à ce moment-là, en l'an 2199. Probablement quelque chose dans l'esprit: «Selon nos observations, si nous disons au système le mot« accomplir », cela se passera 0,8 seconde plus vite que si nous disons« fais ». Et si vous maintenez une pause de trois secondes à la fin du discours d'ouverture, puis ajoutez «asperges», la conversion augmentera de 3%. »
Et si vous avez une meilleure opinion de l'humanité - regardez les personnes qui ont mis un lien sur Facebook dans le premier commentaire. Aujourd'hui, nous commençons des danses «rationnellement justifiées» avec un tambourin au coin du feu, si seulement l'algorithme populaire ne fait que fermer un peu le mur avec nous.
La question vraiment importante n'est pas «la technologie se transformera-t-elle en boîte noire», mais «quand cela arrivera-t-il». Et il y a des gens beaucoup plus intelligents que moi qui croient que la magie, au lieu de la science, commencera plus tôt qu'il ne me semblait.
L'été dernier, j'ai écouté un discours de Leonid Tkachenko de MTS lors d'une conférence Big Data. Au début, il a parlé de la mort d'une entreprise de télécommunications, puis il a amusé les gens avec des prédictions:
Il existe une théorie sur la singularité technologique. L'intelligence humaine se développe assez lentement, tandis que l'intelligence artificielle se développe rapidement. Nous progressons de façon brutale, nous nous accouplons accidentellement quand quelqu'un est aimé extérieurement, et l'évolution humaine est lente. Nous sommes les mêmes qu'il y a un million et demi d'années. Le cerveau progresse longtemps car tout se passe au hasard.
Lorsque nous parlons d'IA, nous l'entraînons à dessein pour la rendre de mieux en mieux. Il ne s'accouple avec personne par accident, il fait ce que nous voulons. Et selon certaines estimations, l'intelligence artificielle rattrapera l'humain en 2030-2040.
Cela signifie que le progrès technologique ira plus loin. Il ne s'arrêtera pas. Mais l'IA le fera bouger. Nous ne pourrons pas comprendre ce qu'il a proposé et il continuera de faire des percées technologiques.
Et il y a une question éthique distincte - cela va-t-il jouer contre nous? Jusqu'à quel point pouvons-nous le contrôler? Après tout, il sera plus fort. Qu'il travaille pour notre bien ou que nous nous transformions en vaches.
Les vaches vivent sur Terre, personne ne les extermine. Mais les vaches ne comprennent même pas que les gens vivent encore sur Terre qui les utilisent comme ils le souhaitent. Oui, les vaches ne sont pas effacées de la surface de la Terre, mais les propriétaires de la vie maintenant, bien sûr, nous sommes avec vous. À un moment donné, quelqu'un d'autre peut devenir propriétaire, cela peut arriver. Et ce moment est proche.
Leonid, quand il l'a dit, s'est appuyé sur les prédictions de Vernon Vinge et Raymond Kurzweil. Vinge est écrivain, et même si le terme de «singularité technologique» lui appartient, sa prévision est trop optimiste (pessimiste?). Il semblerait que nous perdrons le contrôle des progrès technologiques d'ici 2030. Kurzweil est ingénieur et a compté un peu plus de temps - d'ici 2045.
Leurs deux prévisions étaient basées sur la loi de Moore sur une augmentation constante de la fréquence des processeurs. "Tout est question de matériel et de logiciels", a déclaré Kurzweil en 2006.
Dans mon livre, La singularité est proche, j'ai écrit que nous devons réaliser 10 quadrillions (10 16 ) opérations par seconde afin de fournir l'équivalent fonctionnel de toutes les régions du cerveau - encore moins selon certaines estimations. Certains supercalculateurs sont déjà à environ 100 billions (10 14 ) et ont atteint 10 16 à la fin de cette décennie.
Des superordinateurs avec un quadrillion d'opérations sont déjà dans le projet, et deux fabricants japonais prévoient d'atteindre 10 16 dans quelques années. D'ici 2020, les ordinateurs avec 10 quadrillions d'opérations coûteront mille dollars.
Le fait que le fer atteigne de telles capacités était controversé lorsque j'ai écrit le premier livre en 1999, et maintenant c'est une opinion très populaire. Les litiges mènent désormais davantage autour des algorithmes.
Mais maintenant, en 2019, on peut voir comment les prévisions de Kurzweil, si elles ne se réalisent pas, s'éloignent au moins. Premièrement, les algorithmes et les moyens de pomper le fer ont été légèrement différents. À peu près au même moment où Kurzweil a écrit cela, les fabricants ont commencé à passer à des architectures multicœurs, ce qui a quelque peu compliqué la loi de Mura. Et le supercalculateur le plus puissant aujourd'hui, qui a commencé à être conçu dans le même 2006e, ne gère que deux cent mille milliards d'opérations par seconde. Il y a encore un long chemin à parcourir pour achever la reconstruction du cerveau, et même plus loin pour un coût de mille dollars.
Les autres prédictions de Kurzweil semblent complètement fantastiques. Par exemple, la première tentative de promotion de la réalité virtuelle a échoué, bien que Kurzweil comptait sur une transition à part entière vers le monde virtuel il y a quelques années. Les nanorobots implantés dans la tête, qui augmenteront considérablement nos capacités, n'existent également que dans les films et les livres.
D'un autre côté - maintenant presque tous les échecs technologiques reçoivent une réponse "le moment n'est pas encore venu". L'optimisme, le pessimisme et le sens de l'inévitabilité ne peuvent être balayés de votre tête par aucune logique, comme si tout ce qui avait été prévu s'était déjà produit à Tralfamador, nous ne pouvons tout simplement pas déterminer la date exacte.
Si la question «quand» n'est décidée que par attente, alors le choix «d'être optimiste ou pessimiste» doit être fait par nous-mêmes.
Kurzweil ne semble pas avoir une seule goutte de technophobie. Il est un optimiste rare et estime à ce jour que la singularité approche, et ce n'est pas un problème, mais un défi, notre indulgence, pour enfin commencer à augmenter les cerveaux organiques avec quelque chose qui a des morceaux de fer et des microprocesseurs. Et au-delà de l'horizon de la singularité, ce n'est pas une perte de contrôle sur la technologie, pas un scénario où l'IA se réveille et nous tue tous, mais une révolution, à la suite de laquelle une personne cessera finalement d'être un être purement biologique.
L'animateur de l'émission Origins sur National Geographic, Jason Silva, pense que cela s'est déjà produit, nous ne l'avons tout simplement pas remarqué, car cela ne s'est pas produit à l'échelle de la science-fiction, mais comme cela se produit toujours dans la réalité - progressivement et banal:
Kurzweil et Kevin Kelly disent que nous continuerons à approfondir notre réflexion, en donnant de plus en plus de moyens de traiter les informations aux porteurs non biologiques. L'IA ne se rebellera pas contre nous, nous rendrons notre propre intelligence de plus en plus artificielle.
Mais nous déchargeons déjà une partie de la conscience sur des supports artificiels. Lorsque nous écrivons quelque chose sur du papier, une partie de la réflexion se produit uniquement sur ce papier. Une partie de la réflexion consiste à déplacer la poignée. Une partie de la réflexion se produit lorsque vous regardez vos propres pensées, déchargées sur papier et réagissez à ce que vous avez écrit vous-même.
L'environnement artificiel fait déjà partie de l'appareil de réflexion. Les philosophes David Chalmers et Andy Clark ont exprimé la thèse de la «conscience élargie», selon laquelle, un smartphone est déjà un ajout à la pensée, et que la pensée ne se limite pas au cerveau, que la conscience existe réellement dans la boucle de rétroaction entre le cerveau, les outils et l'environnement. C'est pourquoi nous disons que nos pensées sculptent l'environnement et que l'environnement affecte les pensées. Tout ce que nous créons nous crée aussi. Il n'y a pas de «nous sommes contre eux». Il existe une grande intelligence distribuée, composée de parties biologiques et non biologiques.
Je pense donc que nous n'avons rien à craindre. Ce ne sont que des milliards de petites étapes qui augmentent notre capacité à créer.
Leur attitude optimiste repose sur le fait qu'il ne se passera rien de nouveau et qu'il n'y aura rien sur quoi perdre le contrôle. Que, en développant la technologie, nous pompons notre propre conscience, et ces choses sont inextricables. Si vous regardez attentivement, cela a du sens. Surtout, par exemple, je suis frappé par notre sens du temps intérieur, entièrement construit sur des outils.
Après avoir inventé et écrit des «heures sur papier» heures, minutes et secondes, nous avons commencé à tout mesurer avec elles au premier coup d'œil inconsciemment. Vous pouvez vous immerger dans n'importe quelle entreprise et la terminer sans penser à comprendre: "J'ai passé trois heures." Vous pouvez vous laisser emporter par le film pour tout oublier, mais au générique vous sentez clairement que deux heures se sont écoulées. Mais si vous enlevez tout l'environnement, tous les outils et tout le travail, la conscience du temps commencera à s'éloigner de la conscience. Une personne, ayant passé une semaine dans une grotte sombre, se trompera en évaluant le temps écoulé pendant plusieurs jours. Même assis dans une pièce vide, il est impossible d'évaluer si une heure s'est écoulée ou deux. Il s'avère que la sensation du temps ne vit pas à l'intérieur de la conscience, mais à l'extérieur.
Et nous vivons très bien avec le fait que la connaissance de l'humanité a longtemps été stockée non pas dans le cerveau, mais sur des supports externes. Que toute la civilisation, l'infrastructure, la communication sont construites sur des choses déchargées de la mémoire. C'est normal parce que les porteurs semblent encore plus fiables et compréhensibles que notre propre cerveau.
Mais la technologie moderne repose sur un drôle de paradoxe. Les gens ne font pas confiance à leur conscience et essaient de tout consolider au-delà et considèrent en même temps la conscience humaine comme le contrôleur le plus fiable. Mais si une personne est si imprévisible et que les mécanismes sont si clairs et fiables, pourquoi, par exemple, les directives militaires interdisent-elles le développement de systèmes d'IA sans contrôle humain?
Pessimisme irrationnel dans le courant de l'optimisme?
Le contrôle, pierre angulaire du paradoxe du progrès moderne, est la dernière chose que nous sommes prêts à donner à l'environnement extérieur, même si nous ne lui faisons pas confiance.
Je suis pessimiste dans la vie, mais je sais qu'il vaut mieux tout regarder avec optimisme. Plus la technologie est accessible, plus tout est automatisé - plus il est facile de vivre. Les problèmes cliquent comme des noix. Je suis optimiste sur la technologie, comme voler dans un avion. Pour voler confortablement, vous devez croire que vous atterrirez. C’est facile, car les chances sont très élevées. Mais il y a toujours la moindre chance de casser. Et si la foi en lui gagne en optimisme, le vol se transformera en enfer.
Je crois que l'optimisme et le pessimisme autour de l'influence du progrès sur nous croissent du même endroit. J'ai donné un exemple avec un avion parce que je suis aérophobe. J'ai essayé de démêler ma peur et j'ai réalisé que c'était juste la peur du manque de contrôle qui se trouvait en dessous.
Je détestais la primitivité de mon cerveau lorsque le problème a été résolu par une simple astuce psychologique. L'application a aidé, qui surveille l'état de l'avion et explique sur le pouce tous ses sons, inclinations, etc. Ayant reçu l'illusion du contrôle sous forme de connaissance, je me suis débarrassé de l'anxiété, bruissant toute ma rationalité et ma logique. Après tout, du fait que je sache quelque chose, la chance de casser n'a pas diminué d'un pour cent, mais c'est devenu psychologiquement plus facile pour moi.
La peur de perdre le contrôle et de ne pas avoir d'informations est irrationnelle. Les gens sont généralement divisés en deux types. Ceux qui, comme un enfant, dormaient face à la porte pour voir le monstre qui allait y entrer - et le dos à la porte, de sorte qu'en aucun cas il ne serait vu. Le monstre vous dévorera dans les deux cas. La seule question est la quantité d'informations reçues avant la mort inévitable, pour que ce ne soit pas si effrayant. Mais quelle est la différence au niveau mondial?
Si je voulais créer une IA qui devrait prendre le contrôle d'une personne, je ferais tout pour donner à l'utilisateur l'illusion d'ouverture, de compréhension et de contrôle.
Et il me semble que la pensée des Luddites modernes et des technophobes est basée précisément sur cette peur irrationnelle - ne pas en savoir assez. Les optimistes sont probablement calmes à propos de la même chose. Ils sont sûrs qu'ils sauront et contrôleront toujours exactement autant que nécessaire pour bénéficier et vivre confortablement.
En gros, si la programmation se transforme en une conversation humaine normale avec un système vocal et qu'elle fonctionne vraiment efficacement, alors pourquoi pas? Le pessimiste dira: "comment savoir si le système a tout bien compris". L'optimiste gardera le silence, montrera le problème qui a été résolu avec succès et jettera le microphone.
La crainte d'un manque de connaissances réside dans la compréhension que les connaissances existent, mais ne peuvent pas être reconnues. Après tout, ne pas savoir ce que vous ne savez pas n'est pas si effrayant.
En 1984, Thomas Pinchon a écrit l'essai «
Est-il normal d'être un luddite » et a même dit alors que la source de l'ignorance était trop de connaissances.
Dans le monde moderne, quiconque a le temps, les compétences et l'argent pour payer l'accès peut accéder aux connaissances spécialisées dont il ou elle a besoin. Le problème, en fait, est de savoir comment prendre le temps de lire quelque chose en dehors de notre propre spécialisation.
Dans le texte, Pinchon comprend comment la peur de la technologie a changé au fil du temps. Après les grèves des travailleurs (d'où le nom de «Luddites»), qui ont brisé des métiers à tisser pour avoir enlevé leur travail, la technophobie était mieux enregistrée dans les livres des écrivains. En effet, les écrivains, contrairement aux scientifiques, pensent que l'ignorance est inévitable, et il y a beaucoup de choses autour d'eux qu'ils ne comprendront jamais. Les scientifiques savent à chaque instant exactement ce qui leur permettra d'en apprendre encore plus à l'avenir. Autrement dit, la divulgation de toutes les connaissances est une question de temps. Si c'est très grossier, les écrivains pensent qu'ils n'ont rien à contrôler, les scientifiques pensent qu'ils contrôlent autant qu'il en faut pour en prendre encore plus.
À l'époque où les pogroms et la révolution industrielle étaient un sujet brûlant, Mary Shelley a écrit le roman Frankenstein, ou Prométhée moderne. S'exprimant longuement - c'est la première science-fiction, et immédiatement sur la façon dont le scientifique a été tué par sa création (désolé pour le spoiler).
Depuis lors, dans les livres de science-fiction sur la technologie, le pessimisme et l'optimisme ont constamment changé, car voler dans l'espace est cool, et les bombardements nucléaires sont mauvais - mais tout cela est le résultat du progrès moderne. Au fil du temps, la technophobie des écrivains est passée de l'horreur à quelque chose de plus en plus étrange. Soit en réalisant qu'ils se sont trompés, et vous n'avez pas besoin d'avoir peur de la technologie. Ou vice versa - parce que tout est déjà perdu, les points de non-retour sont passés et le pessimisme se transforme en un sentiment de désespoir.
Les mainframes attireront-ils autant l'attention hostile que les métiers à tisser? J'en doute fortement. Des écrivains de toutes sortes fuient de panique pour acquérir des traitements de texte. Les voitures sont déjà devenues si conviviales que même les plus mal adaptées des Luddites peuvent être si enchantées par elles qu'elles peuvent rebuter le vieux marteau et frapper à la place.
Avec une allocation correcte du budget et du temps informatique, nous serons en mesure de guérir le cancer, de sauver l'humanité de la destruction nucléaire, de produire de la nourriture [qui suffit] pour tout le monde, de neutraliser les effets de la pollution de l'environnement par l'industrie du colportage - en bref, nous réaliserons tous les tristes rêves de pipe de notre temps.
Si notre monde survit, le prochain grand défi suivra, auquel il convient de prêter attention: vous l'entendrez pour la première fois lorsque toutes les courbes de la recherche et du développement dans le domaine de l'intelligence artificielle, de la biologie moléculaire et de la robotique se rejoignent. Pensez-y!Ce sera surprenant et imprévisible, et même les plus grands patrons, dont nous espérons sincèrement, seront pris par surprise. Bien sûr, ce sera quelque chose que tous les Luddites exemplaires attendront avec impatience, si, si Dieu le veut, nous vivrons pour voir ce moment.
Autrement dit, la peur des technophobes s'est transformée non seulement en un sentiment de désespoir, mais en une attente exaltante que les scientifiques se retrouveront avec un nez. Quand l'avidité pour la connaissance et la confiance en soi se tiendra de côté.
Le pessimisme que j'ai perdu maintenant semble être le lot de fous qui ne comprennent rien (si vous êtes technophobe, allez vivre dans la forêt et ne vous embêtez pas). Il est devenu l'opinion "nous voulons le meilleur, mais nous ferons comme toujours." Mais il est d'usage de penser aux points de non-retour au futur. Penser qu'ils sont déjà terminés, surtout à une époque où ce n'est pas comme les ordinateurs - pas même le langage écrit - est absolument sauvage et inutile.Une telle opinion impopulaire a été exprimée par l'anthropologue Yuval Noah Harari dans le livre Sapiens: une brève histoire de l'humanité. Selon lui, nous avons inventé notre super moteur Tralfamador il y a dix mille ans lorsque nous avons fait la révolution agraire, et depuis lors, notre évolution est allée dans la direction opposée. Apparemment, l'homme-cueilleur possédait le cerveau le plus développé de l'histoire, vivait beaucoup plus à l'aise et plus heureux.Mais ensuite, il a planté du blé et en est devenu dépendant.La révolution agraire n'était nullement le début d'une vie nouvelle et facile - les anciens fermiers vivaient beaucoup plus difficile, et parfois même plus faim, que les collectionneurs. Les chasseurs et les cueilleurs menaient une vie plus saine, ne travaillaient pas si dur, se trouvaient dans des activités plus diverses et plus agréables, moins susceptibles de souffrir de la faim et de la maladie. Grâce à la révolution agraire, la quantité totale de nourriture consommée par l'humanité a certes augmenté, mais plus de nourriture n'est pas nécessairement une alimentation plus saine. Non, à la suite de l'explosion démographique et de l'élite née, l'éleveur ou l'éleveur de bétail moyen travaillait plus et mangeait moins bien que le chasseur ou le cueilleur moyen. La révolution agraire est la plus grande arnaque de l'histoire.
. . – , , . : «, . ! - . . - !»
– , - , – - .
Mais selon Harari, les anciens peuples qui l'ont plantée ne se sont pas piégés. Les premiers agriculteurs avaient tout bien, ils ont vraiment simplifié leur vie et apporté le réconfort que leurs ancêtres recherchaient depuis des siècles. Cela est devenu un piège pour leurs arrière-arrière-arrière-arrière-petits-enfants, qui avaient déjà perdu la qualité de leurs ancêtres pour vivre et choisir le meilleur. Il ne leur restait plus que l'agriculture, et ils ont été progressivement capturés par toutes les lacunes du nouveau mode de vie.La théorie est spéculative, tendue et pleine de spéculations. Et peut-être que la création d'un système super automatisé qui résoudra tous les problèmes de nos descendants dans un avenir lointain sera considérée comme nuisible par la même injection. Mais nous le créerons quand même. Parce que le progrès, la productivité et la croissance constante sont une nouvelle religion et le sens de notre temps athée. Et si maintenant nous allons de mieux en mieux, alors pourquoi s’inquiéter en vain? On y croit encore un peu plus, et tout sera parfait. Il suffit de travailler un peu plus.Mais si vous noyez l'optimisme pendant une seconde et que vous vous souvenez que la technologie solutiviste «résout les problèmes qu'ils créent eux-mêmes» - que se passera-t-il? Rien que, peut-être, la prise de conscience que vous ne partez pas seul, mais que vous êtes traîné derrière un train à grande vitesse.Une petite expérience de réflexion. Imaginez que vous avez vu l'avenir, et vous savez que dans cent ans, la technologie deviendra incontrôlable que le super-moteur fera exploser l'univers lors des tests (ou du moins transformera les descendants en idiots sous-développés). Allez-vous changer quelque chose? Arrêtez de faire du développement technologique?Ou voici quelques détails supplémentaires. Si vous aviez un impact vraiment énorme sur le progrès, l'arrêteriez-vous dans ce cas? Si oui, ne seriez-vous pas gêné par l'idée que votre choix était déjà enregistré dans la chronologie? Quelle influence sur l'avenir n'existe pas? Cette connaissance ne donne pas vraiment le contrôle - c'est simplement une connaissance pour le plaisir de savoir que globalement elle ne donnera qu'une contemplation passive d'un monstre entrant dans une pièce.Quand j'essaye de me répondre, je me sens seulement contraint. Voici comment découvrir le crash d'un avion dans lequel vous volez déjà. La meilleure chose que vous puissiez faire n'est pas de crier de panique, mais de commander de la vodka et de la fumée, bien que ce soit interdit.La plupart de nos vies sont l'humilité avec une existence inexplicable. Tout sera plus facile si vous faites juste un effort et décidez consciemment de profiter de cette attraction loin d'être sans fin. Après tout, en pensant toujours bien à quelque chose, on arrive à la même chose: mieux vaut ne pas y penser.