Dans ce livre, nous nous sommes concentrés sur les principaux détails du dispositif de réseau neuronal: comment ils fonctionnent, comment ils peuvent être utilisés dans les problèmes de reconnaissance de séquence. Ce matériau peut être appliqué directement dans la pratique. Mais, bien sûr, l'une des raisons de l'intérêt pour NS est l'espoir qu'un jour, ils pourront dépasser les limites de la simple reconnaissance de séquence. Peut-être qu’elles, ou d’autres approches basées sur des ordinateurs numériques, peuvent finalement être utilisées pour créer des machines à penser capables de rivaliser avec l’intelligence humaine ou de la dépasser? Cette idée va bien au-delà du matériel discuté dans le livre - ou du savoir-faire de toute personne sur la planète. Mais spéculer sur ce sujet est toujours intéressant.
Il y a eu beaucoup de débats pour savoir si les ordinateurs peuvent, en principe, atteindre le niveau d'intelligence humaine. Je ne considérerai pas cette question. Malgré le débat, je pense qu'il n'y a aucun doute sérieux sur la possibilité de créer un ordinateur intelligent - bien que cette tâche puisse être extrêmement difficile, et peut-être aller bien au-delà des technologies existantes - et les critiques actuels se retrouveront un jour dans la position des
vitalistes du passé.
Au lieu de cela, je veux étudier une autre question: existe-t-il un ensemble simple de principes qui peuvent être utilisés pour expliquer un phénomène comme l'intelligence? En particulier, plus précisément, existe-t-il un algorithme simple pour créer de l'intelligence?
L'idée d'un algorithme vraiment simple pour créer de l'intelligence est assez audacieuse. Elle semble probablement trop optimiste pour être vraie. Beaucoup de gens ont le sentiment persistant et intuitif que l'intellect a une complexité importante qui ne peut pas être simplifiée. Ils sont tellement impressionnés par la diversité et la flexibilité étonnantes de la pensée humaine qu'ils concluent qu'il est impossible pour un simple algorithme de créer de l'intelligence. Mais, malgré cette intuition, je ne pense pas qu'il soit utile de tirer des conclusions hâtives sur cette question. L'histoire de la science est remplie d'exemples de la façon dont un phénomène qui semblait initialement extrêmement complexe a ensuite été expliqué par un ensemble d'idées simple mais puissant.
Prenons, par exemple, les premiers jours de l'astronomie. Depuis l'Antiquité, on savait qu'il y avait toute une ménagerie d'objets différents dans le ciel: le soleil, la lune, les planètes, les comètes, les étoiles. Ces objets se comportent de manières complètement différentes: les étoiles, par exemple, se déplacent majestueusement et régulièrement à travers le ciel, tandis que les comètes semblent apparaître de nulle part, voler dans le ciel et disparaître. Au XVIe siècle, seul un optimiste naïf pouvait imaginer que tous les mouvements de ces objets pouvaient s'expliquer par un simple ensemble de principes. Mais au XVIIe siècle, Newton a formulé la théorie de la gravitation universelle, qui expliquait non seulement tous ces mouvements, mais aussi les phénomènes terrestres, comme les marées et le comportement des coquilles associées à la Terre. Rétrospectivement, l'optimiste naïf du XVIe siècle semble être un pessimiste qui en demande trop peu.
Bien sûr, en science, il y a beaucoup plus d'exemples de ce type. Considérez la myriade de produits chimiques qui composent notre monde, si magnifiquement expliqué par le tableau périodique, qui à son tour est construit selon plusieurs règles simples qui peuvent être obtenues à partir de la mécanique quantique. Ou le mystère de la complexité et de la diversité du monde biologique, dont il s'avère que les sources résident dans le principe de l'évolution par sélection naturelle. Ces exemples et bien d'autres disent qu'il ne serait pas sage d'exclure une explication simple du fonctionnement de l'intellect sur la base de ce que fait notre cerveau - et du meilleur exemple d'intelligence actuellement - semble très compliqué.
Dans cette postface, je suppose qu'un ordinateur peut être considéré comme raisonnable si ses capacités coïncident ou dépassent les capacités de la pensée humaine. Autrement dit, la question de l'existence d'un algorithme d'intelligence est une question de l'existence d'un algorithme qui peut penser à peu près de la même manière qu'une personne. Il convient de noter qu'en principe, il peut y avoir des formes de l'esprit qui n'incluent pas des pensées comme les humaines, et en même temps d'une manière intéressante dépassent l'esprit des gens.
D'un autre côté, malgré tous ces exemples optimistes, logiquement, il est possible que l'intelligence ne puisse s'expliquer qu'à travers le travail d'un grand nombre de mécanismes fondamentalement différents. Dans le cas de notre cerveau, de tels mécanismes pourraient survenir en réaction à de nombreuses demandes différentes de la sélection naturelle au cours de l'évolution. Si ce point de vue est correct, alors l'intelligence implique une complexité irréparable, et il est impossible de créer un simple algorithme d'intelligence.
Lequel de ces deux points de vue est vrai?
Pour approfondir cette question, posons-en une qui lui est étroitement liée, mais l'autre - y a-t-il une explication simple du fonctionnement du cerveau humain? En particulier, nous étudierons les moyens de quantifier la complexité du cerveau. La première approche est l'étude du cerveau du point de vue de la
connexion . Nous parlons directement des connexions: combien de neurones dans le cerveau, combien de neuroglies, combien de connexions entre les neurones. Vous avez probablement déjà rencontré ces chiffres auparavant: dans le cerveau, il y a environ 100 milliards de neurones, 100 milliards de neuroglies et 100 billions de connexions entre les neurones. Ces chiffres sont stupéfiants. Et ils font peur. Si vous avez besoin de comprendre les détails de toutes ces connexions (sans parler des neurones et de la neuroglie) afin de comprendre comment fonctionne le cerveau, nous n'obtiendrons certainement pas un algorithme simple pour l'intelligence.
Il existe un deuxième point de vue plus optimiste sur le cerveau - du point de vue de la biologie moléculaire. L'idée est de demander combien d'informations génétiques sont nécessaires pour décrire l'architecture du cerveau. Pour comprendre cela, commençons par regarder les différences génétiques entre les humains et les chimpanzés. Vous êtes probablement tombé sur l'affirmation courante selon laquelle "les humains sont à 98% des chimpanzés". Parfois, les chiffres varient de 95% à 99%. Ces variations se produisent parce qu'au départ, les chiffres ont été comparés en comparant des échantillons partiels du génome du chimpanzé humain, plutôt que le génome entier. Cependant, en 2007, le génome du chimpanzé a été complètement
séquencé , et maintenant nous savons que l'ADN humain et le chimpanzé diffèrent dans environ 125 millions de bases d'ADN appariées. Il s'agit de 3 milliards de bases appariées dans chaque génome. Donc, on ne peut pas dire qu’une personne est chimpanzé à 98% - il serait plus correct de parler de 96%.
Quelle quantité d'informations contient 125 millions de bases appariées? Chaque base appariée peut être étiquetée avec l'une des quatre possibilités - les «lettres» du code génétique, les bases adénine, thymine, guanine et cytosine. Ainsi, chaque paire peut être décrite avec deux bits d'informations - juste pour identifier l'une des quatre étiquettes. Ainsi, 125 millions de bases appariées équivalent à 250 millions de bits d'informations. C'est la différence génétique entre l'homme et le chimpanzé!
Bien sûr, ces 250 millions de bits sont responsables de toute la différence génétique entre les humains et les chimpanzés. Mais nous ne nous intéressons qu'à la différence associée au cerveau. Malheureusement, personne ne sait à quel point la différence génétique peut décrire la différence dans le cerveau. Mais supposons, par souci de clarté, qu'environ la moitié des 250 millions de bits soit responsable de cette différence. Il s'avère 125 millions de bits.
125 millions de bits est un nombre impressionnant. Voyons combien cela représente, en le traduisant en termes plus compréhensibles. En particulier, quelle serait la taille d'un texte anglais équivalent? Il s'avère que le contenu informatif de la langue anglaise correspond à environ un bit par lettre. Cela ressemble à une note assez faible - après tout, l'alphabet a 26 lettres - cependant, le texte anglais contient une énorme quantité de redondance. Bien sûr, on peut affirmer qu'il existe une redondance dans le génome et que deux bits sur une base appariée constituent une énumération. Mais nous l'ignorerons, car dans le pire des cas, cela signifie que nous surestimerons la complexité génétique du cerveau. En supposant tout cela, nous verrons que la différence génétique entre notre cerveau et le cerveau du chimpanzé équivaut à 125 millions de lettres, soit 25 millions de mots anglais. C'est environ 30 fois plus que la
Bible King James contient.
Une grande quantité d'informations. Mais pas incompréhensiblement grand. Elle tombe à l'échelle de l'esprit humain. Peut-être pas une seule personne ne peut comprendre tout ce qui est écrit dans ce code, mais un groupe de personnes peut être en mesure de le comprendre collectivement, en utilisant la spécialisation appropriée. Et, bien qu'il s'agisse d'une grande quantité d'informations, elles se révèlent minuscules par rapport aux informations nécessaires pour décrire 100 milliards de neurones, 100 milliards de neuroglies et 100 billions de connexions qui existent dans le cerveau. Même si nous utilisions une description simple et grossière - disons, 10 nombres à virgule flottante pour décrire chaque connexion - cela nécessiterait 70 quadrillions de bits. Cela signifie que la description génétique est un demi-milliard de fois moins complexe que la description du connectome complet du cerveau humain.
De cela, il est clair que le génome ne peut pas contenir une description détaillée de toutes nos connexions neuronales. Il n'a qu'à décrire l'architecture générale et les principes de base qui sous-tendent le cerveau. Mais cette architecture et ces principes suffisent pour que les gens, en grandissant, deviennent rationnels. Bien sûr, cela n'est pas sans astuces - les enfants en pleine croissance ont besoin d'un environnement sain et stimulant et d'une bonne nutrition pour atteindre leur potentiel intellectuel. Cependant, si nous grandissons dans un environnement raisonnable, une personne en bonne santé a un intellect incroyable. Dans un sens, l'information contenue dans nos gènes contient l'essence de notre façon de penser. De plus, les principes contenus dans ces informations génétiques sont susceptibles d'être compris par nous.
Les chiffres donnés sont des estimations très approximatives. Il est possible que 125 millions de bits se révèlent exagérés, et qu'il existe un ensemble beaucoup plus compact de principes clés qui sous-tendent la pensée humaine. Peut-être que la plupart de ces 125 millions de bits ne sont que des réglages fins par rapport à des détails mineurs. Et peut-être sommes-nous trop conservateurs dans le calcul de ces chiffres. Ce serait génial si c'était le cas! Pour nos objectifs actuels, le point clé sera le suivant: l'architecture du cerveau est complexe, mais pas autant que vous pourriez le penser lors de l'évaluation du nombre de connexions dans le cerveau. Un regard sur le cerveau du point de vue de la biologie moléculaire suggère que les gens pourront un jour comprendre les principes de base qui sous-tendent l'architecture du cerveau.
Dans les derniers paragraphes, j'ai ignoré le fait que 125 millions de bits décrivent uniquement la différence génétique entre le cerveau humain et le cerveau du chimpanzé. Toutes les capacités de notre cerveau n'existent pas en raison de ces 125 millions de bits. Les chimpanzés eux-mêmes sont bons à penser. La clé de l'intelligence réside peut-être principalement dans les capacités mentales (et les informations génétiques) des chimpanzés et des humains. Si c'est le cas, alors le cerveau humain pourrait n'être qu'une petite mise à niveau du cerveau du chimpanzé, au moins en termes de complexité des principes de base. Malgré le chauvinisme humain généralement accepté concernant nos capacités uniques, ce n'est pas si incroyable: les lignées génétiques du développement des humains et des chimpanzés ont divergé il y a seulement 5 millions d'années, un moment à l'échelle évolutive. Cependant, en l'absence d'arguments plus convaincants, je reste du côté du chauvinisme humain généralement accepté: je pense que les principes les plus intéressants qui sous-tendent les pensées humaines sont contenus dans ces 125 millions de bits, et non dans cette partie du génome que nous avons en commun avec les chimpanzés.
L'adoption du point de vue sur le cerveau inhérent à la biologie moléculaire nous donne une réduction de la complexité de notre description d'environ neuf ordres de grandeur. C'est inspirant, mais cela ne nous dit pas s'il est possible de créer un algorithme vraiment simple pour l'intelligence. Pouvons-nous réduire davantage la complexité? Et, plus important encore, pouvons-nous résoudre la question de la possibilité de créer un algorithme simple pour l'intelligence?
Malheureusement, il n'y a pas encore suffisamment de preuves convaincantes pour résoudre ce problème. Permettez-moi de décrire certaines des preuves disponibles avec l'astuce que cette revue sera courte et incomplète, et vise uniquement à vous donner une idée de certains articles scientifiques récents, et non à décrire complètement tout ce qui est connu à l'heure actuelle.
Parmi les preuves suggérant la possibilité d'un algorithme simple pour l'intelligence est l'expérience, qui a été rapportée dans la revue Nature en avril 2000. Une équipe de scientifiques dirigée par Mriganka Sur "reflasher" le cerveau des furets nouveau-nés. En règle générale, les signaux des yeux d'un furet sont transmis à une partie du cerveau connue sous le nom de cortex visuel. Mais chez ces furets, les scientifiques ont redirigé le signal pour qu'il pénètre dans le cortex auditif, c'est-à-dire la partie du cerveau qui est habituellement utilisée pour l'audition.
Pour comprendre ce qui s'est passé après cela, vous devez comprendre un peu le cortex visuel. Le cortex visuel contient de nombreuses colonnes d'orientation. Ce sont de petites plaques de neurones, chacune réagissant à la stimulation visuelle d'une certaine direction. Ils peuvent être représentés sous la forme de minuscules capteurs de direction: lorsque quelqu'un braque une lumière vive dans une certaine direction, la colonne d'orientation correspondante est activée. Si la lumière bouge, une colonne d'orientation différente est activée. L'une des structures de haut niveau les plus importantes du cortex visuel est la carte d'orientation, sur laquelle les colonnes d'orientation sont marquées.
Les scientifiques ont découvert que si le signal visuel des yeux du furet est redirigé vers le cortex auditif, alors le cortex auditif change. Des colonnes orientales et une carte d'orientation commencent à apparaître dans le cortex auditif. Elle se révèle moins ordonnée que la carte d'orientation dans le cortex visuel, mais il est clair que c'est ça. De plus, les scientifiques ont effectué les tests les plus simples des réactions des furets aux stimuli visuels, les entraînant à réagir différemment lorsque la lumière venait de différentes directions. À en juger par les tests, les furets pouvaient toujours «voir», du moins rudimentairement, en utilisant le cortex auditif.
C'est un résultat étonnant. Il dit que la façon dont les différentes parties du cerveau apprennent à répondre aux données sensorielles sont basées sur des principes généraux. Une telle communauté fournit des arguments en faveur de l'idée de l'existence d'un ensemble de principes simples au cœur de l'esprit. Cependant, ne vous y trompez pas en croyant que la vision des furets dans ces expériences était très bonne. Les tests comportementaux n'ont testé que les aspects grossiers de la vision. Bien sûr, nous ne pouvons pas demander aux furets «ont-ils appris à voir». Par conséquent, les expériences n'ont pas prouvé que le cortex auditif réformé donnait aux furets une vision de haute qualité. Par conséquent, ces expériences fournissent un soutien très limité à l'idée que des principes similaires sont au cœur de l'apprentissage de différentes parties du cerveau.
Quelles preuves existent pour réfuter l'existence d'un algorithme simple d'intelligence? Certains d'entre eux proviennent des domaines de la psychologie évolutive et de la neuroanatomie. Depuis les années 1960, les psychologues évolutionnistes ont découvert un large éventail d'universaux humains, de modèles de comportement communs à toutes les personnes, dans toutes les cultures et d'horizons différents. Parmi eux, le tabou de l'inceste de la mère et du fils, l'utilisation de la musique et de la danse, ainsi que des structures linguistiques plus complexes, telles que l'utilisation de jurons (c'est-à-dire des mots interdits), des pronoms et même des structures de base comme les verbes. Ces résultats sont complétés par une grande quantité de preuves de la neuroanatomie, dont il résulte que de nombreux modèles de comportement humain sont contrôlés par certaines parties du cerveau, et que ces parties du cerveau sont similaires chez toutes les personnes. Dans l'ensemble, cela suggère que de nombreux modèles de comportement très spécialisés sont cousus dans certaines parties de notre cerveau.
Certaines personnes tirent des conclusions de ces résultats que des explications distinctes sont nécessaires pour ces nombreuses fonctions cérébrales, et qu'en conséquence, l'activité cérébrale ne peut pas être simplifiée, c'est-à-dire que vous ne pouvez pas donner une explication simple du fonctionnement du cerveau (et peut-être créer un algorithme simple pour l'intelligence). Par exemple, Marvin Minsky est un chercheur en IA bien connu qui partage cette opinion . Dans les années 1970 et 1980, il a développé sa théorie de la société de l'esprit, basée sur l'idée que l'esprit humain est une grande communauté de processus informatiques simples mais très différents, qu'il a appelés agents. Dans son livre, décrivant la théorie, Minsky résume tout ce qu'il considère comme un avantage de ce point de vue:Quelle astuce nous rend intelligents? L'astuce est qu'il n'y a pas de concentration. La puissance de l'esprit provient de notre grande variété, et non d'un principe simple et idéal.
Répondant aux critiques de son livre, Minsky a spéculé sur la motivation de l'écriture du livre, citant un argument similaire basé sur la neuroanatomie et la psychologie évolutionniste:Nous savons maintenant que le cerveau lui-même se compose de centaines de sites et de noyaux différents, chacun ayant des éléments et des propriétés architecturales sensiblement différents, et que beaucoup d'entre eux sont impliqués dans la réalisation d'aspects clairement différents de notre activité mentale. Le complexe moderne de connaissances montre que de nombreux phénomènes qui sont généralement décrits par des concepts généralement acceptés tels que «l'intelligence» ou la «compréhension» sont en fait des systèmes matériels complexes.
Minsky, bien sûr, n'est pas le seul à défendre ce point de vue; Je lui donne comme exemple, se tenant du côté de tels arguments. Je trouve ces arguments intéressants, mais je ne pense pas que les preuves en leur faveur soient suffisamment convaincantes. En effet, le cerveau est constitué d'un grand nombre de zones différentes qui remplissent des fonctions différentes, mais il n'en résulte pas qu'il est impossible de donner une explication simple du cerveau. Peut-être ces différences architecturales naissent-elles sur la base d'un principe de base commun, tout comme les mouvements des comètes, des planètes, du Soleil et des étoiles proviennent d'une seule force d'attraction. Ni Minsky ni personne d'autre n'ont pu prouver de manière convaincante l'absence de tels principes.Je suis partisan de l'existence d'un algorithme simple d'intelligence. Fondamentalement, cette idée, malgré les arguments peu convaincants présentés ci-dessus, j'aime parce qu'elle est optimiste. Dans le cas de la recherche scientifique, l'optimisme injustifié se révèle généralement plus productif que le pessimisme justifié, car l'optimiste a le courage d'essayer quelque chose de nouveau. C'est le chemin de la découverte, même si vous ne découvrez pas ce que vous espériez à l'origine. Un pessimiste peut se révéler plus «juste» au sens étroit, mais il s'ouvrira moins qu'un optimiste.Ce point de vue contraste fortement avec la façon dont nous évaluons habituellement les idées, essayant de comprendre si elles sont bonnes ou mauvaises. Il s'agit d'une stratégie intelligente pour travailler avec des études quotidiennes ou de petite taille. Cependant, il est possible d'évaluer de telle manière que des idées grandes et audacieuses définissant un programme de recherche entier seront incorrectes. Parfois, nous n'avons que de faibles preuves concernant l'exactitude de l'idée. Nous pouvons humblement refuser de le suivre et passer tout notre temps à étudier en profondeur les preuves disponibles, en essayant de comprendre laquelle d'entre elles est vraie. Ou nous pouvons simplement accepter que jusqu'ici personne ne le sache avec certitude, et travailler activement à développer une idée grande et audacieuse, en réalisant que bien que nous n'ayons aucune garantie de succès, c'est seulement de cette manière que nous pouvons repousser les limites de notre compréhension.Compte tenu de tout cela, dans sa forme la plus optimiste, je ne crois toujours pas que nous trouverons jamais un algorithme simple pour l'intelligence. Plus précisément, je ne crois pas que nous trouverons jamais la possibilité d'écrire en python (ou C, ou Lisp, ou autre) un programme très court - disons, jusqu'à mille lignes de code - qui implémente l'intelligence artificielle. Et je ne pense pas que nous trouverons jamais un réseau neuronal décrit très simple qui puisse implémenter l'IA. Mais je pense que cela vaut la peine d’agir comme si nous pouvions trouver un tel programme ou réseau. C'est le chemin des idées, et en le suivant, nous pourrons un jour comprendre suffisamment pour écrire un programme plus long, ou créer un réseau plus complexe qui fait preuve d'intelligence. Par conséquent, cela vaut la peine d'agir comme s'il existait un algorithme extrêmement simple pour l'intelligence.Dans les années 1980, Jack Schwartz , un mathématicien et informaticien exceptionnel , a été invité à un débat entre les partisans de l'IA et les sceptiques. Le débat est devenu incontrôlable, les partisans ont commencé à faire des déclarations excessives sur des choses incroyables qui allaient apparaître, et les sceptiques n'ont fait que renforcer leur pessimisme, affirmant que l'IA était tout simplement impossible à créer. Schwartz était présent en dehors du débat et est resté silencieux lorsque la discussion s'est intensifiée. Pendant l'accalmie, il a été invité à s'exprimer et à décrire ses réflexions sur le sujet en discussion. Il a dit: "Eh bien, avant certaines de ces idées, une centaine de prix Nobel supplémentaires peuvent arriver." À mon avis, c'est la réponse parfaite. La clé de l'IA réside dans des idées simples et puissantes, et nous pouvons et devons les rechercher avec optimisme. Mais nous aurons besoin de beaucoup de ces idées, et nous avons encore un très long chemin à parcourir!