À propos de l'auteur. Richard Sutton est professeur d'informatique à l'Université de l'Alberta. Il est considéré comme l'un des fondateurs des méthodes modernes d'enseignement informatique avec renforcement.Selon le résultat de 70 ans de recherche en IA, la principale leçon est que les méthodes de calcul générales sont finalement les plus efficaces. Et par une large marge. Bien sûr, la raison en est la loi de Moore, ou plutôt la baisse exponentielle du coût de l’informatique.
La plupart des études sur l'IA suggèrent que l'agent a accès aux ressources informatiques en cours. Dans ce cas, la seule façon d'augmenter la productivité est d'utiliser les connaissances humaines. Mais un projet de recherche typique est de trop courte durée et, après quelques années, les performances de l'ordinateur augmentent inévitablement.
Dans un effort pour s'améliorer à court terme, les chercheurs tentent d'appliquer les connaissances humaines dans le domaine, mais à long terme seule la puissance de l'informatique compte. Ces deux tendances ne doivent pas se contredire, mais en pratique elles se contredisent. Le temps passé dans une direction est du temps perdu pour une autre. Il y a des obligations psychologiques à investir dans une approche ou une autre. Et la mise en œuvre des connaissances dans le domaine a tendance à compliquer le système de telle sorte qu'il est moins adapté à l'utilisation de méthodes de calcul générales. Il y a eu de nombreux exemples où les chercheurs ont appris cette leçon amère trop tard, et il est utile de considérer certains des plus célèbres.
Dans les échecs informatiques, le système qui a vaincu le champion du monde Kasparov en 1997 était basé sur une recherche approfondie d'options. À cette époque, la plupart des chercheurs en échecs informatiques ont regardé ces méthodes avec inquiétude car elles appliquaient une compréhension humaine du sujet - la structure spéciale d'un jeu d'échecs. Lorsqu'une approche plus simple et basée sur la recherche avec du matériel et des logiciels spécialisés s'est avérée être beaucoup plus efficace, ces chercheurs ont refusé d'admettre la défaite. Ils ont dit que la méthode de la force brute a peut-être fonctionné une fois, mais n'est pas une stratégie générale. En tout cas, les gens
ne jouent
pas aux échecs comme ça. Ces chercheurs voulaient des méthodes gagnantes basées sur une compréhension humaine du jeu, mais ils ont été déçus.
Une situation similaire existe dans les études du jeu de go, seulement avec un retard de 20 ans. Les efforts initiaux énormes visaient à éviter la recherche et à utiliser les connaissances du sujet humain ou les fonctionnalités du jeu, mais tous ces efforts étaient inutiles lorsqu'une recherche approfondie d'options avec des calculs parallèles massifs était effectivement appliquée. Il s'est avéré que l'auto-apprentissage était également important pour maîtriser la fonction de valeur, comme dans de nombreux autres jeux et même aux échecs, bien que cette fonction n'ait pas joué un grand rôle dans le programme de 1997, qui a d'abord remporté le champion du monde. Apprendre dans un jeu avec soi-même et apprendre en général sont similaires à la recherche dans le sens où ils permettent l'utilisation d'un calcul parallèle massif. La recherche et la formation sont les applications les plus importantes de la puissance de calcul dans la recherche sur l'IA. Comme pour les échecs informatiques, dans le développement d'un programme pour le jeu de go, les chercheurs se sont d'abord concentrés sur l'application d'une compréhension humaine du sujet (qui nécessitait moins de recherche), et beaucoup plus tard ont connu un grand succès lorsqu'ils ont appliqué la recherche et la formation.
Dans les années 1970, la DARPA a organisé un concours sur le système de reconnaissance vocale. Les concurrents ont proposé de nombreuses méthodes spéciales qui utilisaient la connaissance du sujet - connaissance des mots, des phonèmes, de la voix humaine, etc. D'autre part, de nouvelles méthodes ont été introduites qui étaient de nature plus statistique. Ils ont fait beaucoup plus de calculs basés sur des modèles de Markov cachés (HMM). Et encore une fois, les méthodes statistiques ont triomphé des méthodes basées sur la connaissance du domaine. Cela a conduit à des changements importants dans tous les traitements du langage naturel. Progressivement, au fil des ans, les statistiques et les calculs sont devenus dominants dans ce domaine. L'augmentation récente de l'apprentissage en profondeur dans la reconnaissance vocale est la dernière étape dans cette direction. Les méthodes d'apprentissage en profondeur reposent encore moins sur les connaissances humaines et utilisent encore plus de calculs ainsi que l'apprentissage sur d'énormes ensembles de données. Cela a considérablement amélioré les systèmes de reconnaissance vocale. Comme dans les jeux, les chercheurs ont toujours essayé de créer des systèmes qui fonctionnent sur le modèle de leur propre esprit: ils ont essayé de transférer leurs connaissances du sujet dans leurs systèmes. Mais finalement, cela s'est avéré contre-productif et a été une énorme perte de temps lorsque la loi de Moore a rendu des calculs massifs disponibles et des outils ont été développés pour leur utilisation efficace.
En vision par ordinateur, une image similaire. Les premières méthodes considéraient la vision comme une recherche des limites des objets, des cylindres généralisés ou en termes de signes SIFT. Mais aujourd'hui, tout cela est rejeté. Les réseaux neuronaux modernes d'apprentissage en profondeur n'utilisent que les concepts de convolution et certains invariants, alors qu'ils fonctionnent beaucoup mieux.
Ceci est une grande leçon. Dans l’industrie dans son ensemble, nous ne l’avons pas encore pleinement compris, car nous continuons à commettre les mêmes erreurs. Pour contrer cela efficacement, vous devez comprendre ce qui rend ces erreurs attrayantes. Nous devons apprendre une leçon amère: construire un modèle de l'esprit humain ne fonctionne pas à long terme. La leçon amère est basée sur plusieurs observations historiques:
- Les chercheurs ont souvent essayé d'intégrer leurs connaissances dans les agents de l'IA.
- Cela aide toujours à court terme et satisfait personnellement le chercheur, mais
- À long terme, cette approche repose sur le plafond et ralentit même les progrès ultérieurs.
- Les progrès décisifs viennent finalement de l'approche opposée, basée sur des calculs massifs grâce à la recherche et à la formation.
Le succès ultime est teinté d'amertume et n'est souvent pas pleinement accepté, car il s'agit d'une victoire sur une approche attrayante et centrée sur la personne.
Une leçon doit être tirée de cette expérience amère: il faut reconnaître l'énorme puissance des méthodes courantes qui continuent à évoluer avec l'augmentation de la puissance de calcul, même lorsque d'énormes quantités de calcul sont nécessaires. La recherche et la formation semblent infiniment évolutives.
Le deuxième point général à tirer de l'amère leçon est que la véritable pensée humaine est extrêmement, irrévocablement difficile. Nous devons cesser d'essayer de trouver un moyen simple de présenter le contenu de l'esprit comme de simples modèles d'espace, d'objets ou d'agents multiples. Tout cela fait partie d'un monde extérieur complexe en interne. Cela ne peut pas être modélisé car la complexité est infinie. Au lieu de cela, des méta-méthodes devraient être développées pour trouver et capturer cette complexité arbitraire. Pour ces méthodes, il est important qu'elles puissent trouver de bonnes approximations, mais cette recherche est effectuée par les méthodes elles-mêmes, et non par nous. Nous avons besoin d'agents d'IA capables de mener eux-mêmes des recherches et de ne pas utiliser les connaissances que nous avons découvertes. La construction du système d'IA sur la connaissance humaine ne fait que compliquer sa formation.