Choc des Titans de notre époque: un débat entre V. Vapnik et L. Jakel sur l'avenir des SVM et des réseaux de neurones

Les souvenirs de la façon dont Niels Bohr se sont disputés avec Albert Einstein, et George Westinghouse et Nikola Tesla avec Thomas Edison, sont depuis longtemps devenus des légendes. Ces discussions scientifiques n'ont pas été oubliées jusqu'à présent, car, d'une part, seul le temps pouvait les résoudre. D'un autre côté, leur résultat a déterminé le développement de la technologie pour les décennies à venir. Y a-t-il des discussions similaires aujourd'hui? Existe. Et ils sont aussi chauds et intéressants qu'ils l'étaient il y a cent ans.

La controverse la plus intéressante de notre époque est peut-être le différend entre Vladimir Vapnik (inventeur de la méthode du vecteur de support ou SVM - machine à vecteur de support), avec Larry Jakel, son patron des Bell Labs et partisan des réseaux de neurones convolutifs.

Leur pari documenté est apporté sur sa page Google+ par Jan LeCunn (idéologue des réseaux de neurones convolutifs), qui a agi en tant que juge du différend et a assuré toutes les conditions avec sa propre signature. Et ils étaient comme suit.

Larry Jakel a fait valoir qu'en 2000, une compréhension théorique des raisons pour lesquelles les grands réseaux de neurones fonctionneraient bien (en termes de limites d'applicabilité et de conditions similaires à celles décrivant le fonctionnement de la SVM) serait développée.

Vladimir Vapnik a fait valoir qu'en 2005, personne de bon sens n'utiliserait les réseaux de neurones des mêmes architectures qui avaient été proposées en 1995, tout le monde passerait pour prendre en charge la machine vectorielle.

L'enjeu était un magnifique dîner, qui devait être payé par quelqu'un dont les prévisions ne se sont pas concrétisées.

Donc, en l'an 2000, il n'y avait pas de théorie claire sur le fonctionnement des réseaux de neurones; ils restaient des boîtes noires. Cependant, les personnes sensées continuent d'utiliser les réseaux des mêmes architectures qui ont été proposées il y a près d'un quart de siècle, malgré les prédictions de V. Vapnik.

Les deux participants ont perdu le pari. Et pour le dîner dans un restaurant pour trois (Jan LeCund y a assisté), les deux ont payé.

Une belle histoire sur une discussion scientifique moderne - pourquoi n'est-ce pas une nouvelle légende qui sera racontée après des décennies et même des siècles? Mais il ne s'agit pas de beauté, mais de deux camps de développeurs et de chercheurs de taille et d'importance comparables, qui se disputent sur ce qui est le plus efficace à utiliser - des réseaux neuronaux mystérieux ou la méthode de vecteur de support bien étudiée qui a été bien étudiée et décrite dans la littérature.

À la fin du siècle dernier, peu croyaient aux réseaux de neurones. Bien que les réseaux neuronaux convolutifs (CNN) se développent à peu près en même temps que SVM, entre 1988 et 1992. La pratique moderne et la littérature scientifique montrent qu'aujourd'hui, à l'ère de la révolution de l'apprentissage profond, les réseaux de neurones sont de plus en plus utilisés et aident à résoudre des problèmes complexes, par exemple dans le domaine de la reconnaissance vocale. La méthode SVM perd de sa popularité, mais reste toujours en demande dans certaines tâches.

La guerre des courants (un différend entre T. Edison et D. Westinghouse) ne s'est terminée qu'en 2007, lorsque le dernier consommateur DC a disparu à New York. Je voudrais croire que la discussion entre V. Vapnik et L. Jakel se terminera plus rapidement, car son issue, semble-t-il, est déjà claire. Aujourd'hui, tout le monde parle de l'apprentissage profond de la révolution et du fait que les réseaux de neurones ont en fait mis en échec dans la pratique tout ce qui existait avant eux. Mais! Il reste un point important mentionné dans ce débat - il n'y a toujours pas de compréhension claire des limites et des conditions d'applicabilité des réseaux de neurones, il n'y a pas de description analytique complète de tous les processus à l'intérieur des «boîtes noires». Nous observons maintenant comment l'analytique s'estompe à l'arrière-plan, laissant la place à l'ingénierie et aux empiriques.

Saura-t-on jamais comment fonctionne une boîte noire appelée «réseau de neurones»? Le temps nous le dira. En attendant, discutez, messieurs!