Kampf der Titanen unserer Zeit: eine Debatte zwischen V. Vapnik und L. Jakel über die Zukunft von SVM und neuronalen Netzen

Die Erinnerungen daran, wie Niels Bohr mit Albert Einstein und George Westinghouse und Nikola Tesla mit Thomas Edison argumentierten, sind längst zu Legenden geworden. Diese wissenschaftlichen Diskussionen wurden bisher nicht vergessen, weil sie einerseits nur durch die Zeit gelöst werden konnten. Andererseits bestimmte ihr Ergebnis die Entwicklung der Technologie für die kommenden Jahrzehnte. Gibt es heute ähnliche Diskussionen? Existieren. Und sie sind genauso heiß und interessant wie vor hundert Jahren.

Die vielleicht interessanteste Kontroverse unserer Zeit ist der Streit zwischen Vladimir Vapnik (Erfinder der Support-Vektor-Methode oder SVM - Support-Vektor-Maschine) mit Larry Jakel, seinem Chef bei Bell Labs und Unterstützer von Faltungs-Neuronalen Netzen.

Ihre dokumentierte Wette wird auf seiner Google+ Seite von Jan LeCunn (Ideologe der Faltungs-Neuronalen Netze) veröffentlicht, der als Richter des Streits fungierte und alle Bedingungen mit seiner eigenen Unterschrift versicherte. Und sie waren wie folgt.

Larry Jakel argumentierte, dass bis zum Jahr 2000 ein theoretisches Verständnis dafür entwickelt werden würde, warum große neuronale Netze gut funktionieren würden (in Bezug auf Anwendbarkeitsgrenzen und Bedingungen, die denen ähneln, die die Funktionsweise von SVM beschreiben).

Vladimir Vapnik argumentierte, dass bis 2005 niemand, der bei klarem Verstand ist, neuronale Netze mit denselben Architekturen verwenden würde, die 1995 vorgeschlagen wurden. Jeder würde auf die Unterstützung von Vektormaschinen umsteigen.

Auf dem Spiel stand ein wunderschönes Abendessen, das von jemandem bezahlt werden musste, dessen Prognose nicht zustande kam.

Bis zum Jahr 2000 gab es also keine klare Theorie über den Betrieb neuronaler Netze, sie blieben Black Boxes. Menschen, die bei klarem Verstand sind, nutzen jedoch weiterhin die Netzwerke derselben Architekturen, die vor fast einem Vierteljahrhundert vorgeschlagen wurden, trotz der Vorhersagen von V. Vapnik.

Beide Teilnehmer haben die Wette verloren. Und für das Abendessen in einem Restaurant für drei Personen (es wurde von Jan LeCund besucht) zahlten beide.

Eine schöne Geschichte über eine moderne wissenschaftliche Diskussion - warum ist es keine neue Legende, die nach Jahrzehnten und sogar Jahrhunderten nacherzählt wird? Dabei geht es nicht um Schönheit, sondern um zwei Lager von Entwicklern und Forschern, die in Größe und Bedeutung vergleichbar sind und miteinander darüber streiten, was effizienter zu nutzen ist - mysteriöse neuronale Netze oder die in der Literatur gut untersuchte und beschriebene gut untersuchte Support-Vektor-Methode.

Am Ende des letzten Jahrhunderts glaubten nur wenige an neuronale Netze. Obwohl CNN (Convolutional Neural Networks) zwischen 1988 und 1992 ungefähr zur gleichen Zeit wie SVM entwickelt wurden. Moderne Praxis und wissenschaftliche Literatur zeigen, dass heutzutage im Zeitalter der Revolution des tiefen Lernens neuronale Netze immer aktiver genutzt werden und zur Lösung komplexer Probleme beitragen, beispielsweise im Bereich der Spracherkennung. Die SVM-Methode verliert an Popularität, bleibt aber bei einigen Aufgaben weiterhin gefragt.

Der War of Currents (ein Streit zwischen T. Edison und D. Westinghouse) endete erst 2007, als der letzte DC-Verbraucher in New York verschwand. Ich würde gerne glauben, dass die Diskussion zwischen V. Vapnik und L. Jakel schneller enden wird, da das Ergebnis anscheinend bereits klar ist. Heute sprechen alle über das tiefe Lernen der Revolution und die Tatsache, dass neuronale Netze in der Praxis tatsächlich alles besiegten, was vor ihnen existierte. Aber! In dieser Debatte wird noch ein wichtiger Punkt erwähnt: Es gibt immer noch kein klares Verständnis der Grenzen und Bedingungen der Anwendbarkeit neuronaler Netze, es gibt keine vollständige analytische Beschreibung aller Prozesse innerhalb der Black Boxes. Wir beobachten nun, wie die Analytik in den Hintergrund tritt und den Ingenieurwissenschaften und Empirikern Platz macht.

Wird es jemals bekannt sein, wie eine Black Box namens "neuronales Netzwerk" funktioniert? Die Zeit wird zeigen. In der Zwischenzeit streiten Sie, meine Herren!