Über den Autor. Richard Sutton ist Professor für Informatik an der University of Alberta. Es gilt als einer der Begründer moderner rechnergestützter Lehrmethoden mit Verstärkung.Nach dem Ergebnis von 70 Jahren KI-Forschung ist die wichtigste Lehre, dass allgemeine Berechnungsmethoden letztendlich am effektivsten sind. Und mit großem Abstand. Der Grund ist natürlich Moores Gesetz oder vielmehr der exponentielle Rückgang der Rechenkosten.
Die meisten KI-Studien haben gezeigt, dass der Agent Zugriff auf laufende Computerressourcen hat. In diesem Fall besteht die einzige Möglichkeit zur Steigerung der Produktivität darin, menschliches Wissen zu nutzen. Ein typisches Forschungsprojekt ist jedoch zu kurzlebig, und nach einigen Jahren steigt die Computerleistung zwangsläufig an.
Um sich kurzfristig zu verbessern, versuchen die Forscher, menschliches Wissen auf dem Fachgebiet anzuwenden, aber auf lange Sicht ist nur die Leistungsfähigkeit des Rechnens von Bedeutung. Diese beiden Trends sollten sich nicht widersprechen, aber in der Praxis widersprechen sie sich. Zeit, die in eine Richtung verbracht wird, ist Zeitverlust für eine andere. Es gibt psychologische Verpflichtungen, in den einen oder anderen Ansatz zu investieren. Und die Implementierung von Wissen im Fachgebiet erschwert das System tendenziell so, dass es für die Verwendung allgemeiner Berechnungsmethoden weniger geeignet ist. Es gab viele Beispiele, bei denen Forscher diese bittere Lektion zu spät gelernt haben, und es ist nützlich, einige der bekanntesten zu betrachten.
Im Computerschach basierte das System, das 1997 Weltmeister Kasparov besiegte, auf einer intensiven Suche nach Optionen. Zu dieser Zeit betrachteten die meisten Computerschachforscher diese Methoden mit Alarm, weil sie ein menschliches Verständnis des Themenbereichs anwendeten - die spezielle Struktur eines Schachspiels. Als sich ein einfacher, suchbasierter Ansatz mit spezialisierter Hardware und Software als wesentlich effektiver herausstellte, weigerten sich diese Forscher, eine Niederlage zuzugeben. Sie sagten, die Brute-Force-Methode habe vielleicht einmal funktioniert, sei aber keine allgemeine Strategie. Auf jeden Fall spielen die Leute
nicht so Schach. Diese Forscher wollten Methoden gewinnen, die auf einem menschlichen Verständnis des Spiels beruhen, waren jedoch enttäuscht.
Eine ähnliche Situation besteht in Studien zum Go-Spiel, nur mit einer Verzögerung von 20 Jahren. Die enormen anfänglichen Bemühungen zielten darauf ab, die Suche zu vermeiden und menschliches Fachwissen oder Spielfunktionen zu nutzen, aber all diese Bemühungen waren nutzlos, wenn eine gründliche Suche nach Optionen mit massiven parallelen Berechnungen effektiv angewendet wurde. Es stellte sich heraus, dass das Selbststudium auch wichtig war, um die Funktion des Wertes zu beherrschen, wie in vielen anderen Spielen und sogar im Schach, obwohl diese Funktion im Programm von 1997, das erstmals den Weltmeister gewann, keine große Rolle spielte. Das Lernen in einem Spiel mit sich selbst und das Lernen im Allgemeinen ähneln dem Suchen in dem Sinne, dass sie den Einsatz von massivem Parallel-Computing ermöglichen. Suche und Training sind die wichtigsten Anwendungen der Rechenleistung in der KI-Forschung. Wie beim Computerschach konzentrierten sich die Forscher bei der Entwicklung eines Programms für das Go-Spiel zunächst darauf, ein menschliches Verständnis des Themenbereichs anzuwenden (was weniger Suche erforderte), und viel später gelang es ihnen, Suche und Training anzuwenden.
In den 1970er Jahren veranstaltete DARPA einen Wettbewerb für Spracherkennungssysteme. Die Wettbewerber schlugen viele spezielle Methoden vor, bei denen Kenntnisse des Fachgebiets verwendet wurden - Kenntnisse von Wörtern, Phonemen, menschlichem Sprachtrakt usw. Andererseits wurden neue Methoden eingeführt, die statistischer Natur waren. Sie haben viel mehr Berechnungen basierend auf Hidden-Markov-Modellen (HMMs) durchgeführt. Und wieder triumphierten statistische Methoden über Methoden, die auf Domänenwissen basierten. Dies hat zu signifikanten Änderungen in der gesamten Verarbeitung natürlicher Sprache geführt. Im Laufe der Jahre haben Statistiken und Berechnungen in diesem Bereich allmählich an Bedeutung gewonnen. Der jüngste Anstieg des tiefen Lernens in der Spracherkennung ist der letzte Schritt in diese Richtung. Deep-Learning-Methoden stützen sich noch weniger auf menschliches Wissen und verwenden neben dem Lernen mit riesigen Datenmengen noch mehr Berechnungen. Dies hat Spracherkennungssysteme stark verbessert. Wie in Spielen haben Forscher immer versucht, Systeme zu entwickeln, die nach dem Vorbild ihres eigenen Geistes arbeiten: Sie haben versucht, ihr Wissen über den Themenbereich in ihre Systeme zu übertragen. Letztendlich erwies es sich jedoch als kontraproduktiv und war eine enorme Zeitverschwendung, als Moores Gesetz massive Berechnungen zur Verfügung stellte und Werkzeuge für ihre effektive Verwendung entwickelt wurden.
In Computer Vision ein ähnliches Bild. Frühe Methoden betrachteten das Sehen als Suche nach den Grenzen von Objekten, verallgemeinerten Zylindern oder in Form von SIFT-Zeichen. Aber heute wird das alles verworfen. Moderne neuronale Netze des tiefen Lernens verwenden nur die Konzepte der Faltung und einige Invarianten, während sie viel besser funktionieren.
Dies ist eine großartige Lektion. In der gesamten Branche haben wir dies noch nicht vollständig verstanden, da wir weiterhin dieselben Fehler machen. Um dem effektiv entgegenzuwirken, müssen Sie verstehen, was diese Fehler attraktiv macht. Wir müssen eine bittere Lektion lernen: Ein Modell des menschlichen Geistes aufzubauen, funktioniert auf lange Sicht nicht. Die bittere Lektion basiert auf mehreren historischen Beobachtungen:
- Forscher versuchten oft, ihr Wissen in KI-Agenten zu integrieren.
- Es hilft immer kurzfristig und befriedigt den Forscher persönlich, aber
- Langfristig ruht dieser Ansatz an der Decke und verlangsamt sogar den weiteren Fortschritt.
- Der bahnbrechende Fortschritt beruht letztendlich auf dem umgekehrten Ansatz, der auf massiven Berechnungen durch Suche und Training basiert.
Der ultimative Erfolg ist von Bitterkeit geprägt und wird oft nicht vollständig akzeptiert, da er ein Sieg über einen attraktiven, personenzentrierten Ansatz ist.
Aus dieser bitteren Erfahrung muss eine Lektion gelernt werden: Man muss die enorme Leistung gängiger Methoden erkennen, die sich mit zunehmender Rechenleistung weiter skalieren lassen, selbst wenn große Rechenmengen erforderlich sind. Suche und Training scheinen unendlich skalierbar zu sein.
Der zweite allgemeine Punkt, der aus der bitteren Lehre gezogen werden muss, ist, dass echtes menschliches Denken extrem, unwiderruflich schwierig ist. Wir sollten aufhören zu versuchen, einen einfachen Weg zu finden, um den Inhalt des Geistes als einfache Modelle von Raum, Objekten oder mehreren Agenten darzustellen. All dies ist Teil einer intern komplexen Außenwelt. Dies kann nicht modelliert werden, da die Komplexität endlos ist. Stattdessen sollten Metamethoden entwickelt werden, die diese willkürliche Komplexität finden und erfassen können. Für diese Methoden ist es wichtig, dass sie gute Annäherungen finden können, aber diese Suche wird von den Methoden selbst und nicht von uns durchgeführt. Wir brauchen KI-Agenten, die selbst forschen können und nicht das Wissen nutzen, das wir entdeckt haben. Der Aufbau des KI-Systems auf menschlichem Wissen erschwert nur seine Ausbildung.