Kürzlich hat meine Tante ihren Kollegen E-Mails mit dem Thema „Matheproblem! Was ist die richtige Antwort? " Der Brief hatte ein täuschend einfaches Rätsel:
1 + 4 = 5
2 + 5 = 12
3 + 6 = 21
8 + 11 =?
Für sie war die Entscheidung offensichtlich. Aber ihre Kollegen entschieden, dass ihre Entscheidung richtig war - was nicht mit ihrer Entscheidung zusammenfiel. War das Problem mit einer ihrer Antworten oder mit dem Rätsel selbst?
Meine Tante und ihre Kollegen stießen auf das grundlegende Problem des maschinellen Lernens, einer Disziplin, die das Lernen von Computern studiert. Fast alle Schulungen, die wir von Computern erwarten - und die wir selbst durchführen - bestehen darin, Informationen auf die Grundgesetze zu reduzieren, auf deren Grundlage Schlussfolgerungen über etwas Unbekanntes gezogen werden können. Und ihr Rätsel war dasselbe.
Für eine Person besteht die Aufgabe darin, nach einem beliebigen Muster zu suchen. Natürlich schränkt unsere Intuition den Bereich unserer Vermutungen ein. Aber Computer haben keine Intuition. Aus der Sicht eines Computers liegt die Schwierigkeit beim Erkennen von Mustern in ihrer Fülle: Wenn es unendlich viele gleichermaßen legitime Muster gibt, aufgrund derer einige korrekt sind und andere nicht?
Und dieses Problem ist kürzlich in eine praktische Ebene übergegangen. Bis in die 1990er Jahre beschäftigten sich KI-Systeme im Allgemeinen selten mit maschinellem Lernen. Angenommen, ein Deep Thought-Schachcomputer, der Vorgänger von Deep Blue, hat Schach nicht durch Ausprobieren gelernt. Stattdessen erstellten die Schachgroßmeister und Programmierassistenten sorgfältig die Regeln, nach denen man herausfinden konnte, ob eine Schachposition gut oder schlecht war. Diese sorgfältige manuelle Einstellung war typisch für die damaligen „Expertensysteme“.
Um das Geheimnis meiner Tante mit dem Ansatz von Expertensystemen anzugehen, muss eine Person auf die ersten drei Reihen von Beispielen blinzeln und das folgende Muster darin bemerken:
1 * (4 + 1) = 5
2 * (5 + 1) = 12
3 * (6 + 1) = 21
Dann würde die Person den Computer anweisen, dem Muster x * (y + 1) = z zu folgen. Wenn wir diese Regel auf das letzte Ergebnis anwenden, erhalten wir eine Lösung - 96.
Trotz der frühen Erfolge von Expertensystemen war die manuelle Arbeit, die erforderlich war, um sie zu entwickeln, zu optimieren und zu aktualisieren, überwältigend. Stattdessen machten die Forscher auf die Entwicklung von Maschinen aufmerksam, die Muster selbst erkennen können. Das Programm könnte beispielsweise tausend Fotos oder Markttransaktionen untersuchen und daraus statistische Signale ableiten, die der Person auf dem Foto entsprechen, oder einen Anstieg der Marktpreise. Dieser Ansatz wurde schnell dominant und stand seitdem im Mittelpunkt aller Aufgaben, von der automatischen E-Mail-Sortierung und Spam-Filterung bis zur Aufdeckung von Kreditkartenbetrug.
Trotz aller Erfolge benötigen diese MO-Systeme irgendwo im Prozess einen Programmierer. Nehmen Sie als Beispiel das Rätsel meiner Tante. Wir haben angenommen, dass es in jeder Zeile drei signifikante Komponenten gibt (drei Zahlen in einer Zeile). Es gibt jedoch ein potenzielles viertes Element - das Ergebnis der vorherigen Zeile. Wenn diese Zeichenfolgeeigenschaft gültig ist, wird ein anderes plausibles Muster angezeigt:
0 + 1 + 4 = 5
5 + 2 + 5 = 12
12 + 3 + 6 = 21
Nach dieser Logik sollte die endgültige Antwort 40 sein.
Welche Regelmäßigkeit ist wahr? Natürlich beides - und keiner von ihnen. Es hängt alles davon ab, welche Muster zulässig sind. Sie können beispielsweise ein Muster erstellen, indem Sie die erste Zahl nehmen, mit der zweiten multiplizieren, ein Fünftel der Summe der vorherigen Antwort und drei addieren und alles auf die nächste Ganzzahl runden (sehr seltsam, aber es funktioniert). Und wenn wir die Verwendung von Eigenschaften zulassen, die sich auf das Auftreten von Zahlen beziehen, gibt es möglicherweise eine Sequenz, die mit Serifen und Linien verbunden ist. Die Suche nach Mustern hängt von den Annahmen des Beobachters ab.
Gleiches gilt für MO. Selbst wenn sich die Maschinen selbst trainieren, werden die bevorzugten Muster von Personen ausgewählt: Sollte die Gesichtserkennungssoftware explizite Regeln enthalten, wenn / dann, oder sollte sie jedes Merkmal als zusätzlichen Beweis für oder gegen jede mögliche Person betrachten, zu der die Person gehört? Welche Funktionen des Bildes sollte die Software verarbeiten? Muss sie mit einzelnen Pixeln arbeiten? Oder vielleicht mit den Rändern zwischen hellen und dunklen Bereichen? Die Auswahl solcher Optionen begrenzt, welche Muster das System für wahrscheinlich oder sogar möglich hält. Die Suche nach dieser idealen Kombination war die neue Arbeit von Spezialisten im Moskauer Verteidigungsministerium.
Aber der Automatisierungsprozess hat hier nicht aufgehört. So wie Programmierer einst gefoltert wurden, um die Arbeitsregeln zu schreiben, zögern sie jetzt, neue Funktionen zu entwickeln. "Wäre es nicht schön, wenn der Computer selbst herausfinden könnte, welche Funktionen er benötigt?" Deshalb entwickelten sie ein tief lernendes neuronales Netzwerk, eine MO-Technologie, die auf der Grundlage einfacherer Informationen unabhängig Rückschlüsse auf Eigenschaften auf hoher Ebene ziehen kann. Wenn Sie einem neuronalen Netzwerk eine Reihe von Pixeln zuführen, lernt es, Kanten, Kurven, Texturen zu berücksichtigen - und das alles ohne direkte Anweisungen.
Und so verloren die Programmierer ihre Jobs wegen eines Algorithmus, um alle zu bearbeiten?
Noch nicht. Neuronale Netze sind für keine Aufgaben geeignet. Auch im besten Fall müssen sie angepasst werden. Ein neuronales Netzwerk besteht aus Schichten von "Neuronen", von denen jede Berechnungen basierend auf den Eingabedaten durchführt und das Ergebnis an die nächste Schicht ausgibt. Aber wie viele Neuronen werden benötigt und wie viele Schichten? Sollte jedes Neuron Eingaben von jedem Neuron der vorherigen Ebene erhalten, oder sollten einige Neuronen selektiver sein? Welche Transformation sollte jedes Neuron an den Eingabedaten durchführen, um das Ergebnis zu erzielen? Usw.
Diese Probleme beschränken Versuche, neuronale Netze auf neue Aufgaben anzuwenden. Ein neuronales Netzwerk, das Gesichter perfekt erkennt, kann nicht automatisch übersetzt werden. Und wieder drücken die vom Menschen gewählten Strukturelemente das Netzwerk eindeutig in Richtung bestimmter Gesetze und führen es von anderen weg. Eine sachkundige Person versteht, dass nicht alle Gesetze gleich sind. Programmierer werden nicht ohne Arbeit bleiben.
Der nächste logische Schritt werden natürlich neuronale Netze sein, die unabhängig davon raten, wie viele Neuronen enthalten sein sollten, welche Verbindungen verwendet werden sollen usw. Forschungsprojekte zu diesem Thema laufen seit vielen Jahren.
Wie weit kann es gehen? Werden Autos lernen, so gut selbstständig zu arbeiten, dass das externe Tuning zu einem altmodischen Relikt wird? Theoretisch kann man sich einen idealen universellen Studenten vorstellen - einen, der alles für sich selbst lösen kann und immer das beste Schema für die gewählte Aufgabe wählt.
Doch 1996 bewies der Informatikspezialist David Walpert die Unmöglichkeit eines solchen Studenten. In seinen berühmten „Theoremen über das Fehlen kostenloser Mahlzeiten“ zeigte er, dass es für jedes Muster, dass der Schüler gut ausgebildet ist, ein Muster gibt, das er schrecklich studieren wird. Dies bringt uns zurück zum Geheimnis meiner Tante - zu der unendlichen Anzahl von Mustern, die sich aus endlichen Daten ergeben können. Die Wahl eines Trainingsalgorithmus bedeutet die Auswahl von Mustern, mit denen die Maschine schlecht zurechtkommt. Vielleicht fallen alle Aufgaben, zum Beispiel die Mustererkennung, irgendwann in einen umfassenden Algorithmus. Aber kein Lernalgorithmus kann alles gleich gut lernen.
Dadurch sieht maschinelles Lernen wie ein menschliches Gehirn aus. Obwohl wir uns gerne als schlau betrachten, lernt unser Gehirn auch nicht perfekt. Jeder Teil des Gehirns wird von der Evolution sorgfältig abgestimmt, um bestimmte Muster zu erkennen - sei es das, was wir sehen, die Sprache, die wir hören, oder das Verhalten physischer Objekte. Aber wir machen es nicht so gut mit der Suche nach Mustern an der Börse; hier schlugen uns die Maschinen.
Die Geschichte des maschinellen Lernens hat viele Muster. Am wahrscheinlichsten ist jedoch Folgendes: Wir werden Maschinen für viele weitere Jahre zum Lernen ausbilden.