Das MIT hat ein interaktives Tool eingeführt, das deutlich macht, warum ein intelligentes System die eine oder andere Entscheidung trifft. In diesem Artikel geht es darum, wie es funktioniert.
/ Unsplash / Randy FathBlack-Box-Problem
Automatisierte maschinelle Lernsysteme (AutoML) testen und modifizieren Algorithmen und ihre Parameter wiederholt. Unter Verwendung der
Verstärkungslernmethode wählen solche Systeme KI-Modelle aus, die zur Lösung eines bestimmten Problems besser geeignet sind als andere. Zum Beispiel, um den
technischen Support zu automatisieren. AutoML-Systeme verhalten sich jedoch wie Black Boxes, dh ihre Methoden sind den Benutzern verborgen.
Diese Funktion erschwert das Debuggen von Algorithmen für maschinelles Lernen erheblich. Und zum Beispiel können bei Autopilotsystemen die Folgen tödlich sein. Im Jahr 2016 war Tesla zum ersten Mal
mit einem Autopiloten an einem tödlichen Unfall beteiligt, der mit einem großen Lastwagen kollidierte. Die Unfallursache ist zuverlässig unbekannt. Die Experten haben nur eine Annahme - der Algorithmus
hat einen hohen LKW mit einem Verkehrsschild am unteren Rand der Überführung verwechselt. Und der Fehler ist noch nicht behoben - Anfang März hatten die USA erneut
einen ähnlichen Unfall .
Um zu erklären, wie ein Maschinenalgorithmus zu der einen oder anderen Schlussfolgerung gelangt ist, verwenden Ingenieure hintere Techniken oder interpretierte Modelle wie Entscheidungsbäume . Im ersten Fall werden die Eingabe- und Ausgabedaten verwendet, um den "Denkprozess" des Algorithmus zu approximieren. Die Genauigkeit solcher Techniken ist schlecht.
Entscheidungsbäume sind ein genauerer Ansatz, funktionieren jedoch nur mit kategorisierten Daten . Daher ist Computer Vision bei komplexen Problemen unpraktisch.
Ingenieure des MIT, der Hong Kong University of Science and Technology und der Zhejiang University beschlossen, die Situation zu korrigieren. Sie
präsentierten ein Tool zur Visualisierung der Prozesse in einer Black Box. Er wurde ATMSeer genannt.
Wie das System funktioniert
ATMSeer basiert auf
Auto-Tuned Models (ATM). Dies ist ein automatisiertes maschinelles Lernsystem, das nach den effektivsten Modellen zur Lösung spezifischer Probleme sucht (z. B. nach Objekten suchen). Das System wählt den Typ des Algorithmus willkürlich aus - ein neuronales Netzwerk, Entscheidungsbäume, eine "
zufällige Gesamtstruktur " oder eine logistische Regression. Auf die gleiche Weise werden die Hyperparameter des Modells bestimmt - die Größe des Baums oder die Anzahl der Schichten des neuronalen Netzwerks.
ATM führt eine Reihe von Experimenten mit Testdaten durch, wobei Hyperparameter automatisch eingestellt und die Leistung bewertet werden. Basierend auf diesen Informationen wählt sie das folgende Modell aus, das die besten Ergebnisse zeigen kann.
Jedes Modell wird in Form einer Art „Informationseinheit“ mit Variablen dargestellt: Algorithmus, Hyperparameter, Leistung. Variablen werden in den entsprechenden Grafiken und Diagrammen angezeigt. Darüber hinaus können Ingenieure diese Parameter manuell bearbeiten und Änderungen im intelligenten System in Echtzeit überwachen.
Die MIT-Ingenieure zeigten die Oberfläche des Tools
im folgenden Video . Darin haben sie mehrere Benutzerfälle aussortiert.
Über das ATMSeer-Kontrollfeld
können Sie den Lernprozess verwalten und neue Datensätze herunterladen. Außerdem werden die Leistungsindikatoren aller Modelle auf einer Skala von null bis zehn angezeigt.
Perspektiven
Ingenieure sagen, dass das neue Tool zur Entwicklung des Bereichs des maschinellen Lernens beitragen und die Arbeit mit intelligenten Algorithmen transparenter machen wird. Eine Reihe von MO-Spezialisten hat bereits
festgestellt, dass sie mit ATMSeer mehr Vertrauen in die Richtigkeit ihrer AutoML-generierten Modelle haben.
Das neue System wird Unternehmen auch dabei helfen, die Anforderungen der DSGVO zu erfüllen. Allgemeine Datenschutzbestimmungen erfordern Algorithmen für maschinelles Lernen zur Transparenz . Intelligente Systementwickler sollten in der Lage sein, die von den Algorithmen getroffenen Entscheidungen zu erklären. Dies ist erforderlich, damit Benutzer vollständig verstehen können, wie das System ihre persönlichen Daten verarbeitet.
/ Unsplash / Esther JiaoIn Zukunft können Sie erwarten, dass weitere Tools in die Black Box schauen. Beispielsweise arbeiten Ingenieure vom MIT
bereits an einer anderen Lösung. Es wird Medizinstudenten helfen, Geschichtsschreibfähigkeiten zu trainieren.
Neben MIT arbeitet IBM in diesem Bereich. Zusammen mit Kollegen aus Harvard stellten sie das Seq2Seq-Vis-Tool vor. Es
visualisiert den Entscheidungsprozess bei der maschinellen Übersetzung von einer Sprache in eine andere. Das System zeigt, wie jedes Wort in der Quelle und im endgültigen Text mit Beispielen verknüpft ist, an denen das neuronale Netzwerk trainiert wurde. So ist es einfacher festzustellen, ob ein Fehler aufgrund falscher Eingabedaten oder eines Suchalgorithmus aufgetreten ist.
Tools, die Algorithmen für maschinelles Lernen transparenter machen, finden auch bei der Implementierung von Service Desk Anwendung in
ITSM . Die Systeme helfen beim Training intelligenter Chat-Bots und helfen dabei, Situationen zu vermeiden, in denen sie
sich nicht wie beabsichtigt verhalten .
Materialien aus unserem Unternehmensblog:
Und ein Blog über Habré: