Neuronale Netze sind für ihre Unverständlichkeit bekannt - der Computer kann eine gute Antwort geben, aber nicht erklären, was ihn zu dieser Schlussfolgerung geführt hat. Bin Kim entwickelt einen „menschlichen Übersetzer“, damit wir ihn verstehen können, wenn künstliche Intelligenz ausfällt.
Bean Kim, eine Forscherin bei Google Brain, entwickelt eine Möglichkeit, ein maschinelles Lernsystem über ihre Entscheidungen zu befragen.Wenn der Arzt Ihnen sagt, dass Sie operiert werden müssen, möchten Sie herausfinden, warum - und Sie werden erwarten, dass seine Erklärung für Sie von Bedeutung ist, auch wenn Sie nicht als Arzt ausgebildet wurden. Kim, ein Forscher bei Google Brain, glaubt, dass wir dasselbe von künstlicher Intelligenz (KI) erwarten können sollten. Sie ist Spezialistin für „interpretiertes“ maschinelles Lernen (MO) und möchte eine KI erstellen, die jedem ihre Handlungen erklären kann.
Seit vor zehn Jahren verbreitete sich die Technologie der neuronalen Netze hinter der KI immer mehr. Dank der Fähigkeit, aus den Daten zu lernen und nach Mustern in ihnen zu suchen, konnte sie alle Prozesse von der Sortierung von E-Mails bis zur Suche nach neuen Medikamenten transformieren. Diese Fähigkeit hat jedoch einen unerklärlichen Haken: Die Komplexität, die es modernen neuronalen Netzen mit gründlicher Schulung ermöglicht, erfolgreich das Autofahren zu lernen und Betrug mit Versicherungen zu erkennen, macht es Experten fast unmöglich, die Prinzipien ihrer Arbeit zu verstehen. Wenn ein neuronales Netzwerk darauf trainiert ist, nach Patienten mit einem Risiko für Leberkrebs oder Schizophrenie zu suchen - und ein solches System namens
Deep Patient wurde 2015 im Mount Sinai Hospital in New York eingeführt -, gibt es keine Möglichkeit, herauszufinden, welche Datenmerkmale Das neuronale Netzwerk „achtet darauf“. Dieses „Wissen“ verteilt sich auf viele Schichten künstlicher Neuronen, von denen jede Verbindungen zu Hunderten oder Tausenden anderer Neuronen hat.
Da immer mehr Branchen versuchen, ihre Entscheidungsprozesse mithilfe von KI zu automatisieren oder zu verbessern, scheint dieses „Black-Box“ -Problem weniger ein technologischer als vielmehr ein grundlegender Fehler zu sein. Ein Projekt von DARPA namens XAI (Abkürzung für „Explanable AI“, eXplainable AI) untersucht dieses Problem aktiv, und die Interpretierbarkeit rückt von den Forschungslinien im Bereich MO näher an sein Zentrum heran. "Die KI befindet sich in einem kritischen Moment, in dem wir Menschen versuchen herauszufinden, ob diese Technologie für uns geeignet ist", sagt Kim. "Wenn wir das Problem der Interpretierbarkeit nicht lösen, werden wir mit dieser Technologie wahrscheinlich nicht weitermachen können, und vielleicht werden wir sie einfach ablehnen."
Kim und Kollegen von Google Brain haben kürzlich das TCAV-System (Testing with Concept Activation Vectors) entwickelt, das sie als menschliche Übersetzerin beschreibt und mit dem der Benutzer der AI-Blackbox eine Frage stellen kann Inwieweit war ein bestimmtes hochrangiges Konzept an der Entscheidungsfindung beteiligt? Wenn das MO-System beispielsweise darauf trainiert ist, Zebrabilder zu finden, kann eine Person TCAV bitten, zu beschreiben, wie viel das Konzept der „Streifen“ für den Entscheidungsprozess ausmacht.
TCAV wurde ursprünglich an Modellen getestet, die für die Erkennung von Bildern trainiert wurden, funktioniert jedoch auch mit Modellen, die für die Textverarbeitung oder bestimmte Aufgaben der Datenvisualisierung entwickelt wurden, z. B. EEG-Diagramme. "Es ist verallgemeinert und einfach - es kann mit vielen verschiedenen Modellen verbunden werden", sagt Kim.
Quanta sprach mit Kim darüber, was Interpretierbarkeit bedeutet, wer sie braucht und warum sie wichtig ist.
Sie haben sich in Ihrer Karriere auf die „Interpretierbarkeit“ für das MO konzentriert. Aber was genau bedeutet dieser Begriff?Die Interpretierbarkeit hat zwei Zweige. Eine davon ist die Interpretierbarkeit für die Wissenschaft: Wenn Sie das neuronale Netzwerk als Untersuchungsobjekt betrachten, können Sie wissenschaftliche Experimente durchführen, um die Vor- und Nachteile des Modells, die Gründe für seine Reaktion usw. wirklich zu verstehen.
Der zweite Zweig, auf den ich mich hauptsächlich konzentriere, ist die Interpretierbarkeit für die Schaffung einer KI, die Fragen beantworten kann. Sie müssen nicht jedes Detail des Modells verstehen. Unser Ziel ist es jedoch, genug zu verstehen, damit dieses Tool sicher verwendet werden kann.
Aber wie kann man an ein System glauben, wenn man nicht ganz versteht, wie es funktioniert?Ich werde Ihnen eine Analogie geben. Angenommen, in meinem Garten gibt es einen Baum, den ich fällen möchte. Ich habe eine Kettensäge dafür. Ich verstehe nicht genau, wie eine Kettensäge funktioniert. Aber die Anweisungen sagen: "Etwas, mit dem man vorsichtig umgehen muss, um sich nicht zu schneiden." Wenn ich Anweisungen habe, verwende ich besser eine Kettensäge anstelle einer Handsäge - letztere ist leichter zu verstehen, aber ich müsste sie fünf Stunden lang sehen.
Sie verstehen, was es bedeutet, zu „schneiden“, auch wenn Sie nicht alles über den Mechanismus wissen, der dies ermöglicht.Ja Der zweite Zweig der Interpretierbarkeit hat folgenden Zweck: Können wir das Tool so gut verstehen, dass es sicher verwendet werden kann? Und wir können dieses Verständnis schaffen, indem wir bestätigen, dass sich nützliches menschliches Wissen im Instrument widerspiegelt.
Aber wie macht die „Reflexion menschlichen Wissens“ die Black Box der KI verständlicher?Hier ist ein weiteres Beispiel. Wenn der Arzt das MO-Modell verwendet, um eine Krebsdiagnose zu stellen, muss der Arzt wissen, dass das Modell nicht einfach eine zufällige Korrelation in den Daten auswählt, die wir nicht benötigen. Eine Möglichkeit, dies zu überprüfen, besteht darin, zu bestätigen, dass das MO-Modell ungefähr das Gleiche tut, was der Arzt tun würde. Das heißt, um zu zeigen, dass sich das diagnostische Wissen des Arztes im Modell widerspiegelt.
Wenn ein Arzt beispielsweise nach einer geeigneten Zellinstanz für die Krebsdiagnose sucht, sucht er nach etwas, das als „verschmolzene Drüse“ bezeichnet wird. Er wird auch Indikatoren wie das Alter des Patienten und die Frage berücksichtigen, ob er sich in der Vergangenheit einer Chemotherapie unterzogen hat. Diese Faktoren oder Konzepte werden von einem Arzt berücksichtigt, der versucht, Krebs zu diagnostizieren. Wenn wir zeigen können, dass das MO-Modell auch auf sie aufmerksam macht, ist das Modell verständlicher, da es das menschliche Wissen von Ärzten widerspiegelt.
Damit befasst sich TCAV - zeigt, welche übergeordneten Konzepte das MO-Modell für die Entscheidungsfindung verwendet?Ja Zuvor erklärten Interpretierbarkeitsmethoden nur, was das neuronale Netzwerk in Bezug auf „Eingabemerkmale“ tut. Was bedeutet das? Wenn Sie ein Bild haben, ist jedes seiner Pixel eine Eingabefunktion.
Yang Lekun (Pionier des Deep Learning, Direktor für KI-Forschung bei Facebook) sagte, dass er diese Modelle als super interpretierbar betrachte, da Sie jeden Knoten des neuronalen Netzwerks betrachten und die numerischen Werte für jedes der Eingabefunktionen sehen können. Für Computer mag dies geeignet sein, aber die Leute denken anders. Ich sage Ihnen nicht: "Sehen Sie sich Pixel von 100 bis 200 an, deren RGB-Werte 0,2 und 0,3 betragen." Ich sage: "Dies ist ein Bild eines sehr zotteligen Hundes." Menschen kommunizieren auf diese Weise - durch Konzepte.
Wie übersetzt TCAV zwischen Eingabefunktionen und Konzepten?Kehren wir zum Beispiel eines Arztes zurück, der das MO-Modell verwendet, das bereits darauf trainiert wurde, Bilder von Zellproben nach Krebs zu klassifizieren. Als Arzt müssen Sie herausfinden, wie wichtig das Konzept der „verschmolzenen Drüsen“ für das Modell war, um positive Vorhersagen für Krebs zu treffen. Zunächst sammeln Sie beispielsweise 20 Bilder, die Beispiele für verschmolzene Drüsen zeigen. Anschließend verbinden Sie diese beschrifteten Beispiele mit dem Modell.
Dann führt TCAV in sich das sogenannte aus "Empfindlichkeitsprüfung". Wie stark steigt die Wahrscheinlichkeit einer positiven Krebsvorhersage, wenn wir diese markierten Bilder der verschmolzenen Drüsen hinzufügen? Die Antwort kann durch eine Zahl von 0 bis 1 geschätzt werden. Und dies sind Ihre Punkte in TCAV. Wenn die Wahrscheinlichkeit zunahm, war dieses Konzept für das Modell wichtig. Wenn nicht, ist dieses Konzept nicht wichtig.
"Konzept" ist ein vager Begriff. Gibt es Konzepte, die mit TCAV nicht funktionieren?Wenn Sie ein Konzept nicht mit einer Teilmenge Ihres Datensatzes beschreiben können, funktioniert es nicht. Wenn Ihr MO-Modell in Bildern trainiert ist, sollte das Konzept visuell ausgedrückt werden. Wenn ich zum Beispiel das Konzept der Liebe visuell ausdrücken möchte, wird es ziemlich schwierig sein, dies zu tun.
Wir prüfen das Konzept ebenfalls sorgfältig. Wir haben ein statistisches Überprüfungsverfahren, das den Konzeptvektor ablehnt, wenn er einen zufälligen Effekt auf das Modell hat. Wenn Ihr Konzept diesen Test nicht besteht, sagt TCAV: "Ich weiß nicht, dieses Konzept scheint für das Modell nicht wichtig zu sein."
Ist das TCAV-Projekt mehr auf den Aufbau von KI-Vertrauen ausgerichtet als auf die Verallgemeinerung seines Verständnisses?Nein, - und ich werde erklären, warum, da dieser Unterschied sehr subtil ist.
Aus vielen Studien auf dem Gebiet der Kognitionswissenschaft und Psychologie wissen wir, dass die Menschen sehr vertrauensvoll sind. Dies bedeutet, dass es sehr leicht ist, einen Menschen zu täuschen, indem man ihn zwingt, an etwas zu glauben. Das Ziel der MO-Interpretierbarkeit ist das Gegenteil. Es besteht darin, eine Person darüber zu informieren, dass die Verwendung eines bestimmten Systems nicht sicher ist. Das Ziel ist es, die Wahrheit aufzudecken. Daher ist „Vertrauen“ nicht das richtige Wort.
Das Ziel der Interpretierbarkeit ist es also, potenzielle Fehler in der KI-Argumentation aufzudecken?Ja genau.
Wie kann sie die Mängel aufdecken?TCAV kann verwendet werden, um dem Modell eine Frage zu Konzepten zu stellen, die nicht mit dem Forschungsbereich zusammenhängen. Zurück zum Beispiel von Ärzten, die KI verwenden, um die Wahrscheinlichkeit von Krebs vorherzusagen. Ärzte könnten plötzlich denken: „Anscheinend gibt die Maschine für viele Bilder, bei denen die Farbe leicht nach blau verschoben ist, positive Vorhersagen für das Vorhandensein von Krebs. Wir glauben, dass dieser Faktor nicht berücksichtigt werden sollte. “ Und wenn sie einen hohen TCAV-Wert für Blau erhalten, bedeutet dies, dass sie ein Problem in ihrem MO-Modell gefunden haben.
TCAV kann an vorhandene KI-Systeme gehängt werden, die nicht interpretiert werden können. Warum nicht sofort interpretierte Systeme anstelle von Black Boxes erstellen?Es gibt einen Zweig der Studie zur Interpretierbarkeit, der sich auf die Erstellung ursprünglich interpretierter Modelle konzentriert, die die Argumentation einer Person widerspiegeln. Aber ich denke schon: Jetzt sind wir bereits voll mit vorgefertigten KI-Modellen, die bereits zur Lösung wichtiger Probleme verwendet werden, und bei der Erstellung haben wir zunächst nicht an Interpretierbarkeit gedacht. So einfach zu essen. Viele von ihnen arbeiten bei Google! Sie können sagen: "Die Interpretierbarkeit ist so nützlich, dass wir ein anderes Modell für Sie erstellen können, um das zu ersetzen, das Sie haben." Nun, viel Glück.
Und was dann tun? Wir müssen diesen entscheidenden Moment noch durchlaufen, um zu entscheiden, ob diese Technologie für uns nützlich ist oder nicht. Daher arbeite ich an Interpretierbarkeitsmethoden nach dem Training. Wenn Ihnen jemand ein Modell gegeben hat und Sie es nicht ändern können, wie gehen Sie dann mit der Aufgabe um, Erklärungen zu seinem Verhalten zu generieren, damit Sie es sicher verwenden können? Genau das macht TCAV.
Mit TCAV können Menschen AI nach der Wichtigkeit bestimmter Konzepte fragen. Aber was ist, wenn wir nicht wissen, was wir fragen sollen - was ist, wenn wir möchten, dass die KI es nur erklärt?Derzeit arbeiten wir an einem Projekt, das automatisch Konzepte für Sie findet. Wir nennen es DTCAV - das Eröffnungs-TCAV. Ich denke jedoch, dass das Hauptproblem der Interpretierbarkeit darin besteht, dass Menschen an diesem Prozess teilnehmen und dass wir Menschen und Maschinen die Kommunikation ermöglichen.
In vielen Fällen verfügen Experten auf einem bestimmten Gebiet bereits über eine Liste von Konzepten, die für sie wichtig sind, wenn sie mit Anwendungen arbeiten, von denen viel abhängt. Wir bei Google Brain sind in den medizinischen Anwendungen der KI ständig damit konfrontiert. Sie benötigen keine Reihe von Konzepten - sie möchten Konzeptmodelle bereitstellen, die für sie interessant sind. Wir arbeiten mit einem Arzt zusammen, der diabetische Retinopathie und Augenkrankheiten behandelt, und als wir ihr von TCAV erzählten, war sie sehr glücklich, weil sie bereits eine ganze Reihe von Hypothesen darüber hatte, was das Modell tun kann, und jetzt kann sie alle auftretenden Fragen überprüfen. Dies ist ein großes Plus und eine sehr benutzerorientierte Möglichkeit, kollaboratives maschinelles Lernen zu implementieren.
Sie denken, dass die Menschheit ohne Interpretierbarkeit die KI-Technologie einfach aufgeben kann. Bewerten Sie eine solche Option angesichts der sich bietenden Möglichkeiten wirklich als real?Ja Genau das ist mit Expertensystemen passiert. In den 1980er Jahren haben wir festgestellt, dass sie bei der Lösung einiger Probleme billiger sind als Menschen. Und wer nutzt heute Expertensysteme? Niemand. Und danach kam der KI-Winter.
Bisher scheint dies nicht wahrscheinlich, da so viel Hype und Geld in KI investiert wird. Aber auf lange Sicht denke ich, dass die Menschheit - vielleicht aus Angst, vielleicht aus Mangel an Beweisen - entscheiden kann, dass diese Technologie nicht zu uns passt. Das ist möglich.