Künstliche Intelligenz (KI) entwickelt sich rasant vom Science-Fiction-Bereich zum Alltag. Moderne Geräte erkennen die menschliche Sprache, können Fragen beantworten und maschinelle Übersetzungen durchführen. In einer Vielzahl von Bereichen, vom Fahren eines unbemannten Fahrzeugs bis zur Diagnose von Krebs, werden AI-basierte Objekterkennungsalgorithmen verwendet, die den menschlichen Fähigkeiten überlegen sind. Große Medienunternehmen nutzen den Roboterjournalismus, um aus den gesammelten Daten urheberrechtlich ähnliche Artikel zu erstellen. AI ist offensichtlich bereit, eine wirklich universelle Technologie wie Elektrizität zu werden.
Welche Ansätze und Technologien gelten als die erfolgversprechendsten? Welche wichtigen Entdeckungen sind in den kommenden Jahren möglich? Ist es möglich, eine wirklich denkende Maschine oder KI zu erschaffen, die mit der menschlichen vergleichbar ist, und wie schnell? Welche Risiken und Bedrohungen sind mit KI verbunden und wie können sie vermieden werden? Verursacht die KI ein Chaos in der Wirtschaft und auf dem Arbeitsmarkt? Werden superintelligente Maschinen außer Kontrolle geraten und zu einer echten Bedrohung?
Natürlich ist es unmöglich, die Zukunft vorherzusagen. Dennoch wissen Experten mehr über den aktuellen Stand der Technik sowie über Innovationen in naher Zukunft als jeder andere. Sie werden brillante Begegnungen mit so anerkannten Personen wie R. Kurzweil, D. Hassabis, J. Hinton, R. Brooks und vielen anderen haben.
Yan Lekun
VICE PRÄSIDENT UND GRÜNDER DES AI RESEARCH LABORATORY BEI FACEBOOK (FAIR), COMPUTER SCIENCE PROFESSOR AN DER NEW YORK UNIVERSITY
Ian Lekun gehört zusammen mit Jeffrey Hinton und Joshua Benjio zu einer Gruppe von Forschern, deren Bemühungen und Beharrlichkeit zur gegenwärtigen Revolution in Bezug auf neuronale Netze und tiefes Lernen geführt haben. Während seiner Arbeit bei Bell Labs erfand er faltungsbedingte neuronale Netze. Er erhielt ein Diplom als Elektroingenieur in Paris von der ESIEE und einen Doktortitel in Informatik von der Universität Pierre und Marie Curie. Nach seinem Abschluss arbeitete er am Jeffrey Hinton Laboratory der University of Toronto.Martin Ford: Die Explosion des Interesses am Deep Learning in den letzten 10 Jahren ist eine Folge der gleichzeitigen Verbesserung neuronaler Netze, der Steigerung der Leistungsfähigkeit von Computern und der verfügbaren Datenmenge?
Yang Lekun: Ja, aber der Prozess war bewusster. Erschien 1986–87. Der Backpropagation-Algorithmus ermöglichte das Trainieren mehrschichtiger neuronaler Netze. Dies löste eine Welle des Interesses aus, die bis 1995 andauerte. Im Jahr 2003 hatten Jeffrey Hinton, Joshua Benggio und ich den Plan, das Interesse der Community an diesen Methoden zu erneuern, da sie von ihrem bevorstehenden Sieg überzeugt waren. Wir können also sagen, dass es eine absichtliche Verschwörung gab.
M.F .: Hast du schon alle Perspektiven verstanden? KI und tiefes Lernen werden jetzt synonym betrachtet.
I. L .: Ja und nein. Wir wussten, dass Methoden die Grundlage für Computer Vision, Spracherkennung und möglicherweise ein paar andere Dinge bilden würden, aber niemand erwartete, dass sie das Verständnis der natürlichen Sprache, der Robotik und der Analyse der medizinischen Bildgebung erweitern und sogar zur Entstehung unbemannter Fahrzeuge beitragen würden. In den frühen neunziger Jahren. Ich dachte, dass die Bewegung zu diesen Dingen reibungsloser sein würde und sie etwas früher erscheinen würden. Wir haben auf die Revolution gewartet, die um 2013 stattgefunden hat.
M.F .: Und wie kam es zu Ihrem Interesse an KI und maschinellem Lernen?
Y. L .: Von Kindheit an interessierte ich mich für Wissenschaft, Technologie und globale Fragen über den Ursprung des Lebens, die Intelligenz und den Ursprung der Menschheit. Die Idee der KI faszinierte mich. Aber in den 1960er und 1970er Jahren. in frankreich hat das niemand gemacht, also bin ich nach der schule zum ingenieur gegangen.
1980 hat mir das Buch über die Philosophie des Lernens und der Sprache sehr gut gefallen: Die Debatte zwischen Jean Piaget und Noam Chomsky ("Sprache und Lernen: Eine Diskussion zwischen Jean Piaget und Noam Chomsky"), in dem der Schöpfer der Theorie der kognitiven Entwicklung und der Linguist Natur und Bildung diskutierten sowie die Entstehung von Sprache und Intelligenz.
Neben Piaget sprach MIT-Professor Seymour Peypert Ende der 1960er Jahre über die Ursprünge des maschinellen Lernens. tatsächlich dazu beigetragen, die Arbeit mit neuronalen Netzen einzustellen. Und jetzt, nach 10 Jahren, pries er das sogenannte Perzeptron - ein sehr einfaches Modell des maschinellen Lernens, das in den 1950er Jahren aufkam. und an denen er in den 1960er Jahren arbeitete. Ich habe mich also zum ersten Mal mit dem Konzept des maschinellen Lernens vertraut gemacht und war absolut fasziniert davon. Die Fähigkeit zu lernen betrachtete ich als einen integralen Bestandteil der Intelligenz.
Als Student las ich alles, was ich zum maschinellen Lernen finden konnte, und führte mehrere Projekte zu diesem Thema durch. Es stellte sich heraus, dass im Westen niemand mit neuronalen Netzen arbeitet. Einige japanische Forscher arbeiteten an dem, was später als dieser Begriff bekannt wurde. In unserem Land war dieses Thema für niemanden von Interesse, auch aufgrund dessen, was in den späten 1960er Jahren auftrat. Bücher von Peypert und Minsky.
Ich begann selbständig zu forschen und verteidigte 1987 meine Doktorarbeit Modeles connexionnistes de l'apprentissage ("Connectionist learning models"). Mein Manager Maurice Milgram hat sich nicht mit diesem Thema befasst und mir direkt gesagt, dass er offiziell mein Berater werden kann, aber er kann mir technisch nicht helfen.
In den frühen 1980er Jahren Ich entdeckte eine Gemeinschaft von Menschen, die an neuronalen Netzen arbeiteten und mit ihnen Kontakt aufnahmen. Parallel zu David Rumelhart und Jeffrey Hinton entdeckte ich so etwas wie die Methode der Rückübertragung von Fehlern.
M.F .: Das heißt, in den frühen 1980er Jahren. In Kanada gab es zahlreiche Studien in diesem Bereich?
Y. L .: Nein, alles ist in den USA passiert. In Kanada wurden solche Studien noch nicht durchgeführt. In den frühen 1980er Jahren Jeffrey Hinton war Angestellter an der University of California in San Diego, wo er mit Kognitionspsychologen wie David Rumelhart und James McClelland zusammenarbeitete. Als Ergebnis erschien ein Buch, das die Psychologie mit Hilfe einfacher neuronaler Netze und Computermodelle erklärte. Anschließend wurde Jeffrey Assistant Professor an der Carnegie Mellon University. Er ist erst 1987 nach Toronto gezogen. Dann bin ich nach Toronto gezogen und habe ein Jahr in seinem Labor gearbeitet.
M.F .: In den frühen 1980er Jahren. Ich war Informatikstudent und kann mich nicht erinnern, dass irgendwo neuronale Netze verwendet wurden. Jetzt hat sich die Situation dramatisch geändert.
Y. L .: Neuronale Netze stehen nicht nur am Rande der Wissenschaft. In den 1970er Jahren und Anfang der 1980er Jahre. Sie waren tatsächlich anathematisiert. Artikel wurden wegen einer Erwähnung neuronaler Netze abgelehnt.
Der bekannte Artikel Optimal Perceptual Inference, der 1983 von Jeffrey Hinton und Terry Seinowski veröffentlicht wurde. Um darin eines der ersten Modelle des Deep Learning und des neuronalen Netzwerks zu beschreiben, verwendeten sie Codewörter, sogar im Namen.
M.F .: Sie sind als Autor eines Faltungsnetzwerks bekannt. Bitte erklären Sie, was es ist?
Y. L .: Ursprünglich wurde dieses neuronale Netzwerk für die Erkennung von Objekten in Bildern optimiert. Es stellte sich jedoch heraus, dass es auf eine Vielzahl von Aufgaben angewendet werden kann, wie zum Beispiel Spracherkennung und maschinelle Übersetzung. Die Idee zu seiner Schaffung wurde von den Merkmalen des visuellen Kortex des Gehirns von Tieren und Menschen getragen, die in den 1950er und 60er Jahren untersucht wurden. David Hubel und Thorsten Wiesel, die später den Nobelpreis für Neurobiologie erhielten.
Das Faltungsnetzwerk ist eine spezielle Art, Neuronen zu verbinden, die keine exakte Kopie biologischer Neuronen sind. In der ersten Schicht - der Faltungsschicht - wird jedem Neuron eine kleine Anzahl von Bildpunkten zugeordnet und die gewichtete Summe seiner Eingangsdaten berechnet. Während des Trainings ändern sich die Gewichte. Gruppen von Neuronen sehen kleine Bereiche des Bildes. Wenn ein Neuron ein bestimmtes Merkmal in einem Bereich erkennt, erkennt ein anderes Neuron genau dasselbe Merkmal im angrenzenden Bereich und alle anderen Neuronen in den übrigen Bereichen des Bildes. Die mathematische Operation, die Neuronen zusammen ausführen, wird als diskrete Faltung bezeichnet. Daher der Name.
Dann kommt die nichtlineare Schicht, in der jedes Neuron ein- oder ausgeschaltet wird, je nachdem, ob die von der Faltungsschicht berechnete gewichtete Summe höher oder niedriger als der angegebene Schwellenwert ist. Schließlich führt die dritte Schicht einen Downsampling-Vorgang durch, um sicherzustellen, dass eine leichte Vorspannung oder Verformung des Eingabebildes die Ausgabe nicht stark verändert. Dies bietet Unabhängigkeit von Verformungen des Eingabebildes.
Tatsächlich ist ein Faltungsnetzwerk ein Stapel, der aus Schichten von Faltung, Nichtlinearität und Unterabtastung organisiert ist. Wenn sie gefaltet sind, erscheinen Neuronen, die Objekte erkennen. Zum Beispiel ein Neuron, das sich einschaltet, wenn sich das Pferd auf dem Bild befindet, ein anderes Neuron für Autos, ein drittes für Menschen usw. für alle Kategorien, die Sie benötigen.
Darüber hinaus wird die Aktivität des neuronalen Netzwerks durch die Stärke der Verbindungen zwischen Neuronen, dh die Gewichte, bestimmt. Und diese Gewichte sind nicht programmiert, sondern das Ergebnis des Trainings.
Das Bild des Pferdes wird dem Netzwerk angezeigt, und wenn es nicht auf "Pferd" antwortet, wird es darüber informiert, dass dies falsch ist, und mit der richtigen Antwort aufgefordert. Anschließend passt das Netzwerk mithilfe des Algorithmus zur Fehlerrückübertragung die Gewichte aller Verbindungen an, sodass das Ergebnis beim nächsten Anzeigen desselben Bilds näher am gewünschten liegt. Gleichzeitig muss man ihr Tausende von Bildern zeigen.
M. F .: Unterrichtet das mit einem Lehrer? Soweit ich weiß, ist dies der vorherrschende Ansatz.
Y. L .: Genau. Fast alle modernen Deep-Learning-Anwendungen nutzen die Lehrerausbildung. Die Magie besteht darin, dass das trainierte Netzwerk selbst für Bilder, denen es zuvor noch nicht gezeigt wurde, zum größten Teil die richtigen Antworten gibt. Aber es braucht eine Vielzahl von Beispielen.
M.F .: Und was ist in Zukunft zu erwarten? Wird es möglich sein, ein Auto als Kind zu unterrichten, das eine Katze nur einmal zeigen und benennen muss?
I. L .: Eigentlich hast du nicht ganz recht. Die ersten Faltungsschulungen finden wirklich mit Millionen von Bildern verschiedener Kategorien statt. Und wenn Sie dann eine neue Kategorie hinzufügen müssen, um beispielsweise einem Computer das Erkennen von Katzen beizubringen, sind einige Beispiele ausreichend. Schließlich ist das Netzwerk bereits darauf trainiert, Objekte nahezu aller Art zu erkennen. Ergänzungen zum Training beziehen sich auf ein Paar Oberschichten.
MF: Es sieht schon so aus, als würden Kinder lernen.
Y. L .: Nein, das ist leider überhaupt nicht so. Kinder erhalten die meisten Informationen, bevor ihnen jemand sagt: "Dies ist eine Katze." In den ersten Lebensmonaten lernen Kinder ohne eine Ahnung von der Sprache. Sie erkennen die Struktur der Welt, indem sie einfach die Welt beobachten und ein wenig damit interagieren. Diese Art der Wissensakkumulation steht Maschinen nicht zur Verfügung. Wie man es nennt, ist nicht klar. Einige verwenden den provokativen Begriff „lehrerlosen Unterricht“. Dies wird manchmal als vorausschauendes oder induktives Training bezeichnet. Ich nenne es Selbststudium. Wenn Sie diesen Typ trainieren, müssen Sie sich nicht auf die Ausführung einer Aufgabe vorbereiten, sondern lediglich die Welt und ihre Funktionsweise beobachten.
M.F .: Fällt verstärktes Lernen in diese Kategorie?
Y. L .: Nein, das ist eine ganz andere Kategorie. Tatsächlich gibt es drei Hauptkategorien: verstärktes Lernen, Lehrerausbildung und Selbstlernen.
Das Training mit Verstärkung erfolgt durch Ausprobieren und eignet sich gut für Spiele, in denen Sie so viele Versuche machen können, wie Sie möchten. Die gute Leistung von AlphaGo wurde erreicht, nachdem die Maschine in den letzten dreitausend Jahren mehr Spiele als die gesamte Menschheit gespielt hatte. Für Probleme aus der realen Welt ist ein solcher Ansatz unpraktisch.
Eine Person kann in 15 Stunden Autofahren lernen, ohne gegen irgendetwas zu stoßen. Wenn Sie die vorhandenen Trainingsmethoden mit Verstärkungen anwenden, muss das Auto, um zu lernen, wie man ohne Fahrer fährt, zehntausend Mal von einer Klippe fallen, bevor es versteht, dies zu vermeiden.
M.F .: Es scheint mir, dass dies ein Argument für die Modellierung ist.
Y. L .: Es ist vielmehr eine Bestätigung dafür, dass sich die Art der Schulung, die die Menschen absolvieren, stark vom verstärkten Lernen unterscheidet. Dies ähnelt dem modellbasierten Verstärkungstraining. Immerhin hat ein Mensch, der zum ersten Mal fährt, ein Modell der Welt und kann die Konsequenzen seines Handelns vorhersagen. Das Hauptproblem ist, wie die Maschine dazu gebracht werden kann, Prognosemodelle unabhängig zu untersuchen.
M.F .: Geht es Ihnen bei Ihrer Arbeit mit Facebook darum?
I. L .: Ja, das ist eines der Dinge, an denen wir arbeiten. Wir schulen die Maschine auch, um verschiedene Datenquellen zu beobachten. Wir bauen ein Modell der Welt auf, in der Hoffnung, dass der gesunde Menschenverstand darin zum Ausdruck kommt, damit es später als Prognosemodell verwendet werden kann.
M.F .: Einige Leute denken, dass tiefes Lernen allein nicht ausreicht, und in den Netzwerken sollte es zunächst eine Struktur geben, die für Intelligenz verantwortlich ist. Und Sie scheinen überzeugt zu sein, dass Intelligenz aus relativ universellen neuronalen Netzen organisch hervorgehen kann.
Y. L .: Sie übertreiben. Alle sind mit der Notwendigkeit der Struktur einverstanden, die Frage ist, wie sie aussehen soll. Und wenn Sie von Menschen sprechen, die glauben, dass es Strukturen geben sollte, die logisches Denken und die Fähigkeit zu argumentieren bieten, dann meinen Sie wahrscheinlich Gary Marcus und möglicherweise Oren Etzioni. Wir haben uns heute Morgen mit Gary über dieses Thema gestritten. Seine Meinung wird in der Gemeinde nicht gut aufgenommen, weil er, ohne den geringsten Beitrag zum tiefen Lernen zu leisten, kritisch darüber schrieb. Oren hat einige Zeit in diesem Bereich gearbeitet und spricht gleichzeitig viel leiser.
Tatsächlich entstand die Idee von Faltungsnetzen als Versuch, neuronalen Netzen Struktur zu verleihen. Die Frage ist: Wie kann die Maschine Zeichen manipulieren oder zum Beispiel den hierarchischen Merkmalen der Sprache entsprechen?
Viele meiner Kollegen, darunter Jeffrey Hinton und Joshua Benggio, sind sich einig, dass wir früher oder später auf Strukturen verzichten können. Sie können kurzfristig nützlich sein, da ein Weg des Selbstlernens noch nicht erfunden wurde. Dieser Punkt kann umgangen werden, indem alles mit der Architektur verknüpft wird. Die Mikrostruktur des Kortex, sowohl visuell als auch präfrontal, scheint jedoch vollkommen homogen zu sein.
M.F .: Verwendet das Gehirn etwas Ähnliches wie die Fehlerausbreitungsmethode?
I. L .: Das ist unbekannt. Es kann sich herausstellen, dass dies nicht die Rückausbreitung in der Form ist, wie wir sie kennen, sondern eine ähnliche Form der Approximation der Gradientenschätzung. Joshua Benggio hat sich mit biologisch plausiblen Formen der Gradientenschätzung beschäftigt. Es besteht die Möglichkeit, dass das Gehirn den Gradienten einer Zielfunktion abschätzt.
M.F .: An welchen anderen wichtigen Dingen wird bei Facebook gearbeitet?
Y. L .: Wir beschäftigen uns sowohl mit Grundlagenforschung als auch mit Fragen des maschinellen Lernens. Daher beschäftigen wir uns hauptsächlich mit angewandter Mathematik und Optimierung. Es wird an verstärktem Lernen und den sogenannten generativen Mustern gearbeitet, die eine Form des Selbstlernens oder des vorausschauenden Lernens sind.
MF: Entwickelt Facebook Systeme, die eine Unterhaltung aufrechterhalten können?
Y. L .: Ich habe oben die grundlegenden Forschungsthemen aufgelistet, aber es gibt auch viele Anwendungsbereiche. Facebook entwickelt aktiv Entwicklungen im Bereich Computer Vision, und es kann argumentiert werden, dass wir die beste Forschungsgruppe der Welt haben. Wir arbeiten viel an der Textverarbeitung in einer natürlichen Sprache. Dies umfasst Übersetzung, Generalisierung, Kategorisierung (Herausfinden, welches Thema diskutiert wird) und Dialogsysteme für virtuelle Assistenten, Frage- und Antwortsysteme usw.
M.F .: Glauben Sie, dass es eines Tages eine KI geben wird, die den Turing-Test bestehen kann?
I. L .: Irgendwann wird das passieren, aber ich halte den Turing-Test nicht für ein gutes Kriterium: Es ist leicht zu täuschen und etwas veraltet. Viele vergessen oder weigern sich zu glauben, dass Sprache ein sekundäres Phänomen in Bezug auf Intelligenz ist.
»Weitere Informationen zum Buch finden Sie auf
der Website des Herausgebers»
Inhalt»
Auszug25% Rabatt-Gutschein für Händler -
Intelligence ArchitectsNach Bezahlung der Papierversion des Buches wird ein elektronisches Buch per E-Mail verschickt.