Während Bots nicht wie Menschen sprechen können. Facebook-KI-Forscher dringen jedoch bereits aktiv in diesen Bereich ein. Dies kann nicht nur die Boten des Unternehmens ernsthaft beeinträchtigen
Chatbots waren 2015 ein sehr beliebtes Thema. Eines der beliebtesten war M von Facebook, das nach den Plänen des Unternehmens ein flexibler Allzweckbot werden sollte, der viele Dinge kann - Waren bestellen, Geschenke liefern, Tische in einem Restaurant reservieren und Reisen planen. Der Hype war jedoch zu laut für das Ergebnis. Als Facebook sein M für 2500 Personen aus der San Francisco Bay Area testete, konnte das Programm die meisten ihm zugewiesenen Aufgaben nicht bewältigen.
Nach dem ersten Enthusiasmus gegenüber M und anderen Chatbots (Microsoft Director Satya Nadella
erklärte allgemein
, dass „Chatbots neue Anwendungen sind“) folgte eine Welle von
Enttäuschungen . Chatbots plauderten schlecht und schwärmten für Roboter. Dies liegt daran, dass ihnen beigebracht wurde, über sehr enge Themen zu sprechen und sehr spezifische Aufgaben auszuführen. Sie waren nicht in der Lage, ein natürliches Gespräch mit Menschen zu führen und Antworten zu geben, die auf einem Verständnis der Wörter und ihrer Bedeutung beruhten. Sie konnten nur allgemeine Bemerkungen machen.
Noch bevor M in die Beta-Testphase eintrat, reduzierte Facebook seine großartigen Pläne für diesen Bot, obwohl teilweise natürliche Sprachtechnologie in die weniger ehrgeizigen Chatbots des Facebook Messenger Messenger fiel, die einfache Einzelaufgaben ausführen konnten, z. B. eine Bestellung für Lebensmittel entgegennehmen oder eine Antwort von der Liste geben Fragen und Antworten. Unternehmen wie American Express und 1-800-FLOWERS verwenden immer noch ähnliche einfache Chatbots, um Benutzerfragen zu beantworten, um Support zu leisten, einfache Bestellungen anzunehmen und Informationen über ihren persönlichen Kontostand herauszugeben. Viele werden Sie immer noch zu einer Person wechseln, wenn Sie eine Frage stellen, die außerhalb ihrer begrenzten Kompetenz liegt.
Das AI AI-Forschungsteam hat jedoch bereits Projekte wie einfache Chatbots vorangetrieben. "In den letzten drei bis vier Jahren haben wir gesagt, dass wir nicht den Weg gehen werden, Dialoge zu studieren, um ein bestimmtes Ziel zu erreichen - dies ist eine zu schwierige Aufgabe mit zu hohen Einsätzen", sagte mir Antoine Borde, ein Forscher für natürliche Sprache von Facebook. Wenn ein Reise-Chatbot „das falsche Flugzeug, den falschen Flug reserviert, ist dies ein sehr großer Fehler in Bezug auf Geld, Reisen usw.“, sagt er.
Anstatt sich auf die Mechanik bestimmter Aufgaben zu konzentrieren, macht Facebook laut Borde einen Schritt zurück zu einer tieferen Aufgabe - virtuelle Agenten zu schulen, um wie Menschen zu kommunizieren. Wenn Chatbots Menschen besser verstehen und mit ihnen sprechen können, werden sie, wie vom Unternehmen konzipiert, schließlich zu den besten Assistenten, die Menschen bei der Durchführung praktischer Aufgaben wie der Reservierung derselben Tickets unterstützen können.
Facebook investiert aktiv in diese Entwicklungen und stellt die besten KI-Experten für natürliche Sprachen ein. Das Unternehmen weist darauf hin, dass es im Gegensatz zu anderen Technologie-Giganten die Ergebnisse der KI-Forschung online für die gesamte Forschungsgemeinschaft verfügbar macht, in der Hoffnung, dass es anderen Menschen helfen wird, eine neue Generation von KI zu schaffen. Aber diese Forschung wird natürlich in ihre eigenen Produkte fallen.
Boten wie Messenger und WhatsApp (Facebook versteht immer noch nicht, wie man letztere monetarisiert) scheinen ein natürlicher Anwendungsbereich für diese Entwicklungen zu sein. Zuckerberg spricht über die Ideen des Unternehmens, sich auf die private Kommunikation zu konzentrieren. Daher müssen Messenger und WhatsApp neue Funktionen hinzufügen, um anderen ähnlichen Plattformen, insbesondere WeChat, Telegram und Apple iMessage, keinen Vorrang einzuräumen.
Die Erstellung eines Algorithmus, der ein kostenloses Gespräch mit einer Person unterstützen kann, ist zu einem Hauptziel von Technologieunternehmen geworden. Amazon, Google und Microsoft setzen gemeinsam mit Facebook auf die Möglichkeit menschlicher Kommunikation - und zwar nicht nur über Textnachrichten, sondern auch mithilfe von Sprachassistenten und auf andere Weise. Dank jüngster Forschungen ist der Weg zur Schaffung eines wirklich kommunikationsfähigen Computers plötzlich klarer geworden - die Medaille für den ersten Platz wartet jedoch immer noch auf ihren Gewinner.
Mit anderen Worten, Facebooks Forschung in natürlicher Sprache geht weit über die bloße Wiederbelebung von M oder die Verbesserung von Chatbots in Messenger hinaus. Es ist mit der Zukunft des gesamten Unternehmens verbunden.
Einführung in das neuronale Netz
Die Schaffung eines digitalen Agenten, der in der Lage ist, ein glaubwürdiges Gespräch mit einer Person zu führen, ist wahrscheinlich die schwierigste aller Aufgaben im Bereich der Verarbeitung natürlicher Sprache. Die Maschine muss ein Wörterbuch voller Wörter mit ihren Verwendungsbeispielen und Nuancen lernen und sie dann in der Live-Kommunikation mit einer unvorhersehbaren Person verwenden.
Erst in den letzten Jahren hat die KI-Community in natürlicher Sprache begonnen, große Schritte zur Schaffung eines allgemeinen Bots zu unternehmen. Dies geschah insbesondere aufgrund von Durchbrüchen auf dem Gebiet der neuronalen Netze - Algorithmen für maschinelles Lernen, die Muster durch die Analyse einer großen Datenmenge erkennen.
Während des größten Teils der Geschichte der KI haben die Menschen das Programm beobachtet, während es dem maschinellen Lernprozess folgt. In einer Technologie namens „Lehren mit einem Lehrer“ trainiert eine Person langsam ein neuronales Netzwerk, gibt die richtigen Antworten auf Probleme und passt den Algorithmus dann so an, dass dieselbe Lösung erreicht wird.
Das Unterrichten mit einem Lehrer funktioniert gut, wenn eine große Menge sorgfältig markierter Daten vorhanden ist - beispielsweise Fotos von Katzen, Hunden oder anderen Objekten. In der Welt der Chatbots funktioniert dieser Ansatz jedoch häufig nicht. Es ist schwierig, eine große Anzahl (Tausende von Stunden) gekennzeichneter Gespräche von Person zu Person zu finden, und die Erstellung eines solchen Datenvolumens von einem Unternehmen ist sehr teuer.
Da es schwierig ist, Chatbots das Sprechen mit alten Methoden beizubringen, suchen Forscher nach Alternativen zum Lernen mit einem Lehrer, damit neuronale Netze ohne menschliches Eingreifen auf der Grundlage von Daten selbst lernen können.
Eine Möglichkeit, die Notwendigkeit von Trainingsdaten zu beseitigen, besteht darin, die Maschine auf einer grundlegenden Ebene im gesunden Menschenverstand zu trainieren. Wenn ein Computer die Welt um ihn herum verstehen kann - zum Beispiel die relative Größe von Objekten, wie Menschen sie verwenden, bestimmte Konzepte über die Auswirkung der Gesetze der Physik auf sie -, wird er wahrscheinlich in der Lage sein, die Vielfalt der Optionen einzugrenzen, wobei nur die realen möglich bleiben.
Menschen tun dies auf natürliche Weise. Nehmen wir zum Beispiel an, Sie fahren in der Nähe einer steilen Klippe und sehen plötzlich einen großen Felsbrocken auf der Straße. Sie müssen eine Kollision mit ihm vermeiden. Bei der Auswahl von Optionen ist es jedoch unwahrscheinlich, dass Sie sich scharf zur Klippe wenden. Sie wissen, dass ein Auto aufgrund der Schwerkraft auf Steine fällt.
Yan Lekun"Beim menschlichen Lernen geht es
hauptsächlich darum , die Welt um uns herum zu beobachten", sagte
Jan Lekun , Vizepräsident und Chef-KI-Spezialist bei Facebook, einer KI-Legende, die seit den 1980er Jahren an den schwierigsten Themen arbeitet. "Wir lernen viel von Eltern und anderen Menschen, aber nur aus der Interaktion mit der Welt, dem Versuch, etwas zu tun, dem Scheitern und der Anpassung unseres Verhaltens."
KI, die mit einer solchen Technologie namens „Lehrerloses Lernen“ trainiert wurde, funktioniert auf ähnliche Weise. Zum Beispiel sammelt ein Robomobil mit vielen Sensoren und Kameras Daten über die Welt, wie ein Kind, das die Welt mit Hilfe von fünf Sinnen studiert. Mit diesem Ansatz stellen Wissenschaftler der Maschine eine große Menge an Trainingsdaten zur Verfügung. Sie bitten sie nicht, die richtige Antwort zu geben und sie nicht zu einem bestimmten Ziel zu drängen. Sie bitten sie nur, die Daten zu verarbeiten und daraus zu lernen, Muster zu finden und Beziehungen zwischen verschiedenen Punkten in den Daten aufzubauen.
In vielen Fällen sind die erforderlichen Daten schwer zu finden. Es gibt jedoch einen solchen Bereich der KI, in dem ein neuronales Netzwerk ohne Sensoren viel über die Welt lernen kann: die Verarbeitung natürlicher Sprache. Forscher können die Unmengen vorhandener Texte verwenden, um Algorithmen dabei zu helfen, die menschliche Welt zu verstehen, was ein notwendiger Teil der Aufgabe ist, eine Sprache zu verstehen.
Angenommen, ein neuronales Netzwerk hat die folgenden Sätze zur Reflexion erhalten:
Der Preis passte nicht in den Koffer, weil er zu groß ist.
Der Preis passte nicht in den Koffer, weil er zu klein ist.
Um zu verstehen, dass sich das Wort „er“ in jedem der Sätze auf verschiedene Objekte bezieht, müssen Modelle die Eigenschaften realer Objekte und ihre Beziehungen verstehen. „Der Text, auf dem sie trainiert werden, enthält genügend Struktur, um zu verstehen, dass, wenn Sie ein Objekt haben, das in ein anderes passt, eines möglicherweise nicht in das andere passt, wenn es zu groß ist“, sagt Lekun.
Diese Technik könnte der Schlüssel zu einer neuen Generation nützlicherer und geselligerer Facebook-Chatbots sein.
Treffen Sie BERT und RoBERTa
Die laufenden Durchbrüche beim lehrerlosen Lernen für Systeme zur Verarbeitung natürlicher Sprache begannen 2018 bei Google. Die Forscher des Unternehmens erstellten ein Deep-Learning-Modell BERT (das Transformatoren mit bidirektionaler Codierung darstellt) und gaben ihm einen Text ohne Tags mit 11038 Büchern und 2,5 Milliarden Wörtern aus der englischsprachigen Wikipedia. Die Forscher entfernten zufällig bestimmte Wörter aus Texten und stellten das Modell so ein, dass ein fehlendes Wort eingefügt wurde.
Nach der Analyse des gesamten Textes fand das neuronale Netzwerk Muster aus Wörtern und Sätzen, die oft im selben Kontext auftraten, was ihr half, die grundlegenden Beziehungen zwischen Wörtern zu verstehen. Da Wörter Darstellungen von Objekten oder Konzepten der realen Welt sind, hat das Modell mehr als nur die sprachlichen Beziehungen zwischen Wörtern gelernt: Es begann zu verstehen, wie Objekte miteinander in Beziehung stehen.
BERT war nicht das erste Modell, das lehrerloses Lernen einsetzte, um die menschliche Sprache zu verstehen. Aber sie war die erste, die die Bedeutung des Wortes in seinem Kontext lernte.
"Ich würde sagen, dass dieses Projekt zu den beiden wichtigsten Durchbrüchen auf dem Gebiet der Verarbeitung natürlicher Sprache gehört", sagte Jianfeng Gao, Forschungsmanager bei der Deep Learning Group, einem der Labors von Microsoft Research. "Die Leute verwenden dieses Modell als Grundebene, um alle anderen Modelle für die Verarbeitung natürlicher Sprache zu erstellen." Bisher wurde die BERT-Forschung in anderen Arbeiten mehr als 1000 Mal zitiert - andere Forscher entwickeln sich auf dieser Grundlage.
Unter ihnen ist Lekun mit seinem Team. Sie erstellten eine eigene Version dieses Modells, führten eine Optimierung durch, erweiterten die Menge an Trainingsdaten und die Trainingszeit. Nach Milliarden von Berechnungen schnitt ein neuronales Facebook-Netzwerk namens RoBERTa viel besser ab als Google. Sie zeigte eine Genauigkeit von 88,5% und BERT - nur 80,5%.
BERT und RoBERTa stellen einen radikal neuen Ansatz dar, um Computern das Kommunizieren beizubringen. „Dabei sollte das System die Bedeutung der Wörter angeben, die es trifft, die Struktur der Sätze, den Kontext“, sagt Lekun. "Am Ende scheint sie die Bedeutung der Sprache zu erkennen, was ziemlich seltsam ist, da sie nichts über die physische Realität der Welt weiß." Sie hat keine Vision, sie hat kein Gehör, sie hat nichts. " Sie kennt nur die Sprache; Buchstaben, Wörter und Sätze.
Annäherung an ein echtes Gespräch
Lekun sagt, dass das mit BERT oder RoBERTa trainierte Modell der natürlichen Sprache keinen sinnvollen gesunden Menschenverstand entwickeln wird - es wird ausreichen, nur Antworten im Chat zu geben, die auf einer umfangreichen Datenbank mit allgemeinem Wissen basieren. Dies ist nur der Anfang des Lernprozesses des Algorithmus, um wie eine Person zu sprechen.
Die Forscher in natürlicher Sprache von Facebook versuchen außerdem, mehr Details der RoBERTa-basierten Kommunikation zu integrieren. Sie begannen damit, die Gespräche von Menschen mit Chatbots zu studieren, um zu verstehen, wann ein Gespräch langweilig werden oder zusammenbrechen kann. Ihre Entdeckungen helfen dabei, Wege zu finden, um den Bot so zu trainieren, dass die häufigsten Fehler im Gespräch vermieden werden.
Beispielsweise widersprechen sich Chatbots häufig, weil sie sich nicht an das erinnern, was sie zuvor gesagt haben. Ein Chatbot kann sagen, dass sie es liebt, die Knight Rider-Episoden zu sehen, und dann erklären, dass er die Show nicht mag. Chatbots, die ihre eigenen Antworten erstellen (anstatt Hinweise aus den Trainingsdaten zu extrahieren), beantworten Fragen häufig vage, um keine Fehler zu machen. Sie wirken oft emotionslos, daher ist die Kommunikation mit ihnen nicht so interessant.
Chatbots sollten auch in der Lage sein, Wissen zu nutzen, um das Gespräch interessant zu machen. Ein Bot, der eine Vielzahl von Informationen verwenden kann, ist eher in der Lage, lange Dialoge mit Menschen zu führen. Bestehende Chatbots werden jedoch mit Wissen aus einem einzelnen Bereich trainiert, das der dem Bot zugewiesenen Aufgabe entspricht. Dies wird zu einem Problem, wenn eine Person anfängt, etwas über Themen zu sagen, die über die Kompetenz des Bots hinausgehen. Fragen Sie den Pizza-Bestellbot nach etwas anderem als Pizza, und das Gespräch wird schnell verblassen.
Um dies zu bewältigen, arbeiten Facebook-Forscher daran, Modelle zur Verarbeitung natürlicher Sprache zu trainieren, um Daten aus vielen Wissensbereichen zu extrahieren und diese Informationen auf natürliche Weise in ein Gespräch einzubetten. Zukünftige Forschung wird sich darauf konzentrieren, Bots beizubringen, wie und wann Gespräche von allgemeinen Dingen auf eine bestimmte Aufgabe übertragen werden sollen.
Eine der größten Herausforderungen bei der Entwicklung eines Chatbots besteht darin, sie dazu zu bringen, nach dem Start weiter zu lernen. Die Bedeutung von Wörtern kann sich im Laufe der Zeit ändern, neue Begriffe und Fachjargon können kulturell wichtig werden. Gleichzeitig sollte der Chatbot nicht zu suggestibel sein - Microsofts Tay-Bot hat zu schnell zu viel aus Online-Gesprächen gelernt und sich innerhalb von 24 Stunden in einen unhöflichen Rassisten verwandelt. Facebook lehrt experimentelle Chatbots, aus guten Gesprächen zu lernen und die Sprache der Person zu analysieren, mit der sie sprechen, um festzustellen, ob der Bot etwas Langweiliges oder Dummes gesagt hat.
Es ist schwierig, genau vorherzusagen, wann Facebook-Durchbrüche im Labor dazu beitragen werden, Chatbots zu erstellen, die Gespräche führen können, die zumindest ein wenig wie menschliche sind. Es kann nicht lange dauern, bis Sie diese Ergebnisse selbst bewerten können. "Wir glauben, dass wir sehr nahe daran sind, einen Bot zu entwickeln, der mit Menschen sprechen kann, damit sie Wert darin sehen", sagte mir der Facebook-Forscher Jason Weston.