SpaceFusion: Strukturierung des unstrukturierten latenten Raums für die Konversations-KI

Eine Palette erleichtert es Malern, Farben in verschiedenen Farben anzuordnen und zu mischen, während sie Kunst auf der Leinwand vor sich schaffen. Ein ähnliches Tool, mit dem KI gemeinsam aus verschiedenen Datenquellen wie Konversationen, Erzählungen, Bildern und Wissen lernen kann, könnte Forschern und Wissenschaftlern Türen öffnen, um KI-Systeme zu entwickeln, die allgemeinere Intelligenz ermöglichen.


Eine Palette ermöglicht es einem Maler, Farben in verschiedenen Farben anzuordnen und zu mischen. SpaceFusion möchte KI-Wissenschaftlern helfen, ähnliche Dinge für verschiedene Modelle zu tun, die auf verschiedenen Datensätzen trainiert wurden.

Für Deep-Learning-Modelle werden Datensätze heutzutage normalerweise durch Vektoren in verschiedenen latenten Räumen unter Verwendung verschiedener neuronaler Netze dargestellt. In dem Artikel " Gemeinsame Optimierung von Vielfalt und Relevanz bei der Erzeugung neuronaler Reaktionen " schlagen meine Co-Autoren und ich SpaceFusion vor, ein Lernparadigma, um diese verschiedenen latenten Räume auszurichten - ordnen und mischen Sie sie reibungslos wie die Farbe auf einer Palette - damit die KI sie nutzen kann die Muster und das Wissen, die in jedem von ihnen eingebettet sind. Diese Arbeit, die wir auf der Jahreskonferenz 2019 des Nordamerikanischen Kapitels der Vereinigung für Computerlinguistik: Menschliche Sprachtechnologien (NAACL-HLT) vorstellen , ist Teil des datengesteuerten Konversationsprojekts und wird umgesetzt verfügbar auf GitHub .

Erfassen der Farbe menschlicher Konversation

In einem ersten Versuch haben wir diese Technik auf die neuronale Konversations-KI angewendet. In unserem Setup wird erwartet, dass ein neuronales Modell relevante und interessante Antworten in einem bestimmten Gesprächsverlauf oder Kontext generiert. Während vielversprechende Fortschritte bei neuronalen Konversationsmodellen erzielt wurden, gehen diese Modelle eher auf Nummer sicher und führen zu generischen und langweiligen Antworten. Es wurden Ansätze entwickelt, um diese Reaktionen zu diversifizieren und die Farbe menschlicher Konversation besser zu erfassen. Oft gibt es jedoch einen Kompromiss, dessen Relevanz abnimmt .


Abbildung 1: Wie eine Palette die einfache Kombination von Farben ermöglicht, richtet SpaceFusion die latenten Räume aus, die aus einem Sequenz-zu-Sequenz-Modell (S2S, rote Punkte) und einem Autoencoder (AE, blaue Punkte) gelernt wurden, oder mischt sie gemeinsam die beiden Modelle effizienter.

SpaceFusion löst dieses Problem, indem die aus zwei Modellen gelernten latenten Räume ausgerichtet werden (Abbildung 1):

• ein Sequenz-zu-Sequenz-Modell (S2S), das darauf abzielt, relevante Antworten zu liefern, dem jedoch möglicherweise die Diversität fehlt; und
• Ein Autoencoder (AE) -Modell, das in der Lage ist, verschiedene Antworten darzustellen, deren Beziehung zur Konversation jedoch nicht erfasst.

Das gemeinsam erlernte Modell kann die Stärken beider Modelle nutzen und Datenpunkte strukturierter anordnen.


Abbildung 2: Das Obige zeigt einen Kontext und seine Mehrfachantworten im latenten Raum, die durch SpaceFusion induziert werden. Entfernung und Richtung vom vorhergesagten Antwortvektor in Anbetracht des Kontexts stimmen ungefähr mit der Relevanz bzw. Diversität überein.

Wie in Abbildung 2 dargestellt, sind beispielsweise in einem Kontext - in diesem Fall „Möchte jemand dieses Spiel starten?“ - die positiven Antworten „Ich würde es gerne spielen“ und „Ja, das tue ich“ entlang der Liste angeordnet gleiche Richtung. Die negativen - "Ich interessiere mich nicht für das Spiel" und "Nein, ich nicht" - werden auf einer Linie in eine andere Richtung abgebildet. Die Vielfalt der Antworten wird erreicht, indem der latente Raum in verschiedene Richtungen untersucht wird. Weiterhin entspricht der Abstand im latenten Raum der Relevanz. Antworten, die weiter vom Kontext entfernt sind - "Ja, das tue ich" und "Nein, das tue ich nicht" - sind normalerweise allgemein gehalten, während die Antworten, die näher am Kontext liegen, für den jeweiligen Kontext relevanter sind: "Ich interessiere mich nicht für das Spiel" und " Wann wirst du? "

SpaceFusion entwirrt die Kriterien Relevanz und Vielfalt und stellt sie in zwei unabhängigen Dimensionen dar - Richtung und Entfernung -, wodurch es einfacher wird, beide gemeinsam zu optimieren. Unsere empirischen Experimente und die Bewertung durch den Menschen haben gezeigt, dass SpaceFusion bei diesen beiden Kriterien im Vergleich zu Wettbewerbsgrundlagen eine bessere Leistung erbringt.

Einen gemeinsamen latenten Raum lernen

Wie genau richtet SpaceFusion verschiedene latente Räume aus?

Die Idee ist sehr intuitiv: Für jedes Punktpaar aus zwei verschiedenen latenten Räumen minimieren wir zuerst deren Abstand im gemeinsamen latenten Raum und fördern dann einen reibungslosen Übergang zwischen ihnen. Dies erfolgt durch Hinzufügen von zwei neuartigen Regularisierungstermen - Distanzterm und Glättungsterm - zur Zielfunktion.

Am Beispiel der Konversation misst der Abstandsterm den euklidischen Abstand zwischen einem Punkt aus dem latenten Raum S2S, der aus dem Kontext abgebildet wird und die vorhergesagte Antwort darstellt, und den Punkten aus dem latenten Raum AE, die seinen Zielantworten entsprechen. Das Minimieren dieser Entfernung ermutigt das S2S-Modell, den Kontext auf einen Punkt abzubilden, der nahe an seinen Antworten im gemeinsamen latenten Raum liegt und von diesen umgeben ist, wie in Abbildung 2 dargestellt.

Der Glättungsterm misst die Wahrscheinlichkeit, die Zielantwort aus einer zufälligen Interpolation zwischen dem aus dem Kontext abgebildeten Punkt und dem aus der Antwort abgebildeten Punkt zu erzeugen. Indem wir diese Wahrscheinlichkeit maximieren, fördern wir einen reibungslosen Übergang der Bedeutung der generierten Antworten, wenn wir uns vom Kontext entfernen. Dies ermöglicht es uns, die Nachbarschaft des vom S2S erstellten Vorhersagepunkts zu untersuchen und so verschiedene Antworten zu generieren, die für den Kontext relevant sind.

Mit diesen beiden neuartigen Regularisierungen, die in der Zielfunktion hinzugefügt wurden, legen wir die Entfernungs- und Glättungsbeschränkungen für das Lernen des latenten Raums fest, sodass sich das Training nicht nur auf die Leistung in jedem latenten Raum konzentriert, sondern auch versucht, sie durch Hinzufügen dieser auszurichten gewünschte Strukturen. Unsere Arbeit konzentrierte sich auf Konversationsmodelle, aber wir erwarten, dass SpaceFusion die latenten Räume ausrichten kann, die von anderen Modellen gelernt wurden, die auf verschiedenen Datensätzen trainiert wurden. Dies ermöglicht die Überbrückung verschiedener Fähigkeiten und Wissensbereiche, die von jedem spezifischen KI-System gelernt wurden, und ist ein kleiner Schritt in Richtung einer allgemeineren Intelligenz.