SpaceFusion: Strukturieren von unstrukturiertem verstecktem Raum für interaktive KI

Die Palette ermöglicht es Künstlern, Farben in verschiedenen Farben zu organisieren und zu mischen und Gemälde auf Leinwänden vor ihnen zu erstellen. Die Existenz eines ähnlichen Tools, mit dem KI gemeinsam aus verschiedenen Datenquellen wie Gesprächen, Geschichten, Bildern und Wissen lernen kann, könnte Forschern und Wissenschaftlern die Tür öffnen, um umfassendere KI-Systeme zu entwickeln.


Die Palette ermöglicht es dem Künstler, Farben in verschiedenen Farben zu verschmieren und zu mischen. SpaceFusion hat sich zum Ziel gesetzt, KI-Wissenschaftlern dabei zu helfen, ähnliche Dinge für verschiedene Modelle zu tun, die auf verschiedenen Datensätzen trainiert wurden.

Bei modernen Deep-Learning-Modellen werden Datensätze normalerweise durch Vektoren in verschiedenen verborgenen Räumen unter Verwendung verschiedener neuronaler Netze dargestellt. In dem Artikel „ Gemeinsame Optimierung von Vielfalt und Relevanz bei der Erzeugung neuronaler Reaktionen “ stellen meine Co-Autoren und ich SpaceFusion vor, ein Trainingsparadigma, das verschiedene verborgene Räume - wie Farben auf einer Palette - „mischen“ kann, damit die KI die in jedem von ihnen eingebetteten Muster und Kenntnisse nutzen kann sie. Die Implementierung dieser Arbeit ist auf GitHub verfügbar.

Erfassen Sie die Farbe menschlicher Konversation

Als ersten Versuch haben wir diese Technik auf neuronale interaktive KI angewendet. In unserem Setup wird erwartet, dass das neuronale Modell relevante und interessante Antworten basierend auf dem Gesprächsverlauf oder -kontext generiert. Trotz der Tatsache, dass vielversprechende Erfolge in Modellen der neuronalen Kommunikation erzielt wurden, versuchen diese Modelle in der Regel, kein Risiko einzugehen und allgemeine und langweilige Antworten zu reproduzieren. Es wurden Ansätze entwickelt, um diese Reaktionen zu diversifizieren und die Farbe menschlicher Konversation besser widerzuspiegeln. Ein Kompromiss entsteht jedoch häufig mit einer Abnahme der Relevanz. .


Abbildung 1: Wie eine Palette, die das Kombinieren von Farben vereinfacht, richtet SpaceFusion verborgene Bereiche aus den Modellen seq2seq (S2S, rote Punkte) und Autoencoder (AE, blaue Punkte) aus oder mischt sie, um die beiden Modelle effizienter zu nutzen.

SpaceFusion löst dieses Problem, indem verborgene Räume aus zwei Modellen verknüpft werden (Abbildung 1):

• das Sequenz-zu-Sequenz-Modell (S2S), das darauf abzielt, relevante Antworten zu erhalten, aber möglicherweise nur wenige Unterschiede aufweist; und auch
• Ein Autoencoder (AE) -Modell, das in der Lage ist, unterschiedliche Antworten zu präsentieren, jedoch nicht deren Beziehung zur Konversation widerspiegelt.

Ein gemeinsam trainiertes Modell kann die Stärken beider Modelle nutzen und Datenpunkte strukturierter organisieren.


Abbildung 2: Das Obige zeigt einen Kontext und seine vielen Antworten im verborgenen Raum, die durch SpaceFusion verursacht werden. Die Entfernung und Richtung vom vorhergesagten Antwortvektor unter Berücksichtigung des Kontexts entsprechen ungefähr der Signifikanz bzw. Diversität.

Beispiel: Wie in Abbildung 2 dargestellt, unter Berücksichtigung des Kontexts - in diesem Fall: "Möchte jemand dieses Spiel starten?" - Die positiven Antworten „Ich würde es gerne spielen“ und „Ja, ich spiele“ befinden sich in einer Richtung. Die negativen - "Ich interessiere mich nicht für das Spiel" und "Nein, ich interessiere mich nicht" - werden in eine andere Richtung abgebildet. Die Vielfalt der Antworten wird durch das Studium des verborgenen Raums in verschiedene Richtungen erreicht. Außerdem ist der Abstand im verborgenen Raum relevant. Antworten, die weiter vom Kontext entfernt sind - „Ja, ich spiele“ und „Nein, ich spiele nicht“ - sind normalerweise allgemeiner Natur, während diejenigen, die näher sind, für den spezifischen Kontext relevanter sind: „Ich interessiere mich nicht für das Spiel“ und „Wann Wirst du spielen? "

SpaceFusion trennt Relevanz- und Diversitätskriterien und präsentiert sie in zwei unabhängigen Dimensionen - Richtung und Entfernung -, was die gemeinsame Optimierung beider Kriterien erleichtert. Unsere empirischen Experimente und Bewertungen am Menschen haben gezeigt, dass SpaceFusion bei diesen beiden Kriterien im Vergleich zu Wettbewerbsgrundlagen eine bessere Leistung erbringt.

Gemeinsamen verborgenen Raum lernen

Wie genau ordnet SpaceFusion verschiedene verborgene Räume zu?

Die Idee ist sehr intuitiv: Für jedes Punktpaar aus zwei verschiedenen verborgenen Räumen minimieren wir zuerst deren Abstand im gemeinsamen verborgenen Raum und behalten dann einen reibungslosen Übergang zwischen ihnen bei. Dies erfolgt durch Hinzufügen von zwei neuen Regularisierungsterms - Distanzterm und Glättungsterm - zur Zielfunktion.

Am Beispiel der Konversation misst der Abstandsterm den euklidischen Abstand zwischen dem Punkt aus dem verborgenen Raum S2S, der basierend auf dem Kontext angezeigt wird und die vorhergesagte Antwort darstellt, und den Punkten aus dem verborgenen Raum AE, die seinen Zielantworten entsprechen. Durch das Minimieren dieses Abstands wird das S2S-Modell dazu ermutigt, den Kontext als einen Punkt nahe und umgeben von seinen Antworten in einem gemeinsamen verborgenen Raum anzuzeigen, wie in Abbildung 2 dargestellt.

Der Glättungsterm misst die Wahrscheinlichkeit, eine Zielantwort aus einer zufälligen Interpolation zwischen einem aus einem Kontext abgebildeten Punkt und einem aus einer Antwort abgebildeten Punkt zu erzeugen. Durch Maximieren dieser Wahrscheinlichkeit fördern wir einen reibungslosen Übergang des Werts der generierten Antworten, wenn Sie sich vom Kontext entfernen. Dies ermöglicht es uns, die Nachbarschaft des von S2S erstellten Prognosepunkts zu erkunden und so eine Vielzahl von Antworten zu generieren, die für den Kontext relevant sind.

Mit diesen beiden neuen Regularisierungen, die der Zielfunktion hinzugefügt wurden, legen wir dem Lernen verborgener Räume Entfernungs- und Gleichmäßigkeitsbeschränkungen auf, sodass sich das Training nicht nur auf die Leistung in jedem verborgenen Raum konzentriert, sondern auch versucht, sie durch Hinzufügen dieser gewünschten Strukturen miteinander in Einklang zu bringen. Unsere Arbeit konzentrierte sich auf interaktive Modelle, aber wir erwarten, dass SpaceFusion verborgene Räume ausrichtet, die von anderen Modellen auf verschiedenen Datensätzen trainiert wurden. Dies verbindet die verschiedenen Fähigkeiten und Wissensbereiche, die von jedem einzelnen KI-System gelernt wurden, und ist der erste Schritt zu einer umfassenderen KI.

---

Siehe auch: 7 kostenlose Kurse für Entwickler