Una paleta facilita a los pintores organizar y mezclar pinturas de diferentes colores a medida que crean arte en el lienzo que tienen delante. Tener una herramienta similar que permita a AI aprender conjuntamente de diversas fuentes de datos, como las de conversaciones, narrativas, im谩genes y conocimiento, podr铆a abrir puertas para que investigadores y cient铆ficos desarrollen sistemas de IA capaces de una inteligencia m谩s general.
Una paleta le permite al pintor organizar y mezclar pinturas de diferentes colores. SpaceFusion busca ayudar a los cient铆ficos de IA a hacer cosas similares para diferentes modelos entrenados en diferentes conjuntos de datos. Para los modelos de aprendizaje profundo en la actualidad, los conjuntos de datos generalmente est谩n representados por vectores en diferentes espacios latentes utilizando diferentes redes neuronales. En el documento "
Optimizaci贸n conjunta de la diversidad y la relevancia en la generaci贸n de respuesta neuronal ", mis coautores y yo proponemos SpaceFusion, un paradigma de aprendizaje para alinear estos diferentes espacios latentes, organizarlos y mezclarlos suavemente como la pintura en una paleta, para que la IA pueda aprovechar Los patrones y el conocimiento incrustado en cada uno de ellos. Este trabajo, que presentamos en la
Conferencia Anual 2019 del Cap铆tulo de Am茅rica del Norte de la Asociaci贸n de Ling眉铆stica Computacional: Tecnolog铆as del Lenguaje Humano (NAACL-HLT) , es parte del proyecto de
Conversaci贸n Dirigida por Datos , y su implementaci贸n es disponible en
GitHub .
Capturando el color de la conversaci贸n humana.
Como primer intento, aplicamos esta t茅cnica a la IA neuronal conversacional. En nuestra configuraci贸n, se espera que un modelo neuronal genere respuestas relevantes e interesantes dado un historial de conversaci贸n o contexto. Si bien se han realizado avances prometedores en los modelos de conversaci贸n neuronal, estos modelos tienden a ser seguros, produciendo respuestas gen茅ricas y aburridas. Se han desarrollado enfoques para diversificar estas respuestas y capturar mejor el color de la conversaci贸n humana, pero a menudo,
hay una compensaci贸n, con una disminuci贸n de la relevancia .
Figura 1: al igual que una paleta permite la combinaci贸n f谩cil de pinturas, SpaceFusion alinea o mezcla, los espacios latentes aprendidos de un modelo secuencia a secuencia (S2S, puntos rojos) y un autoencoder (AE, puntos azules) para utilizar conjuntamente Los dos modelos m谩s eficientemente.SpaceFusion aborda este problema alineando los espacios latentes aprendidos de dos modelos (Figura 1):
- un modelo de secuencia a secuencia (S2S), cuyo objetivo es producir respuestas relevantes, pero puede carecer de diversidad; y
- un modelo de autoencoder (AE), que es capaz de representar diversas respuestas, pero no captura su relaci贸n con la conversaci贸n.
El modelo aprendido conjuntamente puede utilizar las fortalezas de ambos modelos y organizar los puntos de datos de una manera m谩s estructurada.
Figura 2: lo anterior ilustra un contexto y sus m煤ltiples respuestas en el espacio latente inducido por SpaceFusion. La distancia y la direcci贸n del vector de respuesta previsto dado el contexto coinciden aproximadamente con la relevancia y la diversidad, respectivamente.Por ejemplo, como se ilustra en la Figura 2, dado un contexto, en este caso, "驴Alguien quiere comenzar este juego?", Las respuestas positivas "Me encantar铆a jugarlo" y "S铆, lo hago" est谩n organizadas a lo largo del misma direccion. Los negativos, "No estoy interesado en el juego" y "No, no", se asignan en una l铆nea en otra direcci贸n. La diversidad en las respuestas se logra explorando el espacio latente a lo largo de diferentes direcciones. Adem谩s, la distancia en el espacio latente corresponde a la relevancia. Las respuestas m谩s alejadas del contexto ("S铆, lo hago" y "No, no lo hago") suelen ser gen茅ricas, mientras que las m谩s cercanas son m谩s relevantes para el contexto espec铆fico: "No estoy interesado en el juego" y " 驴Cu谩ndo lo har谩s?
SpaceFusion separa los criterios de relevancia y diversidad y los representa en dos dimensiones independientes: direcci贸n y distancia, lo que facilita la optimizaci贸n conjunta de ambos. Nuestros experimentos emp铆ricos y la evaluaci贸n en humanos han demostrado que SpaceFusion funciona mejor en estos dos criterios en comparaci贸n con las l铆neas de base competitivas.
Aprendiendo un espacio latente compartido
Entonces, 驴c贸mo exactamente SpaceFusion alinea diferentes espacios latentes?
La idea es bastante intuitiva: para cada par de puntos de dos espacios latentes diferentes, primero minimizamos su distancia en el espacio latente compartido y luego fomentamos una transici贸n suave entre ellos. Esto se realiza mediante la adici贸n de dos nuevos t茅rminos de regularizaci贸n - t茅rmino de distancia y t茅rmino de suavidad - a la funci贸n objetivo.
Tomando como ejemplo la conversaci贸n, el t茅rmino distancia mide la distancia euclidiana entre un punto del espacio latente S2S, que se mapea desde el contexto y representa la respuesta pronosticada, y los puntos del espacio latente AE, que corresponden a sus respuestas objetivo. Minimizar dicha distancia alienta al modelo S2S a mapear el contexto a un punto cercano y rodeado por sus respuestas en el espacio latente compartido, como se ilustra en la Figura 2.
El t茅rmino suavidad mide la probabilidad de generar la respuesta objetivo a partir de una interpolaci贸n aleatoria entre el punto mapeado desde el contexto y el mapeado desde la respuesta. Al maximizar esta probabilidad, fomentamos una transici贸n suave del significado de las respuestas generadas a medida que nos alejamos del contexto. Esto nos permite explorar la vecindad del punto de predicci贸n realizado por el S2S y generar respuestas diversas que son relevantes para el contexto.
Con estas dos nuevas regularizaciones agregadas en la funci贸n objetivo, ponemos las restricciones de distancia y suavidad en el aprendizaje del espacio latente, por lo que la capacitaci贸n no solo se centrar谩 en el rendimiento en cada espacio latente, sino que tambi茅n intentaremos alinearlas agregando estas estructuras deseadas Nuestro trabajo se centr贸 en modelos conversacionales, pero esperamos que SpaceFusion pueda alinear los espacios latentes aprendidos por otros modelos entrenados en diferentes conjuntos de datos. Esto hace posible unir diferentes habilidades y dominios de conocimiento aprendidos por cada sistema de IA espec铆fico y es un peque帽o paso hacia una inteligencia m谩s general.