La palette permet aux artistes d'organiser et de mélanger des peintures de différentes couleurs, créant des peintures sur des toiles devant eux. L'existence d'un outil similaire qui pourrait permettre à l'IA d'apprendre ensemble à partir de diverses sources de données, telles que des conversations, des histoires, des images et des connaissances, pourrait ouvrir la porte aux chercheurs et aux scientifiques pour développer des systèmes d'IA plus complets.
La palette permet à l'artiste d'enduire et de mélanger des peintures de différentes couleurs. SpaceFusion s'engage à aider les scientifiques de l'IA à faire des choses similaires pour différents modèles formés sur différents ensembles de données.Pour les modèles modernes d'apprentissage en profondeur, les ensembles de données sont généralement représentés par des vecteurs dans différents espaces cachés utilisant différents réseaux de neurones. Dans l'article «
Optimisation conjointe de la diversité et de la pertinence dans la génération de réactions neuronales », mes coauteurs et moi présentons SpaceFusion, un paradigme de formation qui peut «mélanger» divers espaces cachés - comme des peintures sur une palette - afin que l'IA puisse utiliser les modèles et les connaissances intégrés dans chacun des eux. L'implémentation de ce travail est disponible sur
GitHub .
Capturez la couleur de la conversation humaine
Dans un premier temps, nous avons appliqué cette technique à l'IA neuronale interactive. Dans notre configuration, le modèle neuronal devrait générer des réponses pertinentes et intéressantes en fonction de l'historique ou du contexte de la conversation. Malgré le fait que des succès prometteurs ont été obtenus dans les modèles de communication neuronale, ces modèles, en règle générale, essaient de ne pas prendre de risques, reproduisant des réponses générales et ennuyeuses. Des approches ont été développées pour diversifier ces réponses et mieux refléter la couleur de la conversation humaine, mais
un compromis survient souvent
avec une diminution de la pertinence. .
Figure 1: comme une palette qui facilite la combinaison des couleurs, SpaceFusion égalise ou mélange les espaces cachés des modèles seq2seq (S2S, points rouges) et autoencoder (AE, points bleus) pour partager les deux modèles plus efficacement.SpaceFusion résout ce problème en liant les espaces cachés extraits de deux modèles (figure 1):
- le modèle de séquence à séquence (S2S), qui vise à obtenir des réponses pertinentes, mais peut présenter peu de différences; aussi
- un modèle d'auto-encodeur (AE) capable de présenter des réponses différentes mais ne reflétant pas leur relation avec la conversation.
Un modèle co-formé peut exploiter les points forts des deux modèles et organiser les points de données de manière plus structurée.
Figure 2: ce qui précède montre un contexte et ses nombreuses réponses dans l'espace caché causées par SpaceFusion. La distance et la direction du vecteur de réponse prévu, en tenant compte du contexte, correspondent approximativement à la signification et à la diversité, respectivement.Par exemple, comme le montre la figure 2, en tenant compte du contexte - dans ce cas, "Quelqu'un veut-il démarrer ce jeu?" - les réponses positives «Je voudrais jouer» et «Oui, je joue» sont situées dans une direction. Les points négatifs - «Je ne suis pas intéressé par le jeu» et «Non, je ne suis pas intéressé» - sont cartographiés dans une direction différente. La diversité des réponses est obtenue grâce à l'étude de l'espace caché dans différentes directions. De plus, la distance dans l'espace caché est pertinente. Les réponses plus éloignées du contexte - «Oui, je joue» et «Non, je ne joue pas» - sont généralement de nature générale, tandis que celles qui sont plus proches sont plus adaptées au contexte spécifique: «Je ne suis pas intéressé par le jeu» et «Quand vas-tu jouer? "
SpaceFusion sépare les critères de pertinence et de diversité et les présente en deux dimensions indépendantes - direction et distance - facilitant l'optimisation conjointe des deux. Nos expériences et évaluations empiriques chez l'homme ont montré que SpaceFusion fonctionne mieux sur ces deux critères par rapport aux lignes de base compétitives.
Apprendre un espace caché partagé
Alors, comment SpaceFusion mappe-t-il différents espaces cachés?
L'idée est assez intuitive: pour chaque paire de points de deux espaces cachés différents, nous minimisons d'abord leur distance dans l'espace caché commun, puis maintenons une transition en douceur entre eux. Cela se fait en ajoutant deux nouveaux termes de régularisation - terme de distance et terme de lissage - à la fonction cible.
En prenant la conversation comme exemple, le terme de distance mesure la distance euclidienne entre le point de l'espace caché S2S, qui est affichée en fonction du contexte et représente la réponse prédite, et les points de l'espace caché AE qui correspondent à ses réponses cibles. Minimiser cette distance encourage le modèle S2S à afficher le contexte comme un point proche et entouré de ses réponses dans un espace caché commun, comme le montre la figure 2.
Le terme de lissage mesure la probabilité de générer une réponse cible à partir d'une interpolation aléatoire entre un point mappé à partir d'un contexte et un point mappé à partir d'une réponse. En maximisant cette probabilité, nous encourageons une transition en douceur dans la valeur des réponses générées lorsque vous vous éloignez du contexte. Cela nous permet d'explorer le voisinage du point de prévision fait par S2S, et donc de générer une variété de réponses pertinentes au contexte.
Avec ces deux nouvelles régularisations ajoutées à la fonction objectif, nous imposons des restrictions de distance et de régularité à l'apprentissage des espaces cachés, donc la formation se concentrera non seulement sur les performances dans chaque espace caché, mais essaiera également de les aligner ensemble en ajoutant ces structures souhaitées. Notre travail s'est concentré sur les modèles interactifs, mais nous nous attendons à ce que SpaceFusion aligne les espaces cachés formés par d'autres modèles sur différents jeux de données. Cela reliera les différentes capacités et domaines de connaissances appris par chaque système d'IA particulier, et est la première étape vers une IA plus complète.
Voir aussi: 7 cours gratuits pour les développeurs