Alors que les bots sont incapables de parler comme les humains. Mais les chercheurs de Facebook sur l'IA pénètrent déjà activement dans ce domaine; cela peut sérieusement affecter les messagers de l'entreprise, et pas seulement
Les chatbots étaient un sujet très populaire en 2015. L'un des plus populaires était M de Facebook, qui, selon les plans de l'entreprise, était censé devenir un bot polyvalent flexible, capable de beaucoup de choses - commander des marchandises, livrer des cadeaux, réserver des tables dans un restaurant et planifier des voyages. Cependant, le battage médiatique était trop fort pour le résultat. Lorsque Facebook a testé son M pour 2500 personnes de la baie de San Francisco, le programme n'a pas fait face à la plupart des tâches qui lui étaient assignées.
Après la première vague d'enthousiasme envers M et les autres chatbots (le directeur de Microsoft Satya Nadella a généralement
déclaré que «les chatbots sont de nouvelles applications»), une vague de
déceptions a suivi. Les chatbots bavardaient mal et gravitaient vers les robots. En effet, ils ont appris à parler de sujets très étroits et à effectuer des tâches très spécifiques. Ils n'étaient pas capables de maintenir une conversation naturelle avec les gens, de donner des réponses basées sur une compréhension des mots et de leur signification. Ils ne pouvaient que faire des remarques générales.
Même avant que M n'entre dans la phase de test bêta, Facebook a réduit ses plans grandioses pour ce bot, bien que la technologie du langage partiellement naturel soit tombée dans des chatbots Facebook Messenger moins ambitieux, capables d'effectuer des tâches simples telles que prendre une commande de nourriture ou donner une réponse à partir de la liste questions et réponses. Des entreprises telles qu'American Express et 1-800-FLOWERS utilisent toujours des chatbots simples similaires pour répondre aux questions des utilisateurs afin de prendre en charge, accepter des commandes simples et émettre des informations sur le solde de leur compte personnel. Beaucoup vous feront quand même passer à une personne si vous posez une question en dehors de leur compétence limitée.
Cependant, l'équipe de recherche AI AI est déjà allée de l'avant avec des projets tels que les chatbots simples. "Depuis trois à quatre ans, nous disons que nous n'allons pas suivre la voie de l'étude des dialogues visant à atteindre un certain objectif - c'est une tâche trop difficile avec des enjeux trop élevés", m'a expliqué Antoine Borde, chercheur en langage naturel sur Facebook. Si un chatbot de voyage «réserve le mauvais avion, le mauvais vol, ce sera une très grosse erreur en termes d'argent, de voyage, etc.», dit-il.
Au lieu de se concentrer sur la mécanique de certaines tâches, dit Borde, Facebook fait un pas en arrière vers une tâche plus profonde - former des agents virtuels à communiquer comme les gens. Si les chatbots peuvent mieux comprendre et parler avec les gens, alors, comme conçu par l'entreprise, ils deviendront éventuellement les meilleurs assistants qui peuvent aider les gens à effectuer des tâches pratiques, telles que la réservation de tous les mêmes billets.
Facebook investit activement dans ces développements, en embauchant les meilleurs experts en IA en langage naturel. La société aime souligner que, contrairement à d'autres géants de la technologie, elle rend les résultats de la recherche sur l'IA accessibles en ligne à l'ensemble de la communauté des chercheurs, dans l'espoir qu'elle aidera d'autres personnes à créer une nouvelle génération d'IA. Mais cette recherche, bien sûr, tombera dans leurs propres produits.
Les messagers, comme Messenger et WhatsApp (Facebook ne comprend toujours pas comment monétiser ce dernier) semblent être un domaine d'application naturel pour ces développements. Zuckerberg parle des idées de l'entreprise pour se concentrer sur la communication privée, donc Messenger et WhatsApp devront ajouter de nouvelles fonctionnalités afin de ne pas donner la primauté à d'autres plateformes similaires, en particulier WeChat, Telegram et Apple iMessage.
La création d'un algorithme pouvant prendre en charge une conversation gratuite avec une personne est devenue un objectif clé des entreprises technologiques. Amazon, Google et Microsoft se joignent à Facebook dans leurs paris sur la possibilité de communication humaine - et pas seulement par le biais de messagers texte, mais aussi avec l'aide d'assistants vocaux, et d'autres manières. Grâce à des recherches récentes, le chemin vers la création d'un ordinateur vraiment capable de communiquer est soudain devenu plus clair - cependant, la médaille pour la première place attend toujours son gagnant.
En d'autres termes, la recherche sur le langage naturel de Facebook va bien au-delà de la simple résurrection de M ou de l'amélioration des chatbots dans Messenger. Il est lié à l'avenir de toute l'entreprise.
Présentation du réseau neuronal
La création d'un agent numérique capable de mener une conversation crédible avec une personne est probablement la tâche la plus difficile de toutes dans le domaine du traitement du langage naturel. La machine doit apprendre un dictionnaire plein de mots, avec leurs exemples d'utilisation et de nuances, puis les utiliser en communication directe avec une personne imprévisible.
Ce n'est que ces dernières années que la communauté de l'IA en langage naturel a commencé à faire de grands pas vers la création d'un bot général. En particulier, cela s'est produit en raison de percées dans le domaine des réseaux de neurones - des algorithmes d'apprentissage automatique qui reconnaissent les modèles grâce à l'analyse d'une énorme quantité de données.
Pendant la majeure partie de l'histoire de l'IA, les gens ont pris soin du programme pendant qu'il suit le processus d'apprentissage automatique. Dans une technologie appelée «enseignement avec un enseignant», une personne forme lentement un réseau de neurones, donnant les bonnes réponses aux problèmes, puis ajustant l'algorithme pour qu'il atteigne la même solution.
L'enseignement avec un enseignant fonctionne bien s'il existe une grande quantité de données méticuleusement balisées - par exemple, des photographies de chats, de chiens ou d'autres objets. Cependant, cette approche ne fonctionne souvent pas dans le monde des chatbots. Il est difficile de trouver un grand nombre (des milliers d'heures) de conversations de personne à personne étiquetées, et créer un tel volume de données à partir d'une entreprise sera très coûteux.
Comme il est difficile d'enseigner aux chatbots à parler en utilisant d'anciennes méthodes, les chercheurs recherchent des alternatives à l'apprentissage avec un enseignant afin que les réseaux de neurones puissent apprendre sur la base de données par eux-mêmes, sans intervention humaine.
Une façon de supprimer le besoin de données de formation est de former la machine dans le bon sens à un niveau de base. Si l'ordinateur peut comprendre le monde qui l'entoure - par exemple, la taille relative des objets, puis la façon dont les gens les utilisent, certains concepts sur l'effet des lois de la physique sur eux - il sera probablement en mesure de restreindre la variété des options, ne laissant que les vraies possibles.
Les gens le font de manière naturelle. Par exemple, disons que vous conduisez près d'une falaise abrupte et que soudain vous voyez un gros rocher sur la route. Vous devez éviter une collision avec lui. Mais en choisissant des options, il est peu probable que vous décidiez de vous tourner brusquement vers la falaise. Vous savez qu'une voiture tombera sur des pierres à cause de la gravité.
Yan Lekun«Une grande partie de l'apprentissage humain consiste à observer le monde qui nous entoure», a déclaré
Jan Lekun , vice-président et spécialiste en chef de l'IA chez Facebook, une légende de l'IA travaillant sur les problèmes les plus difficiles depuis les années 1980. «Nous apprenons beaucoup de choses des parents et d'autres personnes, mais simplement en interagissant avec le monde, en essayant de faire quelque chose, en échouant et en ajustant notre comportement.»
L'IA formée à l'aide d'une telle technologie appelée «Teacherless Learning» fonctionne de manière similaire. Par exemple, un robot motorisé collecte des données sur le monde grâce à de nombreux capteurs et caméras, comme un enfant qui étudie le monde à l'aide de cinq sens. Avec cette approche, les scientifiques fournissent à la machine une grande quantité de données d'entraînement. Ils ne lui demandent pas de donner la bonne réponse et ne la poussent pas vers un objectif précis. Ils lui demandent seulement de traiter les données et d'en tirer des leçons, de trouver des modèles, de construire des relations entre divers points des données.
Dans de nombreux cas, les données nécessaires sont difficiles à trouver. Cependant, il existe un tel domaine de l'IA dans lequel un réseau de neurones peut en apprendre beaucoup sur le monde sans aucun capteur: le traitement du langage naturel. Les chercheurs peuvent utiliser la grande quantité de textes existants pour aider les algorithmes à comprendre le monde humain, ce qui est une partie nécessaire de la tâche de compréhension d'un langage.
Supposons qu'un réseau de neurones ait reçu les phrases de réflexion suivantes:
Le prix ne rentre pas dans la valise car il est trop gros.
Le prix ne rentre pas dans la valise car il est trop petit.
Pour comprendre que dans chacune des phrases le mot «il» fait référence à différents objets, les modèles doivent comprendre les propriétés des objets du monde réel et leurs relations. «Le texte sur lequel ils sont formés contient suffisamment de structure pour comprendre que si vous avez un objet qui s’insère dans un autre, alors l’un d’eux peut ne pas s’adapter à l’autre s’il est trop grand», explique Lekun.
Cette technique pourrait être la clé d'une nouvelle génération de chatbots Facebook plus utiles et plus sociables.
Rencontrez BERT et RoBERTa
Les percées en cours dans l'apprentissage sans enseignant pour les systèmes de traitement du langage naturel ont commencé chez Google en 2018. Les chercheurs de l'entreprise ont créé un modèle d'apprentissage en profondeur BERT (représentant des transformateurs avec codage bidirectionnel) et lui ont donné un texte non balisé de 1 038 livres et 2,5 milliards de mots de Wikipédia en anglais. Les chercheurs ont supprimé au hasard certains mots des textes et défini le modèle pour insérer un mot manquant.
Après avoir analysé l'intégralité du texte, le réseau neuronal a trouvé des modèles à partir de mots et de phrases, apparaissant souvent dans le même contexte, ce qui l'a aidée à comprendre les relations de base entre les mots. Puisque les mots sont des représentations d'objets ou de concepts du monde réel, le modèle a appris plus que les relations linguistiques entre les mots: il a commencé à comprendre comment les objets sont liés les uns aux autres.
L'ORET n'a pas été le premier modèle à utiliser l'apprentissage sans professeur pour comprendre le langage humain. Mais elle a été la première à apprendre le sens du mot dans son contexte.
«Je dirais que ce projet figure parmi les deux premières percées dans le domaine du traitement du langage naturel», a déclaré Jianfeng Gao, directeur de recherche au Deep Learning Group, l'un des laboratoires de Microsoft Research. «Les gens utilisent ce modèle comme niveau de base pour créer tous les autres modèles de traitement du langage naturel.» Jusqu'à présent, la recherche BERT a été citée dans d'autres travaux plus de 1000 fois - d'autres chercheurs se développent sur cette base.
Parmi eux, Lekun avec son équipe. Ils ont créé leur propre version de ce modèle, effectué l'optimisation, augmenté la quantité de données de formation et le temps de formation. Après des milliards de calculs, un réseau de neurones Facebook appelé RoBERTa a fait bien mieux que Google. Elle a montré un niveau de précision de 88,5% et BERT - seulement 80,5%.
BERT et RoBERTa représentent une approche radicalement nouvelle de l'enseignement des ordinateurs à communiquer. «Dans le processus, le système doit indiquer la signification des mots qu'il rencontre, la structure des phrases, le contexte», explique Lekun. "En fin de compte, elle semble reconnaître le sens de la langue, ce qui est plutôt étrange, car elle ne sait rien de la réalité physique du monde." Elle n'a pas de vision, elle n'a pas d'audition, elle n'a rien. " Tout ce qu'elle sait, c'est la langue; lettres, mots et phrases.
Approcher une vraie conversation
Lekun dit que le modèle de langage naturel, formé en utilisant BERT ou RoBERTa, ne développera aucun bon sens significatif - il suffira seulement de fournir des réponses dans le chat, sur la base d'une vaste base de données de connaissances généralisées. Ce n'est que le début du processus d'apprentissage de l'algorithme pour parler comme une personne.
Les chercheurs en langage naturel de Facebook tentent également d'intégrer plus de détails sur la communication basée sur RoBERTa. Ils ont commencé par étudier les conversations des personnes avec des chatbots afin de comprendre quand une conversation peut devenir ennuyeuse ou s'interrompre. Leurs découvertes aident à trouver des moyens de former le bot afin qu'il puisse éviter les erreurs de conversation les plus courantes.
Par exemple, les chatbots se contredisent souvent parce qu'ils ne se souviennent pas de ce qu'ils ont dit plus tôt. Un chatbot peut dire qu'elle aime regarder les épisodes de Knight Rider, puis déclarer qu'il n'aime pas le spectacle. Les chatbots qui créent leurs propres réponses (plutôt que d'extraire des indices des données de formation) répondent souvent vaguement aux questions afin de ne pas commettre d'erreurs. Ils semblent souvent sans émotion, donc communiquer avec eux n'est pas si intéressant.
Les chatbots devraient également pouvoir utiliser les connaissances pour les rendre intéressants à discuter. Un bot qui peut utiliser un large éventail d'informations est plus susceptible de maintenir de longs dialogues avec les gens. Cependant, les chatbots existants sont formés en utilisant les connaissances d'un seul domaine qui correspondent à la tâche assignée au bot. Cela devient un problème lorsqu'une personne commence à dire quelque chose sur des sujets qui dépassent la compétence du bot. Demandez au bot de commande de pizza autre chose que de la pizza, et la conversation s'évanouira rapidement.
Pour y faire face, les chercheurs de Facebook travaillent à former des modèles de traitement du langage naturel pour extraire des données de nombreux domaines de connaissance et intégrer naturellement ces informations dans une conversation. Les recherches futures se concentreront sur l'enseignement aux robots comment et quand transférer la conversation de choses générales à une tâche spécifique.
L'un des plus grands défis dans le développement d'un chatbot est de savoir comment les amener à apprendre davantage après leur démarrage. Le sens des mots peut changer avec le temps, de nouveaux termes et jargons peuvent devenir culturellement importants. Dans le même temps, le chatbot ne devrait pas être trop suggestible - le bot Tay de Microsoft a trop appris des conversations en ligne trop rapidement et s'est transformé en un raciste grossier en 24 heures. Facebook enseigne aux chatbots expérimentaux à apprendre de bonnes conversations et à analyser la langue de la personne à qui ils parlent pour voir si le bot a dit quelque chose de terne ou de stupide.
Il est difficile de prédire exactement quand les percées de Facebook dans le laboratoire aideront à créer des chatbots capables de mener des conversations qui sont au moins un peu comme les humains. Il faudra peut-être peu de temps avant que vous puissiez évaluer ces résultats vous-même. "Nous pensons que nous sommes très près de créer un bot qui peut parler aux gens afin qu'ils y voient de la valeur", m'a dit Jason Weston, chercheur sur Facebook.