Classification des émotions: au cœur de l'informatique émotionnelle

L'intelligence artificielle émotionnelle, en plus du lien évident avec l'apprentissage automatique et les réseaux de neurones, est directement liée à la psychologie et, en particulier, à la science des émotions. Il existe aujourd'hui plusieurs défis dans ce domaine. L'un d'eux est la formation d'une classification précise et complète des états émotionnels, dont dépend directement le processus d'annotation, y compris la comparaison des expressions faciales observées et d'autres signaux non verbaux avec certaines émotions et certains états affectifs.

Classification des émotions

Aujourd'hui, trois approches de la catégorisation des données émotionnelles sont largement utilisées: les modèles discrets et multidimensionnels, ainsi que les hybrides, combinant les deux premiers types.

L' approche discrète est basée sur la catégorisation des émotions que l'on retrouve dans le langage naturel. Chaque émotion est associée à un champ sémantique - une signification spécifique ou un ensemble de significations que nous attribuons à un certain état émotionnel. La théorie des émotions de base est l'un des exemples les plus célèbres de l'approche discrète.

La première mention de quelque chose de similaire à ce que l'on entend par émotions de base ou primaires peut être trouvée dans les premiers textes philosophiques, par exemple l'héritage grec ou chinois. Platon dans la célèbre œuvre «République» attribue les émotions aux principales composantes de l'esprit humain. Dans la théorie fonctionnelle des émotions d'Aristote, la raison, les émotions et les vertus sont interconnectées, et la vie émotionnelle de chaque personne en bonne santé est toujours (ou presque toujours) alignée sur la raison et les vertus, qu'elle en soit consciente ou non. Dans le confucianisme chinois, nous trouvons de quatre à sept «Qing» - des émotions qui sont naturelles à toute personne.

Au XXe siècle, le sujet était au centre de l'intérêt scientifique, et un certain nombre d'auteurs, dont Paul Ekman, l'auteur de la théorie la plus courante des émotions de base, ont proposé leur propre vision de la quantité de ces émotions. Ekman a suggéré que les émotions de base devraient être universelles, dans le sens où leur manifestation est la même pour toutes les cultures. Dans différentes théories, nous pouvons trouver de 6 à 22 émotions (Ekman, Parrot, Frijda, Plutchik, Tomkins, Matsumoto - voir Cambria et al., 2012 pour plus de détails).

L'existence d'émotions de base reste aujourd'hui une question litigieuse (voir, par exemple, Barret & Wager, 2006; ou Crivelli & Fridlund, 2018). Un certain nombre d'études ont montré une corrélation des émotions de base avec l'activité des structures cérébrales individuelles (par exemple, Murphy et al., 2003, et Phan et al., 2002), bien que d'autres études n'aient pas confirmé cette corrélation (voir Barrett et Wage, 2006). Fait intéressant, certaines études sur la perception des émotions dans des groupes ethniques isolés ne soutiennent pas l'hypothèse d'universalité interculturelle des émotions. Les Trobrians de Papouasie-Nouvelle-Guinée en sont un exemple (voir Crivelli & Fridlund, 2018 et Gendron et al., Sous presse). Dans une expérience, des représentants de la tribu ont été montrés une photographie d'une personne exprimant la peur, mais les Trobrians ont perçu cette expression comme un signal d'une menace.


Atlas of Emotion proposé par Paul Ekman: atlasofemotions.org . La version originale de 1999 comprenait également «surprise».

Aujourd'hui, de nombreuses décisions dans le domaine de l'informatique émotionnelle sont basées sur des modèles discrets et n'incluent que les émotions de base, le plus souvent conformément à la théorie d'Ekman (par exemple, les solutions d'Affectiva, pionnière de l'IA émotionnelle). Cela signifie que les systèmes automatiques sont formés pour reconnaître un nombre assez limité d'états affectifs, bien que dans la vie nous éprouvions constamment un grand nombre d'émotions, y compris des émotions mixtes complexes, et dans la communication interpersonnelle, nous utilisons de nombreux signaux sociaux (par exemple, les gestes).

Une autre approche - multidimensionnelle - représente les émotions dans un espace multidimensionnel coordonné. Puisque cet espace est inextricable, il y a des émotions qui ont la même nature, mais diffèrent par un certain nombre de paramètres. En science affective, ces paramètres (ou mesures) sont le plus souvent exprimés par la valence et l'activation (excitation), par exemple, dans l'ensemble de données RECOLA de Ringeval et al. L'intensité des émotions est également souvent utilisée. Ainsi, la tristesse peut être considérée comme une version moins intense du chagrin et une réflexion plus prononcée, en même temps plus comme du dégoût que, par exemple, la confiance. Le nombre de mesures peut varier selon le modèle. Il n'y a que 2 dimensions (similitude et intensité) dans la roue des émotions de Plutchik, tandis que Fontaine postule 4 dimensions (valence, puissance, activation, imprévisibilité). Toute émotion dans un tel espace aura un certain nombre de caractéristiques mesurées la valeur avec laquelle il est présent dans une dimension particulière.

Les modèles hybrides combinent des approches discrètes et multidimensionnelles. Un bon exemple de modèle hybride est le Hourglass of Emotion proposé par Cumbria, Livingston, Hussein (Cambria et al., 2012). Chaque dimension affective est caractérisée par six niveaux de puissance avec lesquels les émotions s'expriment. Ces niveaux sont également appelés un ensemble de 24 émotions. Ainsi, toute émotion peut être considérée comme un état fixe et comme faisant partie d'un continuum associé à d'autres émotions dans des relations non linéaires.

Émotions dans l'informatique émotionnelle

Alors pourquoi la classification des émotions est-elle si importante pour l'informatique émotionnelle? Au début de l'article, nous avons souligné que la classification des émotions et l'approche à laquelle nous adhérons affectent directement le processus d'annotation - marquant le contenu audiovisuel émotionnellement coloré. Pour former un réseau neuronal à reconnaître les émotions, un ensemble de données est nécessaire. Mais le balisage de cet ensemble dépend entièrement de nous, les gens, et des émotions que nous associons, par exemple, à une expression faciale spécifique.

Aujourd'hui, plusieurs outils d'annotation sont communs. Ce sont ANNEMO (Ringeval et al.), Utilisé pour les modèles multidimensionnels, ANVIL (Kipp) et ELAN (Max Planck Institute of Psycholinguistics), utilisé pour les systèmes discrets. Dans ANNEMO, l'annotation est disponible en 2 dimensions affectives: l'activation et la valence, dont les valeurs vont de -1 à +1. Ainsi, tout état émotionnel peut se voir attribuer des valeurs qui caractérisent son intensité et sa positivité / négativité. Les dimensions sociales peuvent également être évaluées sur une échelle de 7 points en 5 dimensions: accord, dominance, engagement, performance et rapport.

ANVIL et ELAN vous permettent d'utiliser vos propres filtres pour baliser le contenu émotionnel audiovisuel. Les filtres ou marqueurs peuvent être représentés par des mots, des phrases, des commentaires ou tout autre texte lié à la description d'un état affectif. Ces marqueurs sont statiques et ne peuvent pas être exprimés en magnitude.

Le choix de l'approche et du système d'annotation dépend des objectifs. Les modèles multidimensionnels évitent un problème bien connu lorsque certains mots existent dans certaines langues, tandis que d'autres peuvent ne pas avoir de mots pour décrire ces émotions. Cela rend le processus d'annotation contextuellement et culturellement dépendant. Néanmoins, les modèles discrets sont un outil utile pour catégoriser les émotions, car il est difficile d'évaluer objectivement les changements de quantités comme la valence ou l'activation, et différents annotateurs donneront différentes estimations de la gravité de ces quantités.

Bonus: robotique

Soit dit en passant, la classification des émotions est largement utilisée non seulement dans le domaine de la reconnaissance des émotions, mais aussi pour leur synthèse. Par exemple, en robotique. Le spectre émotionnel disponible pour le robot peut être intégré dans un espace multidimensionnel d'émotions. Système d'affect - un système d'états émotionnels entre lesquels probablement le robot le plus mignon de l'industrie de l'IA - Kismet développé par le MIT (MIT), est basé sur une approche multidimensionnelle. Chaque dimension de l'espace émotionnel (activation, valence et état (position), c'est-à-dire préparation à la communication) est associée à un ensemble d'expressions faciales. Dès que la valeur requise est atteinte, le robot passe à l'émotion suivante.


Vidéo: Fonctionnement du robot Kismet