Reconnaissance des émotions basée sur le contexte à l'aide du jeu de données EMOTIC

Dans notre vie quotidienne et nos interactions sociales, nous essayons souvent de percevoir les états émotionnels des personnes. De nombreuses recherches ont été menées pour doter les machines d'une capacité similaire à reconnaître les émotions. Du point de vue de la vision par ordinateur, la plupart des efforts précédents se sont concentrés sur l'analyse des expressions faciales et, dans certains cas, également sur la posture du corps. Certains de ces méthodes fonctionnent remarquablement bien dans des configurations spécifiques. Cependant, leurs performances sont limitées dans des environnements naturels et non contraints. Les études psychologiques montrent que le contexte de la scène, en plus des expressions faciales et de la posture du corps, fournit des informations importantes à notre perception des émotions des personnes. Cependant, le traitement du contexte pour la reconnaissance automatique des émotions n'a pas été exploré en profondeur, en partie en raison du manque de données appropriées.Dans cet article, nous présentons EMOTIC, un ensemble de données d'images de personnes dans une variété de situations naturelles, annotées avec leurs émotions apparentes. Le jeu de données EMOTIC combine deux types différents de représentation émotionnelle : (1) un ensemble de 26 catégories discrètes, et (2) les dimensions continues Valence, Arousal et Dominance (Valence, Arousal and Dominance). Nous présentons également une analyse statistique et algorithmique détaillée du jeu de données ainsi qu'une analyse de l'accord entre les annotateurs. En utilisant le jeu de données EMOTIC, nous entraînons différents modèles CNN pour la reconnaissance des émotions, combinant les informations contenues dans la boîte englobante autour de la personne avec les informations contextuelles extraites de la scène.Nos résultats montrent comment le contexte scénique fournit des informations importantes pour reconnaître automatiquement les états émotionnels et motivent des recherches supplémentaires dans cette direction. Le jeu de données et le code source sont mis à disposition sous licence open-source et disponibles à l'adresse suivante : https://github.com/rkosti/emotic. Le lien vers l'article publié après examen par les pairs est : https://ieeexplore.ieee.org/document/8713881.