Réseau Transformer hiérarchique pour la reconnaissance émotionnelle au niveau de l'énoncé

Bien qu’il ait été réalisé des progrès significatifs dans la détection des émotions dans le texte, de nombreux défis persistent dans le domaine de la reconnaissance émotionnelle au niveau de l’énoncé (ULER, utterance-level emotion recognition), notamment dans les systèmes de dialogue. Dans cet article, nous abordons plusieurs problèmes clés liés à l’ULER dans les systèmes de dialogue : (1) le même énoncé peut exprimer différentes émotions selon le contexte ou le locuteur ; (2) l’information contextuelle à longue portée est difficile à capturer efficacement ; (3) contrairement au problème classique de classification de texte, cette tâche repose sur un nombre limité de jeux de données, dont la plupart contiennent des dialogues ou des échanges oraux insuffisants. Pour relever ces défis, nous proposons un cadre hiérarchique basé sur le transformer (dans ce papier, le terme « transformer » fait généralement référence à la partie encodeur du modèle transformer) comprenant un transformer de bas niveau pour modéliser les entrées au niveau des mots, et un transformer de haut niveau pour capturer le contexte des représentations au niveau des énoncés. Nous utilisons un modèle pré-entraîné de représentation bidirectionnelle des mots par transformateurs (BERT) comme transformer de bas niveau, ce qui revient à intégrer des données externes dans le modèle et permet de pallier partiellement le manque de données. En outre, pour la première fois, nous intégrons des embeddings de locuteur dans le modèle, ce qui permet à notre architecture de capturer les interactions entre les interlocuteurs. Des expérimentations menées sur trois jeux de données de reconnaissance émotionnelle dans les dialogues — Friends, EmotionPush et EmoryNLP — démontrent que notre modèle hiérarchique basé sur le transformer atteint des améliorations respectives de 1,98 %, 2,83 % et 3,94 % par rapport aux méthodes de l’état de l’art, mesurées en macro-F1 sur chaque jeu de données.