Multilogue-Net : un RNN conscient du contexte pour la détection des émotions multimodales et l’analyse d’opinion dans les conversations

L’analyse des sentiments et la détection des émotions dans les conversations constituent un élément clé dans plusieurs applications du monde réel, et l’augmentation du nombre de modalités disponibles contribue à une meilleure compréhension des émotions sous-jacentes. La détection multi-modale des émotions et l’analyse des sentiments peuvent s’avérer particulièrement utiles, car les applications peuvent exploiter des sous-ensembles spécifiques des modalités disponibles selon les données disponibles. Les systèmes actuels traitant la fonctionnalité multi-modale échouent toutefois à tirer parti de, et à capturer, le contexte de la conversation à travers toutes les modalités, les dépendances entre les états émotionnels du locuteur et des interlocuteurs, ainsi que la pertinence et les relations entre les modalités disponibles. Dans cet article, nous proposons une architecture RNN end-to-end visant à surmonter tous les inconvénients mentionnés. À la date de rédaction de ce travail, notre modèle dépasse l’état de l’art sur un jeu de données de référence, selon diverses métriques de précision et de régression.