Mécanisme à portes pour l'analyse multimodale des sentiments basée sur l'attention

L’analyse multimodale du sentiment a récemment connu une forte popularité en raison de son application pertinente aux publications sur les réseaux sociaux, aux appels de service client et aux vidéos-blogs. Dans cet article, nous abordons trois aspects de l’analyse multimodale du sentiment : 1. l’apprentissage des interactions entre modalités, c’est-à-dire la manière dont les différentes modalités contribuent à l’expression du sentiment ; 2. l’apprentissage des dépendances à long terme dans les interactions multimodales ; et 3. la fusion des indices unimodaux et des indices intermodaux. Parmi ces trois aspects, nous constatons que l’apprentissage des interactions entre modalités apporte un bénéfice significatif à cette tâche. Nous menons des expériences sur deux jeux de données standards : le corpus CMU Multimodal Opinion level Sentiment Intensity (CMU-MOSI) et le corpus CMU Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI). Notre approche atteint respectivement des précisions de 83,9 % et 81,1 % sur ces deux tâches, soit une amélioration absolue de 1,6 % et 1,34 % par rapport à l’état de l’art actuel.