Attentions inter-modales contextuelles pour l'analyse de sentiment multimodale

L’analyse de sentiment multimodale soulève divers défis, dont la combinaison efficace de différentes modalités d’entrée, à savoir le texte, les éléments visuels et les composantes acoustiques. Dans cet article, nous proposons un cadre fondé sur les réseaux de neurones récurrents et basé sur l’attention multimodale, qui exploite les informations contextuelles pour la prédiction du sentiment au niveau de l’énoncé. La méthode proposée applique l’attention sur des représentations multimodales et multi-énoncés, dans le but d’apprendre les caractéristiques contributives parmi celles-ci. Nous évaluons notre approche sur deux jeux de données de référence pour l’analyse de sentiment multimodale : le corpus CMU Multi-modal Opinion-level Sentiment Intensity (CMU-MOSI) et le corpus récemment publié CMU Multi-modal Opinion Sentiment and Emotion Intensity (CMU-MOSEI). Les résultats d’évaluation montrent l’efficacité de notre approche, avec des taux de précision respectifs de 82,31 % et 79,80 % pour les jeux de données MOSI et MOSEI. Ces performances représentent une amélioration d’environ 2 et 1 point par rapport aux modèles de pointe actuels pour ces deux jeux de données.