Analyse de l'expression des sentiments multimodale utilisant une fusion hiérarchique avec modélisation du contexte

L'analyse de sentiment multimodale est un domaine de recherche en pleine expansion. Un secteur prometteur dans ce champ concerne l'amélioration du mécanisme de fusion multimodale. Nous présentons une nouvelle stratégie de fusion de caractéristiques qui s'effectue de manière hiérarchique, en commençant par la fusion des modalités deux à deux, avant de fusionner les trois modalités ensemble. Dans le cadre de l'analyse de sentiment multimodale d'énoncés individuels, notre stratégie surpasse la concaténation conventionnelle des caractéristiques de 1 %, ce qui équivaut à une réduction de 5 % du taux d'erreur. Pour l'analyse de sentiment multimodale au niveau des énoncés dans des clips vidéo multicoupures, où les techniques actuelles d'avant-garde intègrent des informations contextuelles provenant d'autres énoncés du même clip, notre fusion hiérarchique offre une amélioration allant jusqu'à 2,4 % (presque une réduction de 10 % du taux d'erreur) par rapport à la concaténation actuellement utilisée. L'implémentation de notre méthode est disponible publiquement sous forme de code source ouvert.