Amélioration de la fusion multimodale par maximisation hiérarchique de l'information mutuelle pour l'analyse multimodale du sentiment

Dans l’analyse multimodale du sentiment (MSA), la performance d’un modèle dépend fortement de la qualité des embeddings synthétisés. Ces embeddings sont générés à partir d’un processus amont appelé fusion multimodale, dont l’objectif est d’extraire et de combiner les données brutes unimodales d’entrée afin de produire une représentation multimodale plus riche. Les travaux antérieurs procèdent soit par une rétropropagation de la perte de tâche, soit par une manipulation des propriétés géométriques des espaces de caractéristiques, ce qui néglige la préservation d’informations critiques liées à la tâche, qui transitent des entrées vers les résultats de fusion. Dans ce travail, nous proposons un cadre nommé MultiModal InfoMax (MMIM), qui maximise hiérarchiquement l’information mutuelle (MI) entre les paires d’entrées unimodales (inter-modalité) et entre le résultat de fusion multimodale et les entrées unimodales, afin de préserver l’information pertinente à la tâche tout au long du processus de fusion multimodale. Ce cadre est entraîné conjointement avec la tâche principale (MSA) afin d’améliorer les performances de la tâche de MSA en aval. Pour surmonter le problème intraitable des bornes d’information mutuelle, nous proposons également une série de méthodes paramétriques et non paramétriques, calculatoirement simples, pour approcher la valeur réelle de la MI. Les résultats expérimentaux sur deux jeux de données largement utilisés démontrent l’efficacité de notre approche. L’implémentation de ce travail est disponible publiquement à l’adresse suivante : https://github.com/declare-lab/Multimodal-Infomax.