基于分层互信息最大化提升多模态融合的多模态情感分析

在多模态情感分析（Multimodal Sentiment Analysis, MSA）中，模型的性能高度依赖于合成嵌入（synthesized embeddings）的质量。这些嵌入由上游的多模态融合（multimodal fusion）过程生成，其目标是从输入的单模态原始数据中提取并融合信息，以构建更丰富的多模态表征。以往的研究通常通过反向传播任务损失或调整特征空间的几何属性来优化融合结果，但这类方法往往忽视了从输入到融合输出过程中关键任务相关信息的保留。为此，本文提出一种名为多模态信息最大化的框架——MultiModal InfoMax（MMIM）。该框架通过分层最大化单模态输入对之间的互信息（Mutual Information, MI，即模态间互信息）以及融合结果与单模态输入之间的互信息，以确保在多模态融合过程中有效保留任务相关的信息。MMIM框架与主任务（MSA）联合训练，从而提升下游多模态情感分析任务的性能。针对互信息估计中难以求解的问题，本文进一步设计了一套计算简便的参数化与非参数化方法，用于近似互信息的真实值。在两个广泛使用的公开数据集上的实验结果表明，所提方法具有显著的有效性。本工作的代码已开源，可访问 https://github.com/declare-lab/Multimodal-Infomax 获取。