基于语言引导的自适应超模态表征学习用于多模态情感分析

尽管多模态情感分析（Multimodal Sentiment Analysis, MSA）通过融合来自多种模态（如语言、视频和音频）的丰富信息展现出良好的性能，但不同模态之间潜在的情感无关信息及冲突信息仍可能制约模型性能的进一步提升。为缓解这一问题，本文提出自适应语言引导的多模态Transformer（Adaptive Language-guided Multimodal Transformer, ALMT），其核心在于引入一种自适应超模态学习（Adaptive Hyper-modality Learning, AHL）模块。该模块在不同尺度的语言特征引导下，从视觉与音频特征中学习一种能够抑制无关性与冲突性的表示。通过获得的超模态表示，模型能够实现多模态融合，从而构建互补且协同的联合表示，有效提升多模态情感分析性能。实验结果表明，ALMT在多个主流数据集（如MOSI、MOSEI和CH-SIMS）上均取得了当前最优的性能表现；大量消融实验进一步验证了所提出的无关性/冲突抑制机制的有效性与必要性。