用于多模态情感分析的上下文跨模态注意力机制

多模态情感分析面临诸多挑战，其中之一是如何有效融合文本、视觉和语音等不同模态的输入信息。本文提出了一种基于循环神经网络的多模态注意力框架，该框架利用上下文信息进行话语级别的情感预测。所提方法在多模态多话语表示上应用注意力机制，旨在学习各模态间对情感预测具有贡献的关键特征。我们在两个多模态情感分析基准数据集上评估了该方法，分别为CMU多模态观点级情感强度数据集（CMU-MOSI）和近期发布的CMU多模态观点情感与情绪强度数据集（CMU-MOSEI）。实验结果表明，该方法在MOSI和MOSEI数据集上的准确率分别达到82.31%和79.80%，相较于现有最先进模型，分别提升了约2个百分点和1个百分点，验证了所提方法的有效性。