摘要
多模态情感分析近年来受到广泛关注，因其在社交媒体内容、客户服务通话及视频博客等场景中具有重要应用价值。本文针对多模态情感分析中的三个关键问题展开研究：1）跨模态交互学习，即不同模态如何协同影响情感判断；2）多模态交互中长期依赖关系的学习；3）单模态特征与跨模态特征的融合。在上述三项研究中，我们发现学习跨模态交互对提升情感分析性能具有显著优势。我们在两个基准数据集——CMU多模态观点级情感强度数据集（CMU-MOSI）和CMU多模态观点情感与情绪强度数据集（CMU-MOSEI）上进行了实验。所提出的方法在两项任务上分别取得了83.9%和81.1%的准确率，相较于当前最先进方法分别实现了1.6%和1.34%的绝对性能提升。