2 个月前

基于上下文建模的多模态情感分析层次融合方法

N. Majumder; D. Hazarika; A. Gelbukh; E. Cambria; S. Poria
基于上下文建模的多模态情感分析层次融合方法
摘要

多模态情感分析是一个研究领域中非常活跃且迅速发展的分支。该领域的潜在机遇之一是改进多模态融合机制。我们提出了一种新的特征融合策略,该策略以分层的方式进行,首先两两融合模态,然后再融合所有三个模态。在单个话语的多模态情感分析中,我们的策略比传统的特征拼接方法提高了1%,相当于错误率降低了5%。在多话语视频片段的话语级多模态情感分析中,当前最先进的技术会结合同一片段中其他话语的上下文信息,而我们的分层融合方法比目前使用的特征拼接方法最高可提高2.4%(几乎相当于错误率降低10%)。我们的方法的实现形式为开源代码,已公开提供。