摘要
情感识别在对话（Emotion Recognition in Conversation, ERC）中对于人机交互（Human-Computer Interaction, HCI）系统具有重要意义，因其能够提供共情式服务。多模态ERC相较于单模态方法，可有效缓解其固有缺陷。近年来，图神经网络（Graph Neural Networks, GNNs）因其在关系建模方面的优异表现，被广泛应用于多个领域。在多模态ERC任务中，GNN能够同时捕捉长距离上下文信息与跨模态交互信息。然而，现有方法如MMGCN通常采用直接融合多模态数据的方式，容易导致冗余信息的产生，并造成多样化信息的丢失。为此，本文提出一种基于有向图的跨模态特征补全模块（Graph-based Cross-modal Feature Complementation, GraphCFC），能够高效建模上下文与交互信息。GraphCFC通过引入多个子空间提取器与成对跨模态互补（Pair-wise Cross-modal Complementary, PairCC）策略，有效缓解了多模态融合中的异质性差距问题。我们从构建的图结构中提取多种类型的边进行编码，使GNN在消息传递过程中能够更准确地提取关键的上下文与跨模态交互信息。此外，本文设计了一种新型GNN结构——GAT-MLP，为多模态学习提供了一个统一的网络框架。在两个基准数据集上的实验结果表明，所提出的GraphCFC方法在性能上超越了当前最先进的（State-of-the-Art, SOTA）方法，验证了其有效性与优越性。