摘要
在多模态对话情境中高效捕捉一致性和互补性的语义特征对于多模态对话情感识别（MERC）至关重要。现有方法主要利用图结构建模对话上下文中的语义依赖关系，并采用图神经网络（GNN）来捕捉多模态语义特征以进行情感识别。然而，这些方法受到GNN某些固有特性的限制，如过平滑和低通滤波，导致无法有效学习长距离一致性信息和互补信息。由于一致性信息和互补性信息分别对应于低频信息和高频信息，本文从图谱的角度重新审视了多模态对话情感识别的问题。具体而言，我们提出了一种基于图谱的多模态一致性与互补协同学习框架GS-MCC。首先，GS-MCC使用滑动窗口构建多模态交互图以建模对话关系，并利用高效的傅里叶图算子分别提取长距离的高频和低频信息。然后，GS-MCC通过对比学习构建自监督信号，反映高频和低频信号的一致性和互补性语义协作，从而提高高频和低频信息反映真实情感的能力。最后，GS-MCC将协同的高频和低频信息输入到MLP网络和softmax函数中进行情感预测。大量实验表明，本文提出的GS-MCC架构在这两个基准数据集上具有优越性。