基于Transformer的自蒸馏模型在对话中进行多模态情感识别

情感识别在对话中（ERC）是指识别对话中每个话语所表达的情感，这对于构建具有同理心的机器至关重要。现有的研究主要集中在捕捉文本模态中的上下文和说话者敏感的依赖关系，而忽略了多模态信息的重要性。与文本对话中的情感识别不同，多模态ERC中捕捉话语之间的内部和跨模态交互、学习不同模态之间的权重以及增强模态表示起着重要作用。本文提出了一种基于变压器并结合自蒸馏（SDT）的模型来完成这一任务。该模型通过使用内部和跨模态变压器来捕捉内部和跨模态交互，并通过设计分层门控融合策略动态学习不同模态之间的权重。此外，为了学习更具表现力的模态表示，我们将所提模型的软标签作为额外的训练监督信号。具体而言，我们引入了自蒸馏机制，将硬标签和软标签的知识从所提模型转移到每个模态中。实验结果表明，在IEMOCAP和MELD数据集上，SDT模型的表现优于以往的最先进基线模型。