摘要
本文提出了利用预训练语言模型进行对话情感识别（Emotion Recognition in Conversation, ERC）的开创性工作。与常规文本不同，对话中的语句通常由不同参与者交替发出，且在以往研究中常被组织为层级结构。然而，此类结构不利于像XLNet这类预训练语言模型的应用。为解决这一问题，本文提出了一种一体化的XLNet模型——DialogXL，该模型通过增强的记忆机制以存储更长的历史上下文，并引入对话感知的自注意力机制，以有效处理多参与者的对话结构。具体而言，我们首先将XLNet原有的分段级循环机制改进为话语级（utterance-level）机制，从而更有效地建模对话数据。其次，我们用对话感知的自注意力机制替代XLNet中的原始自注意力机制，以捕捉说话人内部及跨说话人之间的关键依赖关系。我们在四个主流ERC基准数据集上进行了大量实验，并与当前主流模型进行对比。实验结果表明，所提出的DialogXL模型在所有数据集上均显著优于基线模型。此外，我们还进行了消融实验和错误分析等补充实验，结果进一步验证了DialogXL中关键模块的有效性与必要性。