MPC-BERT：用于多方对话理解的预训练语言模型

近年来，各种用于多方对话（MPC）的神经模型在诸如对话对象识别、说话人识别和回应预测等多种任务上取得了显著的改进。然而，现有的多方对话方法通常单独表示对话者和话语，忽略了多方对话中固有的复杂结构，而这些结构可能提供关键的对话者和话语语义信息，有助于增强对话理解过程。为此，我们提出了MPC-BERT，这是一种预训练模型，旨在通过几个精心设计的自监督任务，在统一模型中学习“谁对谁说了什么”。具体而言，这些任务可以大致分为两类：(1) 对话者结构建模，包括回复对象识别、相同说话人搜索和指针一致性区分；(2) 话语语义建模，包括掩码共享话语恢复和共享节点检测。我们在三个下游任务上评估了MPC-BERT的表现，包括对话对象识别、说话人识别和回应选择。实验结果表明，MPC-BERT在两个基准测试的所有三个下游任务上均大幅超越了先前的方法，并达到了新的最先进水平。