学习用于检索式对话的有效上下文-响应匹配模型与自监督任务

构建一个能够根据多轮对话上下文选择适当回应的智能对话系统是一项极具挑战性的任务。现有的研究主要集中在利用各种神经网络架构或预训练语言模型（PLMs）建立上下文-回应匹配模型，并通常通过单一的回应预测任务进行学习。这些方法忽略了对话数据中包含的许多潜在训练信号，而这些信号可能有助于上下文理解并生成更好的特征用于回应预测。此外，从现有对话系统中通过传统监督方式检索到的回应仍然面临一些关键问题，包括不连贯性和不一致性。为了解决这些问题，本文提出了一种基于预训练语言模型并通过设计针对对话数据的辅助自监督任务来学习上下文-回应匹配模型的方法。具体而言，我们引入了四种自监督任务，包括下一会话预测、话语恢复、不连贯性检测和一致性判别，并以多任务方式联合训练基于预训练语言模型的回应选择模型。通过这种方式，辅助任务可以引导匹配模型的学习达到更好的局部最优解，并选择更加合适的回应。实验结果表明，在两个基准数据集上的测试显示，所提出的辅助自监督任务显著提高了检索式对话中多轮回应选择的效果，我们的模型在这两个数据集上均达到了新的最先进水平。