响应选择模型真的知道下一步吗？多轮对话中的语句操控策略

本文研究了在基于检索的多轮对话系统中，根据用户和系统的对话历史选择最优响应的任务。近年来，预训练语言模型（如BERT、RoBERTa和ELECTRA）在各种自然语言处理任务中取得了显著的改进。类似地，通过将这些任务表述为对话-响应二分类任务，也可以利用此类语言模型来解决响应选择问题。尽管现有方法使用这种方法成功获得了最先进的结果，但我们观察到以这种方式训练的语言模型往往基于历史和候选响应的相关性进行预测，而忽略了多轮对话系统的顺序特性。这表明仅靠响应选择任务不足以学习话语之间的时序依赖关系。为此，我们提出了话语操作策略（Utterance Manipulation Strategies, UMS）来解决这一问题。具体而言，UMS包括几种策略（即插入、删除和搜索），这些策略有助于响应选择模型保持对话的一致性。此外，UMS是自监督方法，不需要额外的标注数据，因此可以轻松集成到现有的方法中。广泛的跨语言和模型评估显示，UMS在教授对话一致性方面非常有效，使得多个公开基准数据集上的模型性能显著超越当前最先进的水平。