面向任务对话中的噪声信道模型预训练

面向任务的对话直接解码已知会受到解释消减效应的影响，表现为模型倾向于生成短小且泛化的回应。本文主张使用贝叶斯定理将对话任务分解为两个模型：给定响应的情境分布以及响应本身的先验分布。这一方法，即噪声信道模型的具体实现，不仅减轻了解释消减效应，还允许以原则性的方式结合大型预训练模型作为响应先验。我们通过广泛的实验展示了噪声信道模型相较于直接解码能生成更好的回应，并且采用两阶段预训练策略（包括开放域对话数据和面向任务的对话数据）比随机初始化的模型表现更优。