用于构建认知任务导向对话系统的预训练和基于注意力的神经网络

NOESIS II 挑战作为第八届对话系统技术挑战赛（DSTC 8）的第二赛道，是 DSTC 7 的延伸。该赛道引入了对部署的任务导向型对话系统至关重要的新元素。本文描述了我们在该挑战的所有子任务中进行评估的系统。我们研究了在多轮对话系统中应用预训练注意力网络的问题。同时，提出了几种适应方法，以调整预训练语言模型，使其适用于多轮对话系统，从而保持对话系统的固有特性。在 DSTC 8 第二赛道公布的评估结果中，我们提出的模型在子任务 1 中排名第四，在子任务 2 中排名第三，在子任务 3 和子任务 4 中分别排名第一。