2 个月前

TransferTransfo:一种基于神经网络的对话代理的迁移学习方法

Thomas Wolf; Victor Sanh; Julien Chaumond; Clement Delangue
TransferTransfo:一种基于神经网络的对话代理的迁移学习方法
摘要

我们介绍了一种新的生成式数据驱动对话系统(例如聊天机器人)的方法,称为TransferTransfo,该方法结合了基于迁移学习的训练方案和高容量的Transformer模型。通过使用多任务目标对模型进行微调,该目标结合了多个无监督预测任务。与当前最先进的端到端对话模型(如记忆增强型序列到序列模型和信息检索模型)相比,经过微调后的模型表现出显著的改进。在Conversational Intelligence Challenge 2的私有PERSONA-CHAT数据集上,这种方法取得了新的最先进水平,其相应的困惑度、Hits@1和F1指标分别为16.28(绝对改进45%)、80.7(绝对改进46%)和19.5(绝对改进20%)。