文本到文本的预训练用于数据到文本任务

我们研究了在数据到文本生成任务中采用“预训练+微调”策略的效果。实验结果表明，以T5形式进行的文本到文本预训练，使得结构简单、端到端的Transformer模型能够超越专为数据到文本生成设计的流水线式神经架构，以及基于BERT和GPT-2等语言模型的其他预训练方法。尤为重要的是，T5预训练显著提升了模型的泛化能力，这在跨领域测试集上表现尤为明显，取得了显著的性能提升。我们希望本研究能为未来相关领域的研究提供一个有价值的基准，以应对迁移学习在数据到文本生成任务中日益普遍的趋势。