摘要
这项研究提出了一种预训练序列到序列模型在文档排序任务中的新适应方法。我们的方法与基于仅编码器预训练变换器架构（如BERT）的常用分类排序公式有根本的不同。我们展示了如何训练序列到序列模型生成相关性标签作为“目标词”，以及这些目标词的底层logits如何被解释为用于排序的相关性概率。在流行的MS MARCO段落排序任务中，实验结果表明，我们的方法至少与之前的分类模型相当，并且可以使用更大、更新的模型超越它们。在TREC 2004鲁棒性赛道的测试集合上，我们展示了一种零样本迁移方法，该方法优于需要数据集内交叉验证的先前最先进模型。此外，我们发现，在数据稀缺的情况下（即训练样本较少时），我们的方法显著优于仅编码器模型。我们通过改变目标词进一步探究了这一观察结果，以探查模型对潜在知识的利用情况。