要約
本研究提出了一种预训练序列到序列模型在文档排序任务中的新适应方法。我们的方法从根本上不同于基于仅编码器预训练变压器架构（如BERT）的常用分类方法。我们展示了如何训练序列到序列模型生成相关性标签作为“目标词”，以及这些目标词的底层logits如何被解释为用于排序的相关性概率。在流行的MS MARCO段落排序任务中，实验结果显示我们的方法至少与之前的分类方法相当，并且可以使用更大、更新的模型超越它们。在TREC 2004 Robust Track的测试集合上，我们证明了零样本迁移学习方法优于需要数据集内交叉验证的以往最先进模型。此外，我们发现，在数据稀缺的情况下（即训练样本较少时），我们的方法显著优于仅编码器模型。为了进一步探讨这一观察结果，我们通过改变目标词来探究模型对潜在知识的利用情况。