基于句子级目标的预训练Transformer模型用于答案句子选择

设计问答系统的一项重要任务是答案句子选择（Answer Sentence Selection, AS2）：从一组检索到的相关文档中，选出包含（或构成）问题答案的句子。本文提出三种新颖的基于句子级别的Transformer预训练目标，通过整合文档内及文档间的段落级语义信息，以提升Transformer模型在AS2任务上的性能，并降低对大规模标注数据集的依赖。具体而言，模型被要求预测以下三类任务：（i）两个句子是否来自同一段落；（ii）给定句子是否来自指定段落；（iii）两个段落是否来自同一文档。在三个公开数据集和一个工业级AS2数据集上的实验结果表明，所提出的预训练Transformer模型在AS2任务上显著优于RoBERTa、ELECTRA等基线模型，展现出优异的实证性能。