显著短语感知的密集检索：密集检索器能否模仿稀疏检索器？

尽管密集检索模型（dense retrievers）近年来广受欢迎且具备诸多优势，但在准确匹配查询中的关键短语和稀有实体，以及在域外数据上的泛化能力方面，仍显著落后于诸如BM25等稀疏方法。有观点认为，这是密集模型固有的局限性。本文对此提出反驳，提出一种名为关键短语感知检索器（Salient Phrase Aware Retriever, SPAR）的新型密集检索模型，该模型具备稀疏模型的词汇匹配能力。我们证明，可通过训练一个密集的词汇模型Λ来模仿稀疏模型的行为，而SPAR正是在标准密集检索器的基础上引入该模型Λ所构建的。实验结果表明，SPAR在多项任务上均展现出卓越性能，涵盖五个问答数据集、MS MARCO段落检索任务，以及用于域外评估的EntityQuestions和BEIR基准测试，其表现超越了当前最先进的密集与稀疏检索模型。SPAR的代码与模型已开源，可访问：https://github.com/facebookresearch/dpr-scale/tree/main/spar