HyperAIHyperAI

Command Palette

Search for a command to run...

显著短语感知的密集检索:密集检索器能否模仿稀疏检索器?

Xilun Chen Kushal Lakhotia Barlas Oğuz Anchit Gupta Patrick Lewis Stan Peshterliev Yashar Mehdad Sonal Gupta Wen-tau Yih

摘要

尽管密集检索模型(dense retrievers)近年来广受欢迎且具备诸多优势,但在准确匹配查询中的关键短语和稀有实体,以及在域外数据上的泛化能力方面,仍显著落后于诸如BM25等稀疏方法。有观点认为,这是密集模型固有的局限性。本文对此提出反驳,提出一种名为关键短语感知检索器(Salient Phrase Aware Retriever, SPAR)的新型密集检索模型,该模型具备稀疏模型的词汇匹配能力。我们证明,可通过训练一个密集的词汇模型Λ来模仿稀疏模型的行为,而SPAR正是在标准密集检索器的基础上引入该模型Λ所构建的。实验结果表明,SPAR在多项任务上均展现出卓越性能,涵盖五个问答数据集、MS MARCO段落检索任务,以及用于域外评估的EntityQuestions和BEIR基准测试,其表现超越了当前最先进的密集与稀疏检索模型。SPAR的代码与模型已开源,可访问:https://github.com/facebookresearch/dpr-scale/tree/main/spar


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供