检索即注意力：基于单一Transformer的端到端检索与阅读学习

在知识密集型任务（如开放域问答，QA）中，现有系统通常包含两个阶段：首先从大规模语料库中高效检索相关文档，随后对选定文档进行细粒度阅读以生成答案。传统的做法是将检索器（retriever）与阅读器（reader）分别建模，这种分离式架构不仅实现复杂，且难以进行端到端的训练与适应。本文重新审视这一设计范式，摒弃分离的架构与训练方式，提出一种统一的Transformer模型——检索即注意力（Retrieval as Attention, ReAtt），该模型通过单一网络结构实现检索与问答功能，并仅依赖最终问答任务的监督信号进行端到端训练。我们首次证明，仅通过端到端训练的单一模型即可在检索与问答任务上均达到具有竞争力的性能，其表现可与当前最先进的独立训练的检索器和阅读器相媲美，甚至略有超越。此外，该模型在监督与无监督两种设置下，对领域外数据集的适应能力显著提升，展现出优异的泛化性能。因此，ReAtt为知识密集型任务提供了一种简洁而灵活的解决方案。代码与模型已开源，地址为：https://github.com/jzbjyb/ReAtt。