RA-DIT：检索增强型双指令微调

检索增强型语言模型（Retrieval-Augmented Language Models, RALMs）通过访问外部数据存储中的长尾知识和最新信息，提升了模型性能，但其构建过程具有挑战性。现有方法要么需要对语言模型（LM）预训练阶段进行昂贵的、专为检索设计的修改，要么采用事后的数据存储集成方式，导致性能未能达到最优。为此，我们提出一种轻量级微调方法——检索增强型双指令微调（Retrieval-Augmented Dual Instruction Tuning, RA-DIT），为模型引入检索能力提供了一种全新的第三种路径：无需改变原始架构，即可将任意预训练大语言模型（LLM）适配为具备检索能力的模型。我们的方法包含两个独立的微调阶段：（1）对预训练语言模型进行微调，使其更有效地利用检索到的信息；（2）对检索器进行微调，使其返回的结果更符合语言模型的偏好。通过在需要同时结合知识运用与上下文感知能力的任务上进行联合微调，我们证明了每个阶段均能带来显著的性能提升，而两个阶段协同使用则进一步实现额外增益。我们提出的最优模型——RA-DIT 65B，在一系列知识密集型的零样本与少样本学习基准测试中均达到了当前最优水平。相较于现有的上下文内检索增强方法，该模型在零样本设置下平均性能提升高达+8.9%，在五样本设置下平均提升+1.4%，展现出显著的优势。