17 天前
针对问答任务,微调整个RAG架构(包括DPR检索器)
Shamane Siriwardhana, Rivindu Weerasekera, Elliott Wen, Suranga Nanayakkara

摘要
本文阐述了如何以端到端的方式对整个检索增强生成(Retrieval-Augmented Generation, RAG)架构进行微调。我们重点介绍了为实现该目标所需克服的主要工程挑战。同时,我们对比分析了端到端RAG架构在问答任务中相较于原始RAG架构的性能优势。我们的实现已开源,并集成至HuggingFace Transformers库中。