Feinabstimmen der gesamten RAG-Architektur (einschließlich des DPR-Retrievers) für die Fragebeantwortung

In diesem Paper zeigen wir, wie die gesamte Retrieval-Augmented-Generation-(RAG)-Architektur end-to-end feinabgestimmt werden kann. Wir heben die zentralen ingenieurtechnischen Herausforderungen hervor, die bewältigt werden mussten, um dieses Ziel zu erreichen. Zudem vergleichen wir die Leistungsfähigkeit der end-to-end-RAG-Architektur mit der ursprünglichen RAG-Architektur im Kontext der Fragebeantwortung. Wir haben unsere Implementierung in der HuggingFace Transformers-Bibliothek öffentlich zugänglich gemacht.