Retrieval-Augmented Generation für wissensintensive NLP-Aufgaben

Große vortrainierte Sprachmodelle haben sich als Speicher für faktisches Wissen in ihren Parametern erwiesen und erreichen bei der Feinabstimmung auf nachgeschaltete NLP-Aufgaben state-of-the-art-Ergebnisse. Ihre Fähigkeit, Wissen effizient abzurufen und präzise zu manipulieren, bleibt jedoch begrenzt, weshalb ihre Leistung bei wissensintensiven Aufgaben hinter spezialisierten Architekturen zurückbleibt. Zudem sind die Bereitstellung von Herkunftsangaben für ihre Entscheidungen sowie die Aktualisierung ihres Weltwissens weiterhin offene Forschungsfragen. Vortrainierte Modelle mit einer differenzierbaren Zugriffsmethode auf eine explizite, nicht-parametrische Speicherung können dieses Problem überwinden, wurden bisher jedoch lediglich für extraktive nachgeschaltete Aufgaben untersucht. Wir untersuchen ein allgemein anwendbares Feinabstimmungsrezept für Retrieval-augmented Generation (RAG) – Modelle, die vortrainierte parametrische und nicht-parametrische Speicher zur Sprachgenerierung kombinieren. Wir stellen RAG-Modelle vor, bei denen die parametrische Speicherung ein vortrainiertes Seq2Seq-Modell und die nicht-parametrische Speicherung ein dichter Vektorindex von Wikipedia ist, der mittels eines vortrainierten neuronalen Retrievers zugänglich gemacht wird. Wir vergleichen zwei RAG-Formulierungen: eine, die auf denselben abgerufenen Passagen für die gesamte generierte Sequenz basiert, und eine andere, die für jedes Token unterschiedliche Passagen nutzen kann. Wir feinjustieren und evaluieren unsere Modelle auf einer Vielzahl wissensintensiver NLP-Aufgaben und erreichen den Stand der Technik bei drei offenen Domänen-Frage-Antwort-Aufgaben, wobei sie parametrische Seq2Seq-Modelle sowie aufgaben-spezifische Retrieve-and-Extract-Architekturen schlagen. Für Sprachgenerierungsaufgaben stellen wir fest, dass RAG-Modelle spezifischere, vielfältigere und faktisch genauere Sprache generieren als eine state-of-the-art-Parametrisierung allein basierende Seq2Seq-Benchmark.