Verstehen, was LLM benötigt: Doppelte Präferenzanpassung für retrivale-gestützte Generierung

Die Retrieval-augmentierte Generierung (RAG) hat ihre Effektivität bei der Milderung des Halluzinationsproblems großer Sprachmodelle (LLMs) bewiesen. Dennoch stellt die Schwierigkeit, den Retriever mit den unterschiedlichen Wissenspräferenzen der LLMs auszurichten, eine unvermeidliche Herausforderung bei der Entwicklung eines zuverlässigen RAG-Systems dar. Um dieses Problem anzugehen, schlagen wir DPA-RAG vor, ein universelles Framework, das darauf abzielt, unterschiedliche Wissenspräferenzen innerhalb von RAG-Systemen auszugleichen.Speziell führen wir zunächst einen Präferenzwissenskonstruktionspipeline ein und integrieren fünf innovative Abfrageerweiterungsstrategien, um den Mangel an Präferenzdaten zu lindern. Auf Basis dieser Präferenzdaten erreicht DPA-RAG sowohl externe als auch interne Präferenzausrichtung: 1) Es kombiniert paarweise, punktweise und kontrastive Präferenzausrichtungsfähigkeiten im Re-Ranker, um externe Präferenzausrichtungen zwischen den Komponenten des RAG-Systems zu erreichen. 2) Es führt zudem eine vorbereitende Pra-Ausrichtungsphase vor dem üblichen überwachten Feinjustierungsprozess (SFT) ein, wodurch LLMs in der Lage sind, Wissen implizit zu erfassen, das ihren Schließungspräferenzen entspricht, und so die interne Ausrichtung der LLMs erreicht wird.Experimentelle Ergebnisse auf vier wissensintensiven QA-Datensätzen zeigen, dass DPA-RAG alle Baseline-Methoden übertrifft und sowohl Black-Box- als auch Open-Source-Leser für LLMs nahtlos integriert. Eine weitere qualitative Analyse und Diskussion bieten zudem empirische Anleitungen zur Erreichung zuverlässiger RAG-Systeme. Unser Code ist öffentlich verfügbar unter https://github.com/dongguanting/DPA-RAG.