Blended RAG: Steigerung der Genauigkeit von RAG (Retriever-Augmented Generation) durch semantische Suche und hybride abfragebasierte Recherche-Methoden

Retrieval-Augmented Generation (RAG) ist ein verbreiteter Ansatz, um große Sprachmodelle (Large Language Models, LLM) mit einer privaten Dokumentenwissensbasis zu verbinden, um generative Frage-Antwort-Systeme (Generative Q&A) zu entwickeln. Doch mit zunehmender Skalierung der Dokumentenkorpus wird die Genauigkeit von RAG zunehmend herausfordernd, wobei die Retrievers eine überproportional große Rolle bei der Gesamtgenauigkeit von RAG spielen, da sie das relevanteste Dokument aus dem Korpus extrahieren, um dem LLM kontextuelle Informationen bereitzustellen. In diesem Paper stellen wir die Methode „Blended RAG“ vor, die semantische Suchtechniken wie dichte Vektor-Indizes und spärliche Encoder-Indizes mit hybriden Abfragen kombiniert. Unsere Studie erreicht verbesserte Retrieval-Ergebnisse und setzt neue Benchmarks für IR-(Information Retrieval)-Datensätze wie NQ und TREC-COVID. Darüber hinaus erweitern wir einen solchen „Blended Retriever“ auf das RAG-System und demonstrieren dabei deutlich überlegene Ergebnisse auf generativen Q&A-Datensätzen wie SQUAD, die sogar die Leistung von Fine-Tuning übertreffen.