RAG hybride : Amélioration de la précision du RAG (génération augmentée par recherche) grâce à la recherche sémantique et aux récupérateurs basés sur des requêtes hybrides

La génération augmentée par récupération (Retrieval-Augmented Generation, RAG) est une approche courante visant à intégrer une base de connaissances privée constituée de documents dans des modèles linguistiques massifs (Large Language Models, LLM) afin de concevoir des systèmes génératifs de réponse aux questions (Generative Q&A). Toutefois, l’exactitude de RAG devient de plus en plus difficile à maintenir à mesure que la taille du corpus de documents augmente, le module de récupération (Retriever) jouant un rôle déterminant dans la précision globale de RAG en extrayant le document le plus pertinent du corpus pour fournir un contexte au LLM. Dans cet article, nous proposons une méthode baptisée « Blended RAG », qui combine des techniques de recherche sémantique telles que les index vectoriels denses et les index d’encodeurs creux, avec des stratégies hybrides de requête. Notre étude obtient des résultats de récupération améliorés et établit de nouveaux seuils de référence sur des jeux de données d’information retrieval (IR), notamment NQ et TREC-COVID. Nous étendons par la suite ce « récupérateur hybride » au cadre RAG, démontrant des performances nettement supérieures sur des jeux de données de Q&A générative comme SQUAD, dépassant même les performances obtenues par la fine-tuning.