Search-in-the-Chain : Amélioration interactive des grands modèles linguistiques par recherche pour des tâches exigeant des connaissances

Assurer l’exactitude, la crédibilité et la traçabilité du contenu généré par les grands modèles linguistiques (LLM) est crucial, en particulier dans les tâches complexes exigeant un raisonnement multi-étapes où chaque étape repose sur des connaissances spécifiques. La génération augmentée par récupération (retrieval-augmented generation) présente un potentiel prometteur pour résoudre ce problème. Toutefois, la question de quand et comment intégrer la récupération d’information (IR) dans les LLM demeure un défi majeur. Les travaux antérieurs souffrent de deux limites principales : d’une part, des connaissances erronées récupérées par IR peuvent induire en erreur le LLM ; d’autre part, l’interaction entre IR et LLM perturbe la chaîne de raisonnement du modèle. Ce papier propose un cadre novateur, nommé Search-in-the-Chain (SearChain), pour orchestrer l’interaction entre LLM et IR afin de surmonter ces défis. Premièrement, le LLM génère une chaîne de raisonnement appelée Chain-of-Query (CoQ), dans laquelle chaque nœud est composé d’une paire requête-réponse orientée vers la récupération d’information. Deuxièmement, l’IR valide la réponse de chaque nœud de la CoQ : lorsqu’il affiche une forte confiance, il corrige les réponses incohérentes avec les informations récupérées, ce qui améliore la crédibilité. Troisièmement, le LLM peut identifier ses lacunes de connaissance au sein de la CoQ et solliciter l’IR pour compléter ces manques, ce qui renforce à la fois l’exactitude du raisonnement et celle des connaissances. Enfin, SearChain produit non seulement un processus de raisonnement structuré, mais aussi des références aux documents d’appui pour chaque étape, ce qui améliore significativement la traçabilité. L’interaction avec IR dans SearChain établit une nouvelle voie de raisonnement basée sur une structure arborescente, permettant au LLM de modifier dynamiquement le cours de son raisonnement. Les expérimentations montrent que SearChain surpasser les états de l’art sur des tâches complexes exigeant des connaissances, notamment les questions à plusieurs sauts (multi-hop Q&A), le remplissage de champs (slot filling), la vérification de faits (fact checking) et les réponses longues (long-form Q&A).