Duolin Sun Dan Yang Yue Shen Yihan Jiao Zhehao Tan Jie Feng Lianzhen Zhong Jian Wang Peng Wei Jinjie Gu

Résumé

L’approche Retrieval-Augmented Generation (RAG) améliore les systèmes de réponse aux questions et les tâches de génération de dialogues en intégrant des technologies de récupération d’information (IR) aux grands modèles linguistiques (LLM). Cette stratégie, qui consiste à extraire des informations à partir de bases de connaissances externes afin d’enrichir les capacités de réponse des modèles génératifs, a déjà connu des succès notables. Toutefois, les méthodes RAG actuelles rencontrent encore de nombreux défis lorsqu’elles traitent des requêtes à plusieurs sauts (multi-hop). Par exemple, certaines approches s’appuient excessivement sur une récupération itérative, ce qui entraîne un gaspillage important d’étapes de récupération pour les requêtes complexes. De plus, l’utilisation de la requête originale, souvent complexe, pour la récupération peut échouer à capturer le contenu pertinent pour des sous-requêtes spécifiques, conduisant à des résultats bruités. Si ce bruit n’est pas correctement géré, il peut provoquer un phénomène d’accumulation de bruit. Pour relever ces défis, nous proposons HANRAG, un cadre novateur basé sur une approche heuristique, conçu pour traiter efficacement des problèmes de complexité variable. Piloté par un puissant « révélateur », HANRAG route les requêtes, les décompose en sous-requêtes et filtre le bruit présent dans les documents récupérés. Cette approche renforce la capacité d’adaptation du système ainsi que sa résistance au bruit, lui permettant de traiter efficacement une grande variété de requêtes. Nous comparons notre cadre aux principales méthodes industrielles sur divers benchmarks. Les résultats montrent que notre approche obtient des performances supérieures, tant dans les tâches de réponse aux questions à un seul saut qu’à plusieurs sauts.