RAPTOR : traitement abstrait récursif pour une récupération organisée en arbre

Les modèles linguistiques augmentés par la récupération s'adaptent mieux aux évolutions de l’état du monde et intègrent efficacement des connaissances à queue longue. Toutefois, la plupart des méthodes existantes ne récupèrent que des extraits courts et contigus à partir d’un corpus de récupération, ce qui limite la compréhension globale du contexte documentaire. Nous proposons une approche novatrice consistant à embarquer, regrouper et résumer récursivement des extraits de texte, afin de construire un arbre hiérarchique avec des niveaux variés de résumé, construit de bas en haut. Lors de l’inférence, notre modèle RAPTOR récupère à partir de cet arbre, intégrant des informations provenant de documents longs à différents niveaux d’abstraction. Des expériences contrôlées montrent que la récupération basée sur des résumés récursifs offre des améliorations significatives par rapport aux modèles linguistiques augmentés traditionnels sur plusieurs tâches. Sur des tâches de réponse à des questions impliquant un raisonnement complexe et à plusieurs étapes, nous obtenons des résultats de pointe ; par exemple, en combinant la récupération RAPTOR avec l’utilisation de GPT-4, nous améliorons de 20 points absolus la performance maximale atteinte sur le benchmark QuALITY.