HyperAIHyperAI

Command Palette

Search for a command to run...

RAPTOR : traitement abstrait récursif pour une récupération organisée en arbre

Parth Sarthi Salman Abdullah Aditi Tuli Shubh Khanna Anna Goldie Christopher D. Manning

Résumé

Les modèles linguistiques augmentés par la récupération s'adaptent mieux aux évolutions de l’état du monde et intègrent efficacement des connaissances à queue longue. Toutefois, la plupart des méthodes existantes ne récupèrent que des extraits courts et contigus à partir d’un corpus de récupération, ce qui limite la compréhension globale du contexte documentaire. Nous proposons une approche novatrice consistant à embarquer, regrouper et résumer récursivement des extraits de texte, afin de construire un arbre hiérarchique avec des niveaux variés de résumé, construit de bas en haut. Lors de l’inférence, notre modèle RAPTOR récupère à partir de cet arbre, intégrant des informations provenant de documents longs à différents niveaux d’abstraction. Des expériences contrôlées montrent que la récupération basée sur des résumés récursifs offre des améliorations significatives par rapport aux modèles linguistiques augmentés traditionnels sur plusieurs tâches. Sur des tâches de réponse à des questions impliquant un raisonnement complexe et à plusieurs étapes, nous obtenons des résultats de pointe ; par exemple, en combinant la récupération RAPTOR avec l’utilisation de GPT-4, nous améliorons de 20 points absolus la performance maximale atteinte sur le benchmark QuALITY.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp