HyperAIHyperAI

Command Palette

Search for a command to run...

RankRAG : Unification du classement de contexte avec la génération augmentée de récupération dans les LLM

Yue Yu Wei Ping Zihan Liu Boxin Wang Jiaxuan You Chao Zhang Mohammad Shoeybi Bryan Catanzaro

Résumé

Les grands modèles linguistiques (LLM) utilisent généralement les k meilleurs contextes fournis par un module de récupération dans les architectures de génération augmentée par la récupération (RAG). Dans ce travail, nous proposons un nouveau cadre d'ajustage par instruction appelé RankRAG, qui permet à un seul LLM d'être ajusté par instruction afin de remplir simultanément deux fonctions dans RAG : le classement des contextes et la génération de réponses. En particulier, les LLM ajustés par instruction obtiennent des performances remarquables en intégrant uniquement une faible proportion de données de classement dans le mélange d'entraînement, surpassant ainsi les modèles spécialisés de classement existants, y compris le même LLM ajusté exclusivement sur une grande quantité de données de classement. En ce qui concerne la génération, nous comparons notre modèle à plusieurs baselines performantes, notamment GPT-4-0613, GPT-4-turbo-2024-0409 et ChatQA-1.5, un modèle open-source offrant les meilleures performances actuelles sur les benchmarks RAG. Plus précisément, notre modèle Llama3-RankRAG surpasse significativement Llama3-ChatQA-1.5 et les modèles GPT-4 sur neuf benchmarks exigeant une connaissance approfondie. En outre, il se distingue également par des performances comparables à celles de GPT-4 sur cinq benchmarks RAG dans le domaine biomédical, sans avoir été ajusté par instruction sur des données biomédicales, démontrant ainsi une capacité exceptionnelle de généralisation à de nouveaux domaines.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
RankRAG : Unification du classement de contexte avec la génération augmentée de récupération dans les LLM | Articles | HyperAI