HyperAIHyperAI

Command Palette

Search for a command to run...

Reconsidérer avec la récupération : inférence fidèle des grands modèles linguistiques

Hangfeng He Hongming Zhang Dan Roth

Résumé

Malgré les succès des grands modèles linguistiques (LLM) dans diverses tâches de traitement du langage naturel (NLP), les connaissances stockées dans ces modèles risquent d’être inachevées, obsolètes ou erronées. Cela justifie la nécessité d’utiliser des connaissances externes pour accompagner les LLM. Toutefois, les méthodes actuelles d’intégration de connaissances externes exigent souvent un entraînement supplémentaire ou un fine-tuning, des procédés coûteux et potentiellement non réalisables pour les grands modèles linguistiques. Pour remédier à ce problème, nous proposons une nouvelle approche de post-traitement, appelée Rethinking with Retrieval (RR), qui récupère des connaissances externes pertinentes à partir des étapes de raisonnement décomposées obtenues grâce à la méthode d’amorçage par chaîne de raisonnement (Chain-of-Thought, CoT). Cette approche légère ne nécessite ni entraînement supplémentaire ni fine-tuning, et n’est pas contrainte par la longueur maximale d’entrée des LLM. Nous évaluons l’efficacité de RR à travers des expériences approfondies menées sur GPT-3 sur trois tâches complexes de raisonnement : le raisonnement du sens commun, le raisonnement temporel et le raisonnement sur tableaux. Nos résultats démontrent que RR permet de produire des explications plus fidèles et d’améliorer les performances des LLM.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Reconsidérer avec la récupération : inférence fidèle des grands modèles linguistiques | Articles | HyperAI