HyperAIHyperAI

Command Palette

Search for a command to run...

Chemins-sur-Graphes : Raisonnement de Modèles Linguistiques Grandes Échelles Assisté par des Graphes de Connaissances

Xingyu Tan Xiaoyang Wang* Qing Liu Xiwei Xu Xin Yuan Wenjie Zhang

Résumé

Les grands modèles de langage (LLMs) ont obtenu des résultats impressionnants dans diverses tâches, mais ils peinent à résoudre les problèmes d'hallucination et manquent de connaissances pertinentes, en particulier dans les tâches nécessitant une raisonnement complexe et approfondi ou une connaissance intensive. Les graphes de connaissances (KGs), qui capturent de vastes quantités de faits sous un format structuré, offrent une source fiable de connaissances pour le raisonnement. Cependant, les méthodes actuelles de raisonnement basées sur les KGs font face à des défis tels que la gestion du raisonnement multi-étapes, des questions à entités multiples et l'utilisation efficace des structures de graphe.Pour répondre à ces problèmes, nous proposons Paths-over-Graph (PoG), une nouvelle méthode qui améliore le raisonnement des LLMs en intégrant des chemins de raisonnement issus des KGs, ce qui augmente l'interprétabilité et la fidélité des sorties des LLMs. PoG aborde les questions multi-étapes et à entités multiples grâce à une exploration dynamique en trois phases de chemins multi-étapes, combinant ainsi la connaissance intrinsèque des LLMs avec la connaissance factuelle provenant des KGs. Afin d'améliorer l'efficacité, PoG élimine d'abord les informations non pertinentes lors de l'exploration du graphe et introduit trois techniques de prédécoupage efficaces qui intègrent les structures de graphe, l'appel aux LLMs et un modèle linguistique pré-entraîné (par exemple, SBERT) pour réduire efficacement le nombre de chemins candidats explorés. Cela garantit que tous les chemins de raisonnement contiennent des informations hautement pertinentes extraites des KGs, rendant ainsi le raisonnement fidèle et interprétable dans la résolution de problèmes.PoG utilise innovativement la structure du graphe pour éliminer le bruit non pertinent et représente la première méthode permettant la détection profonde de chemins à entités multiples sur les KGs pour les tâches de raisonnement LLM. Des expériences exhaustives menées sur cinq jeux de données benchmark en question-réponse basée sur les graphes de connaissances (KGQA) montrent que PoG surpasse la méthode d'état de l'art ToG tant avec GPT-3.5-Turbo qu'avec GPT-4, réalisant une amélioration moyenne de précision de 18,9 %. De manière notable, PoG associé à GPT-3.5-Turbo dépasse ToG avec GPT-4 jusqu'à 23,9 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Chemins-sur-Graphes : Raisonnement de Modèles Linguistiques Grandes Échelles Assisté par des Graphes de Connaissances | Articles | HyperAI