Chemins-sur-Graphes : Raisonnement de Modèles Linguistiques Grandes Échelles Assisté par des Graphes de Connaissances

Les grands modèles de langage (LLMs) ont obtenu des résultats impressionnants dans diverses tâches, mais ils peinent à résoudre les problèmes d'hallucination et manquent de connaissances pertinentes, en particulier dans les tâches nécessitant une raisonnement complexe et approfondi ou une connaissance intensive. Les graphes de connaissances (KGs), qui capturent de vastes quantités de faits sous un format structuré, offrent une source fiable de connaissances pour le raisonnement. Cependant, les méthodes actuelles de raisonnement basées sur les KGs font face à des défis tels que la gestion du raisonnement multi-étapes, des questions à entités multiples et l'utilisation efficace des structures de graphe.Pour répondre à ces problèmes, nous proposons Paths-over-Graph (PoG), une nouvelle méthode qui améliore le raisonnement des LLMs en intégrant des chemins de raisonnement issus des KGs, ce qui augmente l'interprétabilité et la fidélité des sorties des LLMs. PoG aborde les questions multi-étapes et à entités multiples grâce à une exploration dynamique en trois phases de chemins multi-étapes, combinant ainsi la connaissance intrinsèque des LLMs avec la connaissance factuelle provenant des KGs. Afin d'améliorer l'efficacité, PoG élimine d'abord les informations non pertinentes lors de l'exploration du graphe et introduit trois techniques de prédécoupage efficaces qui intègrent les structures de graphe, l'appel aux LLMs et un modèle linguistique pré-entraîné (par exemple, SBERT) pour réduire efficacement le nombre de chemins candidats explorés. Cela garantit que tous les chemins de raisonnement contiennent des informations hautement pertinentes extraites des KGs, rendant ainsi le raisonnement fidèle et interprétable dans la résolution de problèmes.PoG utilise innovativement la structure du graphe pour éliminer le bruit non pertinent et représente la première méthode permettant la détection profonde de chemins à entités multiples sur les KGs pour les tâches de raisonnement LLM. Des expériences exhaustives menées sur cinq jeux de données benchmark en question-réponse basée sur les graphes de connaissances (KGQA) montrent que PoG surpasse la méthode d'état de l'art ToG tant avec GPT-3.5-Turbo qu'avec GPT-4, réalisant une amélioration moyenne de précision de 18,9 %. De manière notable, PoG associé à GPT-3.5-Turbo dépasse ToG avec GPT-4 jusqu'à 23,9 %.