HyperAIHyperAI

Command Palette

Search for a command to run...

Pont entre le gap KB-Texte : Exploiter l'auto-formation orientée vers la connaissance structurée pour le KBQA

Résumé

Le système de réponse aux questions basé sur une base de connaissances (KBQA) vise à répondre aux questions formulées en langage naturel avec des informations factuelles telles que des entités et des relations contenues dans les bases de connaissances (KBs). Cependant, les modèles linguistiques pré-entraînés traditionnels (PLMs) sont directement pré-entraînés sur de grands corpus de langage naturel, ce qui pose des défis quant à leur capacité à comprendre et représenter des sous-graphes complexes dans les bases de connaissances structurées. Pour combler l'écart entre les textes et les bases de connaissances structurées, nous proposons une méthode de pré-entraînement sensible aux connaissances structurées (SKP). Dans la phase de pré-entraînement, nous introduisons deux nouvelles tâches sensibles aux connaissances structurées, guidant le modèle à apprendre efficacement les relations implicites et à améliorer la représentation des sous-graphes complexes. Dans la tâche KBQA en aval, nous concevons également une stratégie de linéarisation efficace et un mécanisme d'attention par intervalle, qui aident respectivement le modèle à mieux encoder les sous-graphes complexes et à atténuer l'interférence des sous-graphes non pertinents lors du raisonnement. Des expériences détaillées et des analyses menées sur WebQSP confirment l'efficacité de SKP, en particulier l'amélioration significative du rappel des sous-graphes (+4,08% H@10).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp