Pont entre le gap KB-Texte : Exploiter l'auto-formation orientée vers la connaissance structurée pour le KBQA

Le système de réponse aux questions basé sur une base de connaissances (KBQA) vise à répondre aux questions formulées en langage naturel avec des informations factuelles telles que des entités et des relations contenues dans les bases de connaissances (KBs). Cependant, les modèles linguistiques pré-entraînés traditionnels (PLMs) sont directement pré-entraînés sur de grands corpus de langage naturel, ce qui pose des défis quant à leur capacité à comprendre et représenter des sous-graphes complexes dans les bases de connaissances structurées. Pour combler l'écart entre les textes et les bases de connaissances structurées, nous proposons une méthode de pré-entraînement sensible aux connaissances structurées (SKP). Dans la phase de pré-entraînement, nous introduisons deux nouvelles tâches sensibles aux connaissances structurées, guidant le modèle à apprendre efficacement les relations implicites et à améliorer la représentation des sous-graphes complexes. Dans la tâche KBQA en aval, nous concevons également une stratégie de linéarisation efficace et un mécanisme d'attention par intervalle, qui aident respectivement le modèle à mieux encoder les sous-graphes complexes et à atténuer l'interférence des sous-graphes non pertinents lors du raisonnement. Des expériences détaillées et des analyses menées sur WebQSP confirment l'efficacité de SKP, en particulier l'amélioration significative du rappel des sous-graphes (+4,08% H@10).