Préformation profonde bidirectionnelle de graphes de connaissances linguistiques

L'entraînement préalable d'un modèle de langage (LM) sur du texte a été démontré comme bénéfique pour diverses tâches en aval en traitement du langage naturel (NLP). Des travaux récents montrent qu'un graphe de connaissances (KG) peut compléter les données textuelles, offrant des connaissances de fond structurées qui fournissent un échafaudage utile pour le raisonnement. Cependant, ces travaux ne sont pas entraînés préalablement pour apprendre une fusion profonde des deux modalités à grande échelle, limitant ainsi la capacité d'acquérir des représentations entièrement conjointes du texte et du KG. Nous proposons ici DRAGON (Deep Bidirectional Language-Knowledge Graph Pretraining), une approche auto-supervisée permettant l'entraînement préalable d'un modèle fondamental de langage-connaisssance profondement conjoint à partir de texte et de KG à grande échelle. Plus précisément, notre modèle prend en entrée des paires de segments textuels et de sous-graphes de KG pertinents, et fusionne bidirectionnellement les informations provenant des deux modalités. Nous entraînons ce modèle en unifiant deux tâches auto-supervisées de raisonnement : le masquage linguistique et la prédiction de liens dans le KG. DRAGON surpasse les modèles LM existants et les modèles LM+KG sur diverses tâches en aval, notamment la réponse aux questions dans les domaines général et biomédical, avec une amélioration moyenne absolue de +5 %. En particulier, DRAGON obtient des performances remarquables dans le raisonnement complexe sur le langage et les connaissances (+10 % pour les questions impliquant des contextes longs ou un raisonnement en plusieurs étapes) et dans la réponse aux questions à faibles ressources (+8 % pour OBQA et RiddleSense), ainsi que des résultats nouveaux états de l'art sur diverses tâches BioNLP. Notre code source et nos modèles entraînés sont disponibles à l'adresse suivante : https://github.com/michiyasunaga/dragon.