LUKE-Graph : Une approche fondée sur Transformer avec attention relationnelle à porte pour la compréhension de lecture du type trous

L’intégration de connaissances préalables peut améliorer les modèles pré-entraînés existants dans les tâches de lecture automatique du type « cloze » et est devenue une tendance récente dans les études récentes. Notamment, la plupart des modèles actuels intègrent des graphes de connaissances externes (KG) et des modèles basés sur les transformateurs, tels que BERT, dans une structure de données unifiée. Toutefois, le choix des entités ambigües les plus pertinentes dans le KG, ainsi que l’extraction du meilleur sous-graphe, restent des défis majeurs. Dans cet article, nous proposons LUKE-Graph, un modèle qui construit un graphe hétérogène à partir des relations intuitives entre entités présentes dans un document, sans recourir à aucun KG externe. Nous utilisons ensuite un réseau d’attention sur graphe relationnel (RGAT) pour fusionner les informations de raisonnement issues du graphe avec les représentations contextuelles encodées par le modèle pré-entraîné LUKE. Ainsi, nous tirons parti de LUKE pour obtenir une représentation sensible aux entités, tout en exploitant un modèle de graphe pour extraire une représentation sensible aux relations. En outre, nous introduisons Gated-RGAT, en enrichissant RGAT d’un mécanisme de porte qui régule les informations de la question lors de l’opération de convolution sur graphe. Ce mécanisme s’inspire fortement du processus de raisonnement humain, car les humains choisissent toujours le meilleur candidat d’entité en fonction des informations contenues dans la question. Les résultats expérimentaux montrent que LUKE-Graph atteint un niveau d’performance de pointe sur le jeu de données ReCoRD, dans des tâches nécessitant un raisonnement du sens commun.