KELM : Représentations linguistiques pré-entraînées renforcées par les connaissances avec propagation de messages sur des graphes relationnels hiérarchiques

L’intégration de connaissances factuelles dans les modèles de langage pré-entraînés (PLM), tels que BERT, constitue une tendance émergente dans les récentes études en traitement du langage naturel (NLP). Toutefois, la plupart des méthodes existantes associent un module d’intégration de connaissances externes à une perte de pré-entraînement modifiée, et réimplémentent le processus de pré-entraînement sur de grands corpus. Ce ré-entraînement s’avère généralement coûteux en ressources et difficile à adapter à un autre domaine disposant d’un graphe de connaissances (KG) différent. Par ailleurs, ces approches sont soit incapables d’incorporer dynamiquement le contexte de connaissance en fonction du contexte textuel, soit confrontées à des difficultés liées à l’ambiguïté des connaissances. Dans ce travail, nous proposons un cadre novateur de modèle de langage conscient des connaissances basé sur le fine-tuning, qui confère aux PLM un graphe de texte enrichi de connaissances unifié, comprenant à la fois des graphes textuels et des sous-graphes multi-relationnels extraits du KG. Nous avons conçu un mécanisme de propagation de messages basé sur un graphe relationnel hiérarchique, permettant une mise à jour mutuelle des représentations du KG injecté et du texte, tout en sélectionnant dynamiquement les entités ambiguës mentionnées avec le même texte. Nos résultats expérimentaux montrent que notre modèle permet d’intégrer efficacement les connaissances du monde issues des KG dans des modèles de langage existants tels que BERT, et obtient une amélioration significative sur la tâche de compréhension de lecture automatique (MRC) par rapport à d’autres modèles enrichis de connaissances.