MoCoSA : Momentum Contrast pour le Complétion des Graphes de Connaissance avec des Modèles de Langue Pré-entraînés Augmentés de Structure

Le complétion de graphe de connaissances (KGC) vise à effectuer des raisonnements sur les faits contenus dans les graphes de connaissances et à inférer automatiquement les liens manquants. Les méthodes existantes peuvent principalement être classées en deux catégories : basées sur la structure ou basées sur la description. D'une part, les méthodes basées sur la structure représentent efficacement les faits relationnels dans les graphes de connaissances en utilisant des plongements d'entités (entity embeddings). Cependant, elles peinent à traiter des entités du monde réel riches sémantiquement en raison d'informations structurales limitées et ne parviennent pas à généraliser aux entités inconnues. D'autre part, les méthodes basées sur la description exploitent des modèles de langage pré-entraînés (PLMs) pour comprendre l'information textuelle. Elles montrent une forte robustesse face aux entités inconnues. Cependant, elles ont du mal à gérer un échantillonnage négatif plus important et sont souvent moins performantes que les méthodes basées sur la structure. Pour résoudre ces problèmes, dans cet article, nous proposons Momentum Contrast pour le complétion de graphe de connaissances avec des modèles de langage pré-entraînés augmentés par la structure (MoCoSA), ce qui permet au modèle de langage pré-entraîné (PLM) de percevoir l'information structurale grâce à un encodeur de structure adaptable. Pour améliorer l'efficacité de l'apprentissage, nous avons proposé un échantillonnage négatif difficile avec momentum et un échantillonnage négatif intra-relationnel. Les résultats expérimentaux démontrent que notre approche atteint des performances d'état de l'art en termes de rang moyen inverse (MRR), avec des améliorations de 2,5 % sur WN18RR et 21 % sur OpenBG500.