Vers des Modèles Fondamentaux pour le Raisonnement sur les Graphes de Connaissances

Les modèles fondamentaux en traitement du langage et en vision par ordinateur possèdent la capacité d’effectuer des inférences sur tout type d’entrée textuelle ou visuelle grâce à des représentations transférables, telles que le vocabulaire de tokens en langage naturel. Les graphes de connaissances (KG, Knowledge Graphs) disposent quant à eux de vocabulaires d’entités et de relations qui ne se chevauchent généralement pas. Le défi central dans la conception de modèles fondamentaux pour les KG réside dans l’apprentissage de représentations transférables capables d’assurer l’inférence sur tout graphe, quel que soit son vocabulaire d’entités et de relations. Dans ce travail, nous franchissons une étape vers de tels modèles fondamentaux en proposant ULTRA, une méthode d’apprentissage de représentations graphiques universelles et transférables. ULTRA construit des représentations relationnelles comme une fonction conditionnée par leurs interactions. Cette stratégie de conditionnement permet à un modèle ULTRA pré-entraîné de généraliser inductivement à tout graphe inconnu, quel que soit son vocabulaire de relations, et d’être affiné sur n’importe quel graphe. À l’aide d’expériences de prédiction de liens sur 57 graphes de connaissances différents, nous observons que la performance d’inférence zéro-shot inductive d’un seul modèle ULTRA pré-entraîné sur des graphes inconnus de tailles variées est souvent équivalente ou supérieure à celle de modèles de référence forts entraînés spécifiquement sur des graphes particuliers. L’affinement ultérieur permet encore d’améliorer significativement les performances.