L'attention autonome présente des embeddings de graphes de connaissances à faible dimension pour la prédiction de liens

Quelques modèles ont tenté de résoudre le problème de prédiction de liens, également connu sous le nom de complétion des graphes de connaissances, en plongeant ces derniers dans des dimensions comparativement plus faibles. Toutefois, les résultats les plus avancés actuellement obtenus sont atteints au prix d’une augmentation considérable de la dimensionalité des plongements, ce qui entraîne des problèmes de scalabilité dans le cas de grands bases de connaissances. Les Transformers ont récemment été utilisés avec succès comme encodeurs puissants pour les graphes de connaissances, mais les modèles disponibles souffrent encore de limitations en matière de scalabilité. Pour remédier à cette limitation, nous proposons un modèle fondé sur les Transformers afin d’obtenir des plongements expressifs à faible dimension. Nous exploitons un grand nombre de têtes d’attention auto-associative comme clé pour appliquer des projections dépendantes de la requête, permettant ainsi de capturer l’information mutuelle entre entités et relations. Les résultats expérimentaux sur les benchmarks standards WN18RR et FB15k-237 pour la prédiction de liens démontrent que notre modèle atteint une performance favorablement comparable aux modèles d’état de l’art actuels. Notamment, nous obtenons ces résultats prometteurs avec une réduction moyenne de 66,9 % de la dimensionalité des plongements par rapport aux cinq meilleurs modèles d’état de l’art récents.