Pivotage visuel pour l'alignement d'entités (non supervisé)

Ce travail étudie l'utilisation de représentations sémantiques visuelles pour aligner des entités dans des graphes de connaissances hétérogènes (KGs). Les images sont des composants naturels de nombreux graphes de connaissances existants. En combinant les connaissances visuelles avec d'autres informations auxiliaires, nous démontrons que la nouvelle approche proposée, EVA, crée une représentation d'entité holistique qui fournit des signaux forts pour l'alignement d'entités entre graphes. De plus, les méthodes précédentes d'alignement d'entités nécessitent un alignement initial étiqueté par des humains, ce qui limite leur disponibilité. EVA offre une solution entièrement non supervisée en exploitant la similarité visuelle des entités pour créer un dictionnaire initial de correspondance (pivots visuels). Des expériences menées sur les ensembles de données de référence DBP15k et DWY15k montrent que EVA offre des performances de pointe tant pour les tâches d'alignement mono-lingue que cross-lingue. En outre, nous constatons que les images sont particulièrement utiles pour aligner les entités à queue longue des KGs, qui manquent intrinsèquement des contextes structurels nécessaires pour capturer les correspondances.