Réseau Siamese multimodal pour l’alignement d’entités

L’essor des graphes de connaissances multi-modaux (MMKGs) a suscité une demande pressante en techniques d’alignement d’entités multi-modales, permettant l’intégration de plusieurs MMKGs provenant de sources de données distinctes. Cependant, les approches antérieures exploitaient les connaissances multi-modales uniquement par une fusion heuristique des embeddings de caractéristiques uni-modales, entraînant ainsi une grande sous-estimation des indices inter-modaux présents dans les connaissances multi-modales. Pour surmonter ce problème, nous proposons dans cet article un nouveau réseau siamois multi-modal pour l’alignement d’entités (MSNEA), capable d’aligner des entités issues de différents MMKGs en exploitant de manière exhaustive l’effet inter-modale. Plus précisément, nous concevons tout d’abord un module d’embedding de connaissances multi-modales afin d’extraire les caractéristiques visuelles, relationnelles et des attributs des entités, afin de générer des représentations holistiques des entités pour chaque MMKG. Au cours de cette étape, nous introduisons des mécanismes d’amélioration inter-modale pour intégrer les caractéristiques visuelles afin de guider l’apprentissage des caractéristiques relationnelles, tout en attribuant de manière adaptative des poids d’attention afin de capturer les attributs les plus pertinents pour l’alignement. Par la suite, nous proposons un module d’apprentissage contrastif multi-modal permettant une fusion d’amélioration inter-modale tout en limitant l’impact dominant des modalités faibles. Les résultats expérimentaux sur deux jeux de données publics montrent que notre approche MSNEA atteint des performances de pointe, largement supérieures aux méthodes de référence.