Command Palette
Search for a command to run...
Apprentissage de représentations contrastives multi-modales pour l'alignement d'entités
Apprentissage de représentations contrastives multi-modales pour l'alignement d'entités
Zhenxi Lin Ziheng Zhang Meng Wang Yinghui Shi Xian Wu Yefeng Zheng
Résumé
L'alignement d'entités multi-modales vise à identifier des entités équivalentes entre deux graphes de connaissances multi-modaux différents, composés de triplets structuraux et d'images associées aux entités. La plupart des travaux précédents se concentrent sur la façon d'utiliser et de coder les informations provenant de différentes modalités, mais il n'est pas trivial d'exploiter les connaissances multi-modales dans l'alignement d'entités en raison de la hétérogénéité des modalités. Dans cet article, nous proposons MCLEA, un modèle d'alignement d'entités basé sur l'apprentissage par contraste multi-modal (Multi-modal Contrastive Learning based Entity Alignment), pour obtenir des représentations conjointes efficaces pour l'alignement d'entités multi-modales. Contrairement aux travaux précédents, MCLEA prend en compte la modalité orientée vers la tâche et modélise les relations inter-modales pour chaque représentation d'entité. Plus particulièrement, MCLEA apprend tout d'abord plusieurs représentations individuelles à partir de multiples modalités, puis effectue un apprentissage par contraste pour modéliser conjointement les interactions intra-modales et inter-modales. Les résultats expérimentaux étendus montrent que MCLEA surpassent les méthodes de référence de pointe sur des jeux de données publics dans les cadres supervisés et non supervisés.