HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de représentations contrastives multi-modales pour l'alignement d'entités

Zhenxi Lin Ziheng Zhang Meng Wang Yinghui Shi Xian Wu Yefeng Zheng

Résumé

L'alignement d'entités multi-modales vise à identifier des entités équivalentes entre deux graphes de connaissances multi-modaux différents, composés de triplets structuraux et d'images associées aux entités. La plupart des travaux précédents se concentrent sur la façon d'utiliser et de coder les informations provenant de différentes modalités, mais il n'est pas trivial d'exploiter les connaissances multi-modales dans l'alignement d'entités en raison de la hétérogénéité des modalités. Dans cet article, nous proposons MCLEA, un modèle d'alignement d'entités basé sur l'apprentissage par contraste multi-modal (Multi-modal Contrastive Learning based Entity Alignment), pour obtenir des représentations conjointes efficaces pour l'alignement d'entités multi-modales. Contrairement aux travaux précédents, MCLEA prend en compte la modalité orientée vers la tâche et modélise les relations inter-modales pour chaque représentation d'entité. Plus particulièrement, MCLEA apprend tout d'abord plusieurs représentations individuelles à partir de multiples modalités, puis effectue un apprentissage par contraste pour modéliser conjointement les interactions intra-modales et inter-modales. Les résultats expérimentaux étendus montrent que MCLEA surpassent les méthodes de référence de pointe sur des jeux de données publics dans les cadres supervisés et non supervisés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Apprentissage de représentations contrastives multi-modales pour l'alignement d'entités | Articles | HyperAI