HyperAIHyperAI

Command Palette

Search for a command to run...

MEAformer : Transformer d'alignement d'entités multi-modales pour la modalité hybride méta

Résumé

L'alignement d'entités multi-modales (MMEA) vise à découvrir des entités identiques dans différents graphes de connaissances (KGs), dont les entités sont associées à des images pertinentes. Cependant, les algorithmes MMEA actuels s'appuient sur des stratégies de fusion modale au niveau du graphe de connaissances pour la représentation multi-modale des entités, ce qui ignore les variations des préférences modales entre différentes entités, compromettant ainsi la robustesse face aux bruits dans les modalités telles que les images floues et les relations. Cet article introduit MEAformer, une approche de transformer pour l'alignement d'entités multi-modales avec hybridation métamodale, qui prédit dynamiquement les coefficients de corrélation mutuelle entre les modalités pour une fusion et un alignement modaux plus fins au niveau des entités. Les résultats expérimentaux montrent que notre modèle non seulement atteint des performances de pointe (SOTA) dans plusieurs scénarios d'entraînement, y compris supervisé, non supervisé, itératif et à faibles ressources, mais qu'il possède également un nombre limité de paramètres, une exécution efficace et une interprétabilité. Notre code est disponible sur https://github.com/zjukg/MEAformer.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp