HyperAIHyperAI

Command Palette

Search for a command to run...

MEAformer: Multi-modaler Entitätsausrichtungs-Transformer für Meta-Modal-Hybriden

Zusammenfassung

Die mehrmodale Entitätsausrichtung (MMEA) hat das Ziel, identische Entitäten in verschiedenen Wissensgraphen (KGs) zu entdecken, deren Entitäten mit relevanten Bildern verbunden sind. Aktuelle MMEA-Algorithmen basieren jedoch auf KG-basierten Modalitätsfusionsstrategien für die mehrmodale Entitätsrepräsentation, was die Unterschiede in den Modalitätspräferenzen verschiedener Entitäten übersehen lässt und somit die Robustheit gegenüber Rauschen in Modalitäten wie unscharfen Bildern und Beziehungen beeinträchtigt. In dieser Arbeit wird MEAformer vorgestellt, ein Ansatz zur mehrmodalen Entitätsausrichtung mithilfe von Transformer-Techniken für eine Meta-Modalitätshybride. MEAformer prognostiziert dynamisch die gegenseitigen Korrelationskoeffizienten zwischen den Modalitäten, um eine feingranulare Modalfusions- und -ausrichtung auf der Entitätsebene zu ermöglichen. Experimentelle Ergebnisse zeigen nicht nur, dass unser Modell in mehreren Trainingskonstellationen, einschließlich überwachter, unüberwachter, iterativer und ressourcenärmerer Einstellungen, Top-Leistungen erzielt, sondern auch, dass es eine begrenzte Anzahl von Parametern aufweist, effizient läuft und interpretierbar ist. Unser Code ist unter https://github.com/zjukg/MEAformer verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp