HyperAIHyperAI

Command Palette

Search for a command to run...

IBMEA: Exploring Variational Information Bottleneck for Multi-modal Entity Alignment IBMEA: Untersuchung des variationellen Informationsflaschenhalses für die multimodale Entitätsausrichtung

Taoyu Su Jiawei Sheng* Shicheng Wang Xinghua Zhang Hongbo Xu Tingwen Liu

Zusammenfassung

Die multimodale Entitätsausrichtung (MMEA) hat das Ziel, äquivalente Entitäten zwischen multimodalen Wissensgraphen (MMKGs) zu identifizieren, wobei die Entitäten mit zugehörigen Bildern verknüpft sein können. Die meisten bestehenden Studien integrieren multimodale Informationen stark auf einem automatisch gelernten Fusionsmodul, wobei selten redundantes Information für die MMEA explizit unterdrückt wird. In diesem Zusammenhang untersuchen wir den variational information bottleneck für die multimodale Entitätsausrichtung (IBMEA), der die für die Ausrichtung relevante Information betont und die irrelevanten Informationen bei der Generierung von Entitätsrepräsentationen unterdrückt. Insbesondere entwickeln wir multimodale variationelle Encoder, um modalspezifische Entitätsrepräsentationen als Wahrscheinlichkeitsverteilungen zu generieren. Anschließend schlagen wir vier modalspezifische Informationsflaschenhals-Regulatoren vor, die irreführende Hinweise bei der Verfeinerung der modalspezifischen Entitätsrepräsentationen begrenzen. Schließlich schlagen wir einen modal-hybriden Informationskontrast-Regulator vor, um alle verfeinerten modalspezifischen Repräsentationen zu integrieren und die Ähnlichkeit der Entitäten zwischen MMKGs zu erhöhen, um MMEA zu erreichen. Wir führen umfangreiche Experimente auf zwei cross-KG-Datensätzen und drei bilingualen MMEA-Datensätzen durch. Die experimentellen Ergebnisse zeigen, dass unser Modell konsistent bessere Leistungen als frühere Stand-of-the-Art-Methoden erzielt und auch in Szenarien mit wenig Ressourcen und hochgeräuschigen Daten vielversprechende und robuste Leistungen zeigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp