IBMEA: Exploring Variational Information Bottleneck for Multi-modal Entity Alignment IBMEA: Untersuchung des variationellen Informationsflaschenhalses für die multimodale Entitätsausrichtung

Die multimodale Entitätsausrichtung (MMEA) hat das Ziel, äquivalente Entitäten zwischen multimodalen Wissensgraphen (MMKGs) zu identifizieren, wobei die Entitäten mit zugehörigen Bildern verknüpft sein können. Die meisten bestehenden Studien integrieren multimodale Informationen stark auf einem automatisch gelernten Fusionsmodul, wobei selten redundantes Information für die MMEA explizit unterdrückt wird. In diesem Zusammenhang untersuchen wir den variational information bottleneck für die multimodale Entitätsausrichtung (IBMEA), der die für die Ausrichtung relevante Information betont und die irrelevanten Informationen bei der Generierung von Entitätsrepräsentationen unterdrückt. Insbesondere entwickeln wir multimodale variationelle Encoder, um modalspezifische Entitätsrepräsentationen als Wahrscheinlichkeitsverteilungen zu generieren. Anschließend schlagen wir vier modalspezifische Informationsflaschenhals-Regulatoren vor, die irreführende Hinweise bei der Verfeinerung der modalspezifischen Entitätsrepräsentationen begrenzen. Schließlich schlagen wir einen modal-hybriden Informationskontrast-Regulator vor, um alle verfeinerten modalspezifischen Repräsentationen zu integrieren und die Ähnlichkeit der Entitäten zwischen MMKGs zu erhöhen, um MMEA zu erreichen. Wir führen umfangreiche Experimente auf zwei cross-KG-Datensätzen und drei bilingualen MMEA-Datensätzen durch. Die experimentellen Ergebnisse zeigen, dass unser Modell konsistent bessere Leistungen als frühere Stand-of-the-Art-Methoden erzielt und auch in Szenarien mit wenig Ressourcen und hochgeräuschigen Daten vielversprechende und robuste Leistungen zeigt.