HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Multimodales Siamese-Netzwerk für die Entitätsausrichtung

{Enhong Chen Nicholas Jing Yuan Zhefeng Wang Han Wu Tong Xu Zhi Li Liyi Chen}

Abstract

Die rasante Entwicklung multimodaler Wissensgraphen (MMKGs) hat einen dringenden Bedarf an multimodalen Entitätsausrichtungstechniken geschaffen, die die Integration mehrerer MMKGs aus unterschiedlichen Datensourcen ermöglichen. Leider nutzen bisherige Ansätze multimodales Wissen lediglich durch heuristische Kombination einmodaler Merkmals-Embeddings. Dadurch bleiben intermodale Hinweise, die im multimodalen Wissen verborgen liegen, weitgehend unberücksichtigt. Um dieses Problem anzugehen, schlagen wir in diesem Artikel ein neuartiges multimodales Siamese-Netzwerk für die Entitätsausrichtung (MSNEA) vor, das Entitäten in verschiedenen MMKGs ausrichtet und dabei den intermodalen Effekt gezielt ausnutzt, um multimodales Wissen umfassend zu erschließen. Konkret entwickeln wir zunächst ein Modul zur multimodalen Wissens-Embedding, das visuelle, relationale und attributive Merkmale von Entitäten extrahiert, um umfassende Entitätsrepräsentationen für unterschiedliche MMKGs zu generieren. Dabei setzen wir intermodale Verstärkungsmechanismen ein, um visuelle Merkmale zur Unterstützung des Lernens relationaler Merkmale zu nutzen und adaptiv Aufmerksamkeitsgewichte zu bestimmen, um wertvolle Attribute für die Ausrichtung zu erfassen. Anschließend entwerfen wir ein multimodales kontrastives Lernmodul, das eine intermodale Verstärkungsfusion erreicht, ohne dass schwächere Modi übermäßig beeinflussend wirken. Experimentelle Ergebnisse auf zwei öffentlichen Datensätzen zeigen, dass unser vorgeschlagenes MSNEA im Vergleich zu konkurrenzfähigen Baselines eine state-of-the-art-Leistung mit deutlichem Abstand erzielt.

Benchmarks

BenchmarkMethodikMetriken
multi-modal-entity-alignment-on-umvm-dbp-frMSNEA (w/o surf)
Hits@1: 0.583
multi-modal-entity-alignment-on-umvm-dbp-frMSNEA (w/o surf & w/o iter)
Hits@1: 0.557
multi-modal-entity-alignment-on-umvm-dbp-jaMSNEA (w/o surf & w/o iter)
Hits@1: 0.541
multi-modal-entity-alignment-on-umvm-dbp-jaMSNEA (w/o surf)
Hits@1: 0.557
multi-modal-entity-alignment-on-umvm-dbp-zhMSNEA (w/o surf)
Hits@1: 0.648
multi-modal-entity-alignment-on-umvm-dbp-zhMSNEA (w/o surf & w/o iter)
Hits@1: 0.609
multi-modal-entity-alignment-on-umvm-oea-d-wMSNEA (w/o surf & w/o iter)
Hits@1: 0.800
multi-modal-entity-alignment-on-umvm-oea-d-wMSNEA (w/o surf)
Hits@1: 0.809
multi-modal-entity-alignment-on-umvm-oea-d-w-1MSNEA (w/o surf)
Hits@1: 0.862
multi-modal-entity-alignment-on-umvm-oea-enMSNEA (w/o surf & w/o iter)
Hits@1: 0.692
multi-modal-entity-alignment-on-umvm-oea-enMSNEA (w/o surf)
Hits@1: 0.699
multi-modal-entity-alignment-on-umvm-oea-en-1MSNEA (w/o surf)
Hits@1: 0.788
multi-modal-entity-alignment-on-umvm-oea-en-1MSNEA (w/o surf & w/o iter)
Hits@1: 0.753

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Multimodales Siamese-Netzwerk für die Entitätsausrichtung | Forschungsarbeiten | HyperAI