HyperAIHyperAI

Command Palette

Search for a command to run...

Neuüberlegung der unsicheren, fehlenden und ambigen visuellen Modalität in der multimodalen Entitätsausrichtung

Zhuo Chen; Lingbing Guo; Yin Fang; Yichi Zhang; Jiaoyan Chen; Jeff Z. Pan; Yangning Li; Huajun Chen; Wen Zhang

Zusammenfassung

Als wichtige Erweiterung der Entitätsausrichtung (EA) zielt die multimodale Entitätsausrichtung (MMEA) darauf ab, identische Entitäten in unterschiedlichen Wissensgraphen (KGs) durch die Nutzung assoziierter visueller Informationen zu erkennen. Bestehende MMEA-Ansätze konzentrieren sich jedoch hauptsächlich auf das Fusionsparadigma multimodaler Entitätsmerkmale und vernachlässigen dabei die Herausforderungen, die durch das weit verbreitete Phänomen fehlender und intrinsischer Ambiguität von visuellen Bildern entstehen. In dieser Arbeit präsentieren wir eine weitere Analyse der Unvollständigkeit der visuellen Modalität und bewerten aktuelle MMEA-Modelle anhand unseres vorgeschlagenen Datensatzes MMEA-UMVM, bei dem es sich um ausrichtende KGs handelt, die sowohl zweisprachig als auch einteilungspräzise (monolingual) sind, und bei denen Standard-(nicht iterativ) und iterativ trainierte Paradigmen verwendet werden, um die Leistungsfähigkeit der Modelle zu evaluieren. Unsere Forschung zeigt, dass Modelle im Angesicht der Modaltätsunvollständigkeit übermäßig an Modulärgeräuschen anpassen und bei hohen Raten fehlender Modalitäten Leistungsschwankungen oder -einbrüche aufweisen. Dies belegt, dass die Einbeziehung zusätzlicher multimodaler Daten EA manchmal nachteilig beeinflussen kann. Um diese Herausforderungen anzugehen, stellen wir UMAEA vor, einen robusten Ansatz zur multimodalen Entitätsausrichtung, der darauf ausgelegt ist, unsicheres Fehlen und Ambiguität von visuellen Modalitäten zu bewältigen. UMAEA erzielt konsistent den besten Stand der Technik (SOTA) über alle 97 Benchmark-Splits hinweg und übertreffen bestehende Baseline-Modelle mit begrenzten Parametern und Zeitverbrauch erheblich, während es gleichzeitig die identifizierten Einschränkungen anderer Modelle effektiv mildert. Unser Code und Benchmark-Datensatz sind unter https://github.com/zjukg/UMAEA verfügbar.请注意,"einteilungspräzise" 在这里可能不是最合适的翻译,因为 "monolingual" 指的是单一语言的,而不是分类精确的。因此,建议将其改为 "einsprachig":Als wichtige Erweiterung der Entitätsausrichtung (EA) zielt die multimodale Entitätsausrichtung (MMEA) darauf ab, identische Entitäten in unterschiedlichen Wissensgraphen (KGs) durch die Nutzung assoziierter visueller Informationen zu erkennen. Bestehende MMEA-Ansätze konzentrieren sich jedoch hauptsächlich auf das Fusionsparadigma multimodaler Entitätsmerkmale und vernachlässigen dabei die Herausforderungen, die durch das weit verbreitete Phänomen fehlender und intrinsischer Ambiguität von visuellen Bildern entstehen. In dieser Arbeit präsentieren wir eine weitere Analyse der Unvollständigkeit der visuellen Modalität und bewerten aktuelle MMEA-Modelle anhand unseres vorgeschlagenen Datensatzes MMEA-UMVM, bei dem es sich um ausrichtende KGs handelt, die sowohl zweisprachig als auch einsprachig sind, und bei denen Standard-(nicht iterativ) und iterativ trainierte Paradigmen verwendet werden, um die Leistungsfähigkeit der Modelle zu evaluieren. Unsere Forschung zeigt, dass Modelle im Angesicht der Modaltätsunvollständigkeit übermäßig an Modulärgeräuschen anpassen und bei hohen Raten fehlender Modalitäten Leistungsschwankungen oder -einbrüche aufweisen. Dies belegt, dass die Einbeziehung zusätzlicher multimodaler Daten EA manchmal nachteilig beeinflussen kann. Um diese Herausforderungen anzugehen, stellen wir UMAEA vor, einen robusten Ansatz zur multimodalen Entitätsausrichtung, der darauf ausgelegt ist, unsicheres Fehlen und Ambiguität von visuellen Modalitäten zu bewältigen. UMAEA erzielt konsistent den besten Stand der Technik (SOTA) über alle 97 Benchmark-Splits hinweg und übertreffen bestehende Baseline-Modelle mit begrenzten Parametern und Zeitverbrauch erheblich, während es gleichzeitig die identifizierten Einschränkungen anderer Modelle effektiv mildert. Unser Code und Benchmark-Datensatz sind unter https://github.com/zjukg/UMAEA verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp