Neuüberlegung der unsicheren, fehlenden und ambigen visuellen Modalität in der multimodalen Entitätsausrichtung

Als wichtige Erweiterung der Entitätsausrichtung (EA) zielt die multimodale Entitätsausrichtung (MMEA) darauf ab, identische Entitäten in unterschiedlichen Wissensgraphen (KGs) durch die Nutzung assoziierter visueller Informationen zu erkennen. Bestehende MMEA-Ansätze konzentrieren sich jedoch hauptsächlich auf das Fusionsparadigma multimodaler Entitätsmerkmale und vernachlässigen dabei die Herausforderungen, die durch das weit verbreitete Phänomen fehlender und intrinsischer Ambiguität von visuellen Bildern entstehen. In dieser Arbeit präsentieren wir eine weitere Analyse der Unvollständigkeit der visuellen Modalität und bewerten aktuelle MMEA-Modelle anhand unseres vorgeschlagenen Datensatzes MMEA-UMVM, bei dem es sich um ausrichtende KGs handelt, die sowohl zweisprachig als auch einteilungspräzise (monolingual) sind, und bei denen Standard-(nicht iterativ) und iterativ trainierte Paradigmen verwendet werden, um die Leistungsfähigkeit der Modelle zu evaluieren. Unsere Forschung zeigt, dass Modelle im Angesicht der Modaltätsunvollständigkeit übermäßig an Modulärgeräuschen anpassen und bei hohen Raten fehlender Modalitäten Leistungsschwankungen oder -einbrüche aufweisen. Dies belegt, dass die Einbeziehung zusätzlicher multimodaler Daten EA manchmal nachteilig beeinflussen kann. Um diese Herausforderungen anzugehen, stellen wir UMAEA vor, einen robusten Ansatz zur multimodalen Entitätsausrichtung, der darauf ausgelegt ist, unsicheres Fehlen und Ambiguität von visuellen Modalitäten zu bewältigen. UMAEA erzielt konsistent den besten Stand der Technik (SOTA) über alle 97 Benchmark-Splits hinweg und übertreffen bestehende Baseline-Modelle mit begrenzten Parametern und Zeitverbrauch erheblich, während es gleichzeitig die identifizierten Einschränkungen anderer Modelle effektiv mildert. Unser Code und Benchmark-Datensatz sind unter https://github.com/zjukg/UMAEA verfügbar.请注意，"einteilungspräzise" 在这里可能不是最合适的翻译，因为 "monolingual" 指的是单一语言的，而不是分类精确的。因此，建议将其改为 "einsprachig":Als wichtige Erweiterung der Entitätsausrichtung (EA) zielt die multimodale Entitätsausrichtung (MMEA) darauf ab, identische Entitäten in unterschiedlichen Wissensgraphen (KGs) durch die Nutzung assoziierter visueller Informationen zu erkennen. Bestehende MMEA-Ansätze konzentrieren sich jedoch hauptsächlich auf das Fusionsparadigma multimodaler Entitätsmerkmale und vernachlässigen dabei die Herausforderungen, die durch das weit verbreitete Phänomen fehlender und intrinsischer Ambiguität von visuellen Bildern entstehen. In dieser Arbeit präsentieren wir eine weitere Analyse der Unvollständigkeit der visuellen Modalität und bewerten aktuelle MMEA-Modelle anhand unseres vorgeschlagenen Datensatzes MMEA-UMVM, bei dem es sich um ausrichtende KGs handelt, die sowohl zweisprachig als auch einsprachig sind, und bei denen Standard-(nicht iterativ) und iterativ trainierte Paradigmen verwendet werden, um die Leistungsfähigkeit der Modelle zu evaluieren. Unsere Forschung zeigt, dass Modelle im Angesicht der Modaltätsunvollständigkeit übermäßig an Modulärgeräuschen anpassen und bei hohen Raten fehlender Modalitäten Leistungsschwankungen oder -einbrüche aufweisen. Dies belegt, dass die Einbeziehung zusätzlicher multimodaler Daten EA manchmal nachteilig beeinflussen kann. Um diese Herausforderungen anzugehen, stellen wir UMAEA vor, einen robusten Ansatz zur multimodalen Entitätsausrichtung, der darauf ausgelegt ist, unsicheres Fehlen und Ambiguität von visuellen Modalitäten zu bewältigen. UMAEA erzielt konsistent den besten Stand der Technik (SOTA) über alle 97 Benchmark-Splits hinweg und übertreffen bestehende Baseline-Modelle mit begrenzten Parametern und Zeitverbrauch erheblich, während es gleichzeitig die identifizierten Einschränkungen anderer Modelle effektiv mildert. Unser Code und Benchmark-Datensatz sind unter https://github.com/zjukg/UMAEA verfügbar.