불확실한 시각적 모달리티의 결측과 모호성 재고하기: 다중 모달 엔티티 정렬에서의 고려사항

엔티티 정렬(Entity Alignment, EA)의 중요한 확장으로서 다중 모달 엔티티 정렬(Multi-Modal Entity Alignment, MMEA)은 관련 시각 정보를 활용하여 서로 다른 지식 그래프(Knowledge Graphs, KGs) 간에 동일한 엔티티를 식별하는 것을 목표로 합니다. 그러나 기존의 MMEA 접근 방식은 주로 다중 모달 엔티티 특성의 융합 패러다임에 초점을 맞추고 있으며, 시각 이미지의 보편적인 현상인 누락과 본질적 애매함이 제기하는 문제를 간과하고 있습니다. 이 논문에서는 시각 모달 불완전성을 더욱 분석하며, 우리가 제안한 데이터셋 MMEA-UMVM에서 최신 MMEA 모델들을 벤치마킹합니다. 이 데이터셋은 양어와 단일 언어를 포함하는 다양한 유형의 정렬 KGs와 표준(비반복적) 및 반복적 훈련 패러다임을 통해 모델 성능을 평가합니다. 우리의 연구는 모달 불완전성에 직면했을 때, 모델들이 모달 노이즈에 과적합되며, 높은 비율의 누락된 모달성이 있는 경우 성능 변동이나 하락을 나타냄을 보여줍니다. 이는 추가적인 다중 모달 데이터가 때때로 EA에 부정적인 영향을 미칠 수 있음을 입증합니다. 이러한 도전 과제를 해결하기 위해 우리는 UMAEA를 소개합니다. UMAEA는 불확실하게 누락되고 애매한 시각 모달성을 처리하도록 설계된 강건한 다중 모달 엔티티 정렬 접근 방식입니다. UMAEA는 모든 97개 벤치마크 분할에서 일관되게 최고 수준(SOTA)의 성능을 달성하며, 제한된 매개변수와 시간 소모로 기존 베이스라인을 크게 능가하면서 동시에 다른 모델들의 식별된 한계를 효과적으로 완화시킵니다. 우리의 코드와 벤치마크 데이터는 https://github.com/zjukg/UMEA 에서 확인할 수 있습니다.