MEAformer: 다중 모드 엔티티 정렬 트랜스포머 для 메타 모드 하이브리드

다중 모드 실체 정렬(Multi-modal Entity Alignment, MMEA)은 관련 이미지와 연결된 실체를 가진 다른 지식 그래프(Knowledge Graphs, KGs) 간에 동일한 실체를 발견하는 것을 목표로 합니다. 그러나 현재의 MMEA 알고리즘들은 다중 모드 실체 표현을 위해 지식 그래프 수준의 모달리티 융합 전략에 의존하고 있어, 서로 다른 실체들의 모달리티 선호도 차이를 무시하여 흐린 이미지나 관계 등의 모달리티 노이즈에 대한 견고성을 저해합니다. 본 논문에서는 메타 모달리티 하이브리드를 위한 다중 모드 실체 정렬 변환기 접근법인 MEAformer를 소개합니다. MEAformer는 더 세밀한 실체 수준의 모달리티 융합 및 정렬을 위해 각 모달리티 간의 상호 상관 계수를 동적으로 예측합니다. 실험 결과, 제안된 모델은 감독 학습, 비감독 학습, 반복 학습, 저자원 환경 등 다양한 학습 시나리오에서 최상의 성능(SOTA)을 달성하였을 뿐만 아니라 매개변수 개수가 적고, 실행 시간이 효율적이며 해석 가능하다는 점을 입증하였습니다. 본 연구의 코드는 https://github.com/zjukg/MEAformer에서 확인할 수 있습니다.