다중 모드 대조적 표현 학습을 이용한 실체 정렬

다중 모드 실체 정렬은 두 개의 다른 다중 모드 지식 그래프 사이에서 동일한 실체를 식별하는 것을 목표로 합니다. 이 지식 그래프는 구조적 트리플과 실체와 관련된 이미지로 구성됩니다. 대부분의 이전 연구들은 다양한 모드에서 정보를 활용하고 인코딩하는 방법에 초점을 맞추고 있지만, 모달리티의 이질성 때문에 다중 모드 지식을 실체 정렬에 활용하는 것은 쉽지 않습니다. 본 논문에서는 MCLEA(Multi-modal Contrastive Learning based Entity Alignment)라는 다중 모드 대비 학습 기반 실체 정렬 모델을 제안하여, 다중 모드 실체 정렬에 효과적인 결합 표현을 얻고자 합니다. MCLEA는 이전 연구들과 달리 작업 지향적 모달리티를 고려하며, 각 실체 표현에 대한 간모달 관계를 모델링합니다. 특히, MCLEA는 먼저 여러 모달리티로부터 여러 개개의 표현을 학습한 후, 대비 학습을 수행하여 동모달 및 간모달 상호작용을 결합하여 모델링합니다. 광범위한 실험 결과는 MCLEA가 감독된 환경과 비감독된 환경 모두에서 공개 데이터셋에서 최신 기법들을 능가함을 보여줍니다.