IBMEA: 다중 모드 실체 정렬을 위한 변분 정보 병목 탐구

다중 모드 실체 정렬(Multi-modal Entity Alignment, MMEA)은 다중 모드 지식 그래프(Multi-modal Knowledge Graphs, MMKGs) 간의 동일한 실체를 식별하는 것을 목표로 하며, 이때 실체는 관련 이미지와 연결될 수 있습니다. 기존 연구 대부분은 자동으로 학습된 융합 모듈에 크게 의존하여 다중 모드 정보를 통합하지만, MMEA에서 명시적으로 중복 정보를 억제하는 경우는 드뭅니다. 이를 해결하기 위해, 우리는 변분 정보 병목(Variational Information Bottleneck, VIB)을 활용한 다중 모드 실체 정렬(Information Bottleneck for Multi-modal Entity Alignment, IBMEA)을 탐구합니다. 이 방법은 실체 표현 생성 과정에서 정렬과 관련된 정보를 강조하고, 정렬과 무관한 정보를 억제합니다. 구체적으로, 우리는 다중 모드 변분 인코더를 설계하여 각 모드별 실체 표현을 확률 분포 형태로 생성합니다. 그런 다음, 네 가지 모드별 정보 병목 규제자를 제안하여 각 모드별 실체 표현을 개선하는 과정에서 잘못된 힌트를 제한합니다. 마지막으로, 모든 개선된 모드별 표현을 통합하기 위한 모달 혼합 정보 대비 규제자를 제안하여 MMKGs 간의 실체 유사성을 향상시켜 MMEA를 달성합니다. 우리는 두 개의 크로스-KG 및 세 개의 양어 MMEA 데이터셋에서 광범위한 실험을 수행했습니다. 실험 결과는 우리의 모델이 기존 최신 방법들을 일관되게 능가하며, 저자원 및 고노이즈 데이터 환경에서도 유망하고 안정적인 성능을 보임을 입증하였습니다.