다중 모달 시아메스 네트워크를 활용한 엔티티 정합

다중모달 지식 그래프(MMKGs)의 급속한 발전은 별도의 데이터 소스로부터 생성된 여러 MMKG를 통합할 수 있도록 지원하는 다중모달 엔티티 정합 기술에 대한 절박한 수요를 촉발하고 있다. 그러나 기존 연구들은 단일모달 특징 임베딩의 휴리스틱한 병합을 통해 다중모달 지식을 활용하는 데 그치며, 이로 인해 다중모달 지식 내에 숨겨진 다모달 간 상호작용 정보가 대부분 간과되는 문제가 존재한다. 이러한 문제를 해결하기 위해 본 논문에서는 서로 다른 MMKG 내의 엔티티를 정합하기 위한 새로운 다중모달 시아메스 네트워크(MSNEA)를 제안한다. MSNEA는 다모달 간 효과를 적극적으로 활용함으로써 다중모달 지식을 종합적으로 활용할 수 있도록 설계되었다. 구체적으로, 먼저 각각의 MMKG에 대해 엔티티의 시각적, 관계적, 속성적 특징을 추출하여 통합적인 엔티티 표현을 생성하는 다중모달 지식 임베딩 모듈을 설계한다. 이 과정에서 시각적 특징을 활용하여 관계적 특징 학습을 안내하고, 정합에 유용한 속성들을 적응적으로 강조하기 위해 다모달 강화 메커니즘을 도입한다. 이후, 약한 모달의 지배적 영향을 방지하면서 다모달 간 강화를 통합하는 다중모달 대조 학습 모듈을 설계한다. 공개된 두 개의 데이터셋에서 수행한 실험 결과는 제안하는 MSNEA가 경쟁적인 기준 모델들에 비해 큰 성능 차이로 최첨단 성능을 달성함을 입증한다.