지식 그래프 위에서의 다중모달 유사 추론

유사 추론은 인간 인지의 핵심 요소이며 다양한 분야에서 중요한 위치를 차지하고 있다. 그러나 기존 연구들은 주로 단일 모달 유사 추론에 집중하며, 구조적 지식을 활용하는 데 소홀해왔다. 특히 인지 심리학 분야의 연구들은 다중 모달 소스로부터 얻는 정보가 단일 모달 소스보다 더 강력한 인지 전이 효과를 제공함을 입증하고 있다. 이러한 맥락에서 우리는 지식 그래프를 기반으로 한 다중 모달 유사 추론이라는 새로운 과제를 제안한다. 이 과제는 배경 지식을 활용한 다중 모달 추론 능력을 요구한다. 구체적으로, 다중 모달 유사 추론 데이터셋(MARS)과 다중 모달 지식 그래프(MarKG)를 구축하였다. 다중 모달 지식 그래프 임베딩 및 사전 훈련된 Transformer 기반 모델을 활용한 평가를 통해 제안된 과제의 잠재적 도전 과제를 입증하였다. 또한, 구조 매핑 이론(Structure Mapping Theory)에 영감을 받아 모델에 의존하지 않는 새로운 다중 모달 유사 추론 프레임워크인 MarT를 제안하였다. 이 프레임워크는 우수한 성능을 달성할 수 있다. 코드 및 데이터셋은 https://github.com/zjunlp/MKG_Analogy 에 공개되어 있다.