Command Palette

Search for a command to run...

4달 전

다중 모달 시아메스 네트워크를 활용한 엔티티 정합

{Enhong Chen Nicholas Jing Yuan Zhefeng Wang Han Wu Tong Xu Zhi Li Liyi Chen}

초록

다중모달 지식 그래프(MMKGs)의 급속한 발전은 별도의 데이터 소스로부터 생성된 여러 MMKG를 통합할 수 있도록 지원하는 다중모달 엔티티 정합 기술에 대한 절박한 수요를 촉발하고 있다. 그러나 기존 연구들은 단일모달 특징 임베딩의 휴리스틱한 병합을 통해 다중모달 지식을 활용하는 데 그치며, 이로 인해 다중모달 지식 내에 숨겨진 다모달 간 상호작용 정보가 대부분 간과되는 문제가 존재한다. 이러한 문제를 해결하기 위해 본 논문에서는 서로 다른 MMKG 내의 엔티티를 정합하기 위한 새로운 다중모달 시아메스 네트워크(MSNEA)를 제안한다. MSNEA는 다모달 간 효과를 적극적으로 활용함으로써 다중모달 지식을 종합적으로 활용할 수 있도록 설계되었다. 구체적으로, 먼저 각각의 MMKG에 대해 엔티티의 시각적, 관계적, 속성적 특징을 추출하여 통합적인 엔티티 표현을 생성하는 다중모달 지식 임베딩 모듈을 설계한다. 이 과정에서 시각적 특징을 활용하여 관계적 특징 학습을 안내하고, 정합에 유용한 속성들을 적응적으로 강조하기 위해 다모달 강화 메커니즘을 도입한다. 이후, 약한 모달의 지배적 영향을 방지하면서 다모달 간 강화를 통합하는 다중모달 대조 학습 모듈을 설계한다. 공개된 두 개의 데이터셋에서 수행한 실험 결과는 제안하는 MSNEA가 경쟁적인 기준 모델들에 비해 큰 성능 차이로 최첨단 성능을 달성함을 입증한다.

벤치마크

벤치마크방법론지표
multi-modal-entity-alignment-on-umvm-dbp-frMSNEA (w/o surf)
Hits@1: 0.583
multi-modal-entity-alignment-on-umvm-dbp-frMSNEA (w/o surf & w/o iter)
Hits@1: 0.557
multi-modal-entity-alignment-on-umvm-dbp-jaMSNEA (w/o surf & w/o iter)
Hits@1: 0.541
multi-modal-entity-alignment-on-umvm-dbp-jaMSNEA (w/o surf)
Hits@1: 0.557
multi-modal-entity-alignment-on-umvm-dbp-zhMSNEA (w/o surf)
Hits@1: 0.648
multi-modal-entity-alignment-on-umvm-dbp-zhMSNEA (w/o surf & w/o iter)
Hits@1: 0.609
multi-modal-entity-alignment-on-umvm-oea-d-wMSNEA (w/o surf & w/o iter)
Hits@1: 0.800
multi-modal-entity-alignment-on-umvm-oea-d-wMSNEA (w/o surf)
Hits@1: 0.809
multi-modal-entity-alignment-on-umvm-oea-d-w-1MSNEA (w/o surf)
Hits@1: 0.862
multi-modal-entity-alignment-on-umvm-oea-enMSNEA (w/o surf & w/o iter)
Hits@1: 0.692
multi-modal-entity-alignment-on-umvm-oea-enMSNEA (w/o surf)
Hits@1: 0.699
multi-modal-entity-alignment-on-umvm-oea-en-1MSNEA (w/o surf)
Hits@1: 0.788
multi-modal-entity-alignment-on-umvm-oea-en-1MSNEA (w/o surf & w/o iter)
Hits@1: 0.753

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
다중 모달 시아메스 네트워크를 활용한 엔티티 정합 | 연구 논문 | HyperAI초신경