표현 기반을 위한 분리된 모티프 인지 그래프 학습

본 논문에서는 이미지 내 표현(phrase) 지정을 위한 새로운 그래프 학습 프레임워크를 제안한다. 기존의 작업들은 순차적 그래프 모델에서 밀집형 그래프 모델로 발전하면서 거시적 맥락을 포착할 수 있었으나, 표현들 간 및 이미지 영역 간 맥락의 다양성을 구분하지 못하는 한계를 가지고 있다. 반면에, 본 연구는 시나리오 그래프의 맥락에 내포된 다양한 모티프(모티프)에 특별한 주목을 기울이며, 모티프 인식을 반영한 맥락 정보를 표현에 통합하기 위해 분리형 그래프 네트워크(Disentangled Graph Network)를 설계한다. 또한, 특징 수준과 구조 수준에서 개입 전략(interventional strategies)을 도입하여 표현의 강화와 일반화를 도모한다. 마지막으로, 다모달 어텐션 네트워크를 활용해 내모달 특징을 융합하며, 각 표현이 이미지 영역과 유사도를 계산하여 가장 적절한 지정 결과를 선별한다. 다양한 제거 실험(ablation studies)을 통해 분리형 및 개입형 그래프 네트워크(DIGN)의 효율성을 검증하였으며, 본 모델은 Flickr30K Entities 및 ReferIt Game 벤치마크에서 최고 성능(SOTA)을 달성하였다.