다중 모달 하위 공간 학습을 이용한 세부 스케치 기반 이미지 검색

스케치 기반 이미지 검색(SBIR)은 스케치와 사진 간의 본질적인 영역 차이(domain-gap) 때문에 어려움을 겪습니다. 사진의 픽셀 단위 정밀 표현과 달리, 스케치는 매우 추상적인 형태로 실제 세계를 상징적으로 묘사합니다. 따라서, 두 모달 사이에서 의미론적으로 연결되는 공통 저수준 하위 공간(common low-level subspace)을 설정하는 것이 쉽지 않기 때문에, 저수준 시각적 힌트(low-level visual clues)만으로 스케치와 사진을 직접 매칭하는 것은 충분하지 않습니다. 대부분의 기존 SBIR 연구들은 이와 같은 다중 모달(cross-modal) 문제를 직접 해결하지 않습니다. 이러한 점은 자연스럽게 우리에게 이미지-텍스트 매칭에서 성공적으로 적용된 다중 모달 검색 방법들의 효과성을 SBIR에서 탐구하도록 동기를 부여합니다. 본 논문에서는 최신의 다중 모달 하위 공간 학습 방법들을 소개하고, 두 개의 최근에 발표된 세부적인 SBIR 데이터셋에서 이를 벤치마킹합니다. 실험 결과를 철저히 분석함으로써, 우리는 하위 공간 학습이 스케치-사진 영역 차이를 효과적으로 모델링할 수 있음을 입증하였습니다. 또한, 미래 연구를 촉진하기 위한 몇 가지 중요한 통찰력을 제시하였습니다.