제한된 레이블을 가진 스케치-사진 검색을 위한 인스턴스 수준 이질적 도메인 적응

스케치-사진 검색은 다양한 응용 분야를 갖추고 있지만, 쌍으로 구성된 풍부한 레이블이 부여된 참조 데이터를 확보하는 데 비용이 매우 높다. 반면에 사진 검색 데이터는 상대적으로 쉽게 확보할 수 있다. 따라서 기존의 연구들은 풍부한 레이블이 부여된 사진 검색 데이터(즉, 소스 도메인)를 기반으로 사전 학습을 수행한 후, 제한된 레이블을 가진 스케치-사진 검색 데이터(즉, 타겟 도메인)에서 미세 조정(fine-tuning)을 수행하는 전략을 사용해왔다. 그러나 소스와 타겟 데이터를 동시에 학습시키지 않을 경우, 미세 조정 과정에서 소스 도메인의 지식이 소실될 수 있으며, 단순히 두 도메인 데이터를 함께 학습시키는 것은 도메인 간 격차로 인해 부정적 전이(negative transfer)를 초래할 수 있다. 더불어, 소스 데이터와 타겟 데이터의 정체성 레이블 공간은 일반적으로 서로 겹치지 않기 때문에, 기존의 카테고리 수준의 도메인 적응(Domain Adaptation, DA) 기법은 직접 적용할 수 없다. 이러한 문제를 해결하기 위해, 우리는 인스턴스 수준의 이질적 도메인 적응(Instance-level Heterogeneous Domain Adaptation, IHDA) 프레임워크를 제안한다. 본 방법은 정체성 레이블 학습을 위해 미세 조정 전략을 적용함으로써, 유도적 전이(inductive transfer) 방식으로 인스턴스 수준의 지식을 전이하고자 한다. 동시에, 소스 데이터로부터 선택된 레이블링된 속성(attribute)을 활용하여 소스 및 타겟 도메인 간 공유 레이블 공간을 구성한다. 공유 속성에 의해 안내되는 방식으로 도메인 적응 기법을 활용하여 데이터셋 간 도메인 격차와 이질적 도메인 간 격차를 극복함으로써, 전도적 전이(transductive transfer) 방식으로 인스턴스 수준의 지식을 효과적으로 전이한다. 실험 결과, 본 방법은 추가적인 레이블 정보 없이도 세 가지 스케치-사진 이미지 검색 벤치마크에서 새로운 최고 성능(SOTA)을 달성하였으며, 제한된 레이블을 가진 이질적 이미지 검색 작업에 더 효과적인 모델을 학습할 수 있는 길을 열었다. 관련 코드는 https://github.com/fandulu/IHDA 에서 확인할 수 있다.