스케치 미 댓 쇼즈

우리는 자유롭게 그려진 인간의 스케치를 쿼리로 사용하여 이미지의 인스턴스 수준 검색을 수행하는 세부적인 스케치 기반 이미지 검색(SBIR) 문제를 조사한다. 이는 (i) 시각적 비교가 세부적인 수준에서 이루어져야 할 뿐만 아니라 크로스 도메인에서 수행되어야 하며, (ii) 자유로운 손으로 그린(손가락으로 그린) 스케치는 매우 추상적이어서 세부적인 매칭을 더욱 어렵게 만들며, 무엇보다 (iii) 학습에 필요한 크로스 도메인 스케치-사진 데이터셋이 주석이 달린 형태로 희소하여, 많은 최첨단 기계학습 기법에 도전을 제기한다는 점에서 매우 도전적인 과제이다. 본 논문에서는 이러한 모든 과제를 처음으로 다루며, 상용 스케치 기반 이미지 검색 애플리케이션을 구현하는 데 필요한 기반 기술을 제시한다. 우리는 두 가지 카테고리에서 구성된 1,432개의 스케치-사진 쌍과 32,000개의 세부적인 트리플릿 순위(annotation)를 포함하는 새로운 데이터베이스를 소개한다. 또한, 세부적인 학습 데이터 부족 문제를 완화하기 위해 독창적인 데이터 증강 기법과 단계적 사전 학습 전략을 도입한 깊은 트리플릿 순위 모델을 개발한다. 깊은 네트워크를 활용한 세부적인 크로스 도메인 순위 학습 과정에서 데이터 부족 문제와 과적합 회피에 대한 다양한 통찰을 제공하기 위해 광범위한 실험을 수행하였다.