불완전 데이터로 학습된 대규모 이미지 검색을 위한 반복적 다양체 임베딩 레이어

기존의 다양체 학습 방법들은 이미지 검색 작업에 적합하지 않다. 이는 대부분의 방법들이 쿼리 이미지를 처리할 수 없으며, 특히 대규모 데이터베이스에서 추가적인 계산 비용이 많이 발생하기 때문이다. 따라서, 우리는 비지도 전략을 통해 오프라인으로 가중치를 학습하는 반복적 다양체 임베딩(Iterative Manifold Embedding, IME) 레이어를 제안하여 불완전한 데이터로 내재적 다양체를 탐색한다. 27,000장의 이미지를 포함하는 대규모 데이터베이스에서, 쿼리 시간에 원래 표현을 임베딩하는 데 있어 IME 레이어는 다른 다양체 학습 방법들보다 120배 이상 빠르다. 오프라인 학습 단계에서는 고차원 공간에 위치한 데이터베이스 이미지의 원래 설명자를 반복적으로 다양체 기반 표현으로 변환하여 IME 표현을 생성한다. 데이터베이스 이미지의 원래 설명자와 IME 표현을 바탕으로 릿지 회귀(Ridge Regression)를 사용하여 IME 레이어의 가중치를 추정한다. 온라인 검색 단계에서는 IME 레이어를 사용하여 쿼리 이미지의 원래 표현을 무시할 만큼 짧은 시간(2밀리초) 내에 매핑한다. 우리는 이미지 검색을 위한 다섯 개의 공개 표준 데이터셋에서 실험을 수행하였다. 제안된 IME 레이어는 관련 차원 축소 방법들과 다양체 학습 방법들보다 현저히 우수한 성능을 보였다. 후처리 없이도, 우리의 IME 레이어는 대부분의 데이터셋에서 후처리가 적용된 최신 이미지 검색 방법들보다 성능 향상을 이루었으며, 더 적은 계산 비용이 필요하다.