초록
컨벌루션 신경망(CNNs)의 활성화를 기반으로 하는 이미지 설명자는 그들의 구분력, 표현의 압축성, 및 검색 효율성 때문에 이미지 검색에서 주도적인 위치를 차지하고 있습니다. CNNs의 훈련, 처음부터 시작하거나 미세 조정하는 경우, 대량의 주석화된 데이터가 필요하며, 종종 높은 품질의 주석이 중요합니다. 본 연구에서는 대규모 무순서 이미지 컬렉션을 완전히 자동화된 방식으로 이미지 검색을 위한 CNNs의 미세 조정을 제안합니다. 최신 검색 및 모션으로부터 구조 방법에 의해 얻어진 재구성된 3D 모델이 훈련 데이터 선택을 안내합니다. 우리는 3D 모델로부터 사용 가능한 기하학적 정보와 카메라 위치를 활용하여 선택된 어려운 양성 예제와 어려운 음성 예제가 특정 객체 검색의 성능을 개선한다는 것을 보여줍니다. 같은 훈련 데이터에서 차별적으로 학습된 CNN 설명자 화이트닝은 일반적으로 사용되는 PCA 화이트닝보다 우수한 성능을 보입니다. 우리는 최대 풀링과 평균 풀링을 일반화하는 새로운 학습 가능한 일반화 평균(GeM) 풀링 레이어를 제안하며, 이는 검색 성능을 향상시킵니다. 제안된 방법을 VGG 네트워크에 적용하면 옥스퍼드 빌딩, 파리, 및 홀리데이즈 데이터셋에서 표준 벤치마크에서 최고 수준의 성능을 달성합니다.