17일 전

다크 사이드 증강: 메트릭 학습을 위한 다양한 야간 예제 생성

Albert Mohwald, Tomas Jenicek, Ondřej Chum
다크 사이드 증강: 메트릭 학습을 위한 다양한 야간 예제 생성
초록

CNN 기반 기술자(descriptor)를 활용한 이미지 검색 방법은 양성 및 음성 이미지 쌍의 다양한 예시로부터 거리 학습(metric learning)에 의존한다. 일상적인 기준 벤치마크에서 우수한 성능을 보이는 방법이라도, 밤 이미지와 같이 학습 데이터의 가용성과 다양성이 제한된 도메인에서는 검색 성능이 저하되는 문제가 있다. 본 연구에서는 가용한 일일 이미지 예시를 밤 이미지로 변환하는 GAN 기반의 합성 이미지 생성기를 학습시키는 방안을 제안한다. 이 생성기는 거리 학습 과정에서 증강(augmentation) 수단으로 활용되어, 데이터가 부족한 도메인에 학습 데이터를 공급한다. 다양한 유형의 생성기를 평가하고 분석하였으며, 본 연구는 원본 이미지와 변환된 이미지 간의 일관성을 보장하는 에지 일관성(edge consistency)을 강제하는 새로운 경량 GAN 아키텍처를 제안한다. 또한, 이 아키텍처는 일일 및 야간 이미지 모두에서 작동하는 에지 검출기(edge detector)를 동시에 학습할 수 있도록 한다. 더불어 학습 예시의 다양성을 높이고, 학습된 모델의 일반화 능력을 극대화하기 위해, 새로운 다각적 앵커 마이닝(diverse anchor mining) 방법을 제안한다. 제안된 방법은 표준 Tokyo 24/7 일-야간 검색 벤치마크에서 최신 기술 대비 우수한 성능을 달성하면서도, Oxford 및 Paris 데이터셋에서의 성능을 유지한다. 이는 일일과 야간 이미지가 일치하는 학습 쌍을 추가로 학습할 필요 없이 달성된 결과이다. 소스 코드는 https://github.com/mohwald/gandtr 에서 공개되어 있다.