심층 컨볼루션 특징점 서술자에 대한 구분 학습

딥러닝은 분류와 같은 이미지 수준의 작업에서 혁신을 가져왔지만, 대응 관계와 같은 패치 수준의 작업은 여전히 수작업으로 설계된 특징(예: SIFT)에 의존하고 있다. 본 논문에서는 컨볼루션 신경망(CNN)을 활용하여 구분 가능한 패치 표현을 학습하고, 특히 대응 관계가 있는(또는 없는) 패치 쌍을 이용해 시아메스 네트워크(Siamese network)를 훈련한다. 훈련 과정에서 가능한 패치 쌍의 수가 매우 많다는 문제를 해결하기 위해, 훈련 데이터셋에 대한 확률적 샘플링과 분류가 어려운 패치에 치우친 공격적인 마이닝 전략을 결합한다. 훈련 및 테스트 모두에서 L2 거리를 사용함으로써, 유클리드 거리가 패치 유사도를 반영하는 128차원의 기술자(디스크립터)를 개발하였으며, 이는 SIFT를 사용하는 모든 작업에 즉시 대체할 수 있는 형태로 활용 가능하다. 제안하는 방법은 기존 최고 성능 기법 대비 일관된 성능 향상을 보이며, 스케일링 및 회전, 투시 변환, 비선형 변형, 조명 변화에 대해 우수한 일반화 능력을 보인다. 본 기술자들은 계산이 효율적이며 현대 GPU 환경에서 효과적으로 활용 가능하며, 공개적으로 제공된다.