이미지 기반 다중 시점 지리 위치 규명을 위한 공간 인지 특징 집약

본 논문에서는 지상 시점과 항공 시점 간의 본질적인 차이를 명시적으로 다루기 위한 새로운 딥 네트워크를 제안한다. 우리는 지상 이미지와 항공 이미지 사이에 약간의 근사적인 도메인 대응 관계가 존재함을 관찰하였다. 구체적으로, 항공 이미지 내 동일한 방위각 방향에 위치한 픽셀들은 지상 시점 이미지에서 수직 이미지 열과 약간의 대응 관계를 가진다. 이를 바탕으로 본 연구는 이러한 사전 지식을 활용하기 위한 이단계적 접근법을 제안한다. 첫 번째 단계에서는 항공 이미지를 정규 극좌표 변환(regular polar transform)을 통해 왜곡함으로써, 지상 시점 파노라마 이미지의 도메인과 더 가까워지도록 한다. 단, 극좌표 변환은 순수한 기하학적 변환으로 장면의 내용에 무관하므로, 두 도메인을 완전히 일치시키는 데에는 한계가 있다. 이후 두 번째 단계로, 공간 주의 메커니즘(spatial-attention mechanism)을 도입하여 임베딩 공간 내에서 대응하는 딥 특징들을 더욱 가깝게 만든다. 특징 표현의 강건성을 향상시키기 위해, 여러 개의 공간 임베딩을 학습함으로써 특징 집계(feature aggregation) 전략을 도입한다. 위의 이단계적 접근을 통해 보다 구분력 있는 딥 표현을 달성하였으며, 이는 서로 다른 시점 간의 지오로컬라이제이션(Geo-localization)을 더욱 정확하게 가능하게 한다. 표준 벤치마크 데이터셋을 대상으로 한 실험 결과, 기존 최고 성능 대비 Recall율이 두 배 이상 향상됨을 확인할 수 있었다.