지오로케이션을 넘어서: 위성 이미지와의 크로스 뷰 매칭을 통한 스트리트 뷰 이미지의 세부 방향성 정밀화 및 보충 자료

스트리트 뷰 이미지는 우리가 원격으로 다양한 장소를 탐험할 수 있는 새로운 경험을 제공합니다. 정교하게 교정된 스트리트 뷰 이미지(예: 구글 스트리트 뷰)는 내비게이션, 지도 특성 추출 등 다양한 후속 작업에 활용될 수 있습니다. 개인용 고화질 카메라가 더욱 저렴하고 휴대하기 쉬워짐에 따라, 인터넷에는 센서 정보가 누락되거나 오염된 엄청난 양의 크라우드소싱 스트리트 뷰 이미지가 업로드되고 있습니다. 이 숨겨진 보물을 "즉시 사용 가능" 상태로 준비하기 위해서는 누락된 위치 정보와 카메라 방향 각도를 결정하는 두 가지 작업이 동등하게 중요합니다. 최근 방법들은 지오-참조 위성 이미지의 풀(pool)과 크로스 뷰 매칭(cross-view matching)을 통해 스트리트 뷰 이미지의 지오-위치화(geo-localization)에서 높은 성능을 달성하였습니다. 그러나 대부분의 기존 연구는 지오-위치화에 더 집중하고 있으며, 이미지 방향 추정보다는 덜 주목하고 있습니다.본 연구에서는 스트리트 뷰 이미지의 세부 방향(fine-grained orientation) 찾기의 중요성을 재강조하며, 문제를 공식적으로 정의하고 방향 추정의 품질을 평가하기 위한 일련의 평가 척도를 제시합니다. 우리는 방향 추정의 세분화(granularity)를 개선하기 위한 두 가지 방법을 제안하여 CVUSA 및 CVACT 데이터셋에서 2도 미만의 추정 각도 오차를 가진 이미지에 대해 82.4%와 72.3%의 정확도를 달성하였습니다. 이는 기존 연구 대비 절대적으로 34.9%와 28.2%의 개선률을 나타냅니다. 세부 방향 추정을 학습 과정에 통합함으로써 지오-위치화 성능 역시 향상되어, 두 데이터셋에서 방향이 알려진/미알려진 테스트에서 상위 1 리콜(top 1 recall)이 각각 95.5%/85.5%와 86.8%/80.4%를 기록하였습니다.