공중 영상으로부터 지면 장면 레이아웃 예측

우리는 공중 영상에서 의미론적으로 중요한 특징을 추출하기 위한 새로운 전략을 소개합니다. 공중 영상을 수동으로 라벨링하는 대신, 동일 위치의 지상 영상에서 자동으로 추출된 (잡음이 있는) 의미론적 특징을 예측하는 방법을 제안합니다. 우리의 네트워크 구조는 공중 영상을 입력으로 받아, 합성곱 신경망(CNN)을 사용하여 특징을 추출한 후, 이들 특징을 지상 시점으로 매핑하기 위해 적응형 변환을 적용합니다. 우리는 지상 영상에서 직접 추출된 의미론적 분할과 공중 영상만으로 예측된 의미론적 분할 간의 차이를 최소화하기 위해 종단학습(end-to-end learning) 접근법을 사용합니다. 이 전략을 통해 학습된 모델은 추가적인 훈련 없이 이미 공중 영상의 대략적인 의미론적 라벨링이 가능함을 보여줍니다. 또한, 이 모델의 미세 조정(finetuning)을 통해 두 가지 기준 초기화 전략보다 더 정확한 의미론적 분할 결과를 얻을 수 있음을 입증하였습니다. 우리는 이 네트워크를 사용하여 지상 영상의 지리위치(geolocation)와 지리방향(geoorientation) 추정 과제를 해결합니다. 마지막으로, 공중 영상에서 추출된 특징들을 활용하여 가능한 지상 팬오라마(panorama)를 생성하는 방법도 설명합니다.