기하학적 구조 기반 및 정규화된 360도 실내 이미지로부터의 깊이 추정

360도 실내 이미지의 깊이와 기하 구조 간의 상관관계에 착안하여, 장면의 기하 구조를 활용하여 깊이 추정을 수행하는 새로운 학습 기반의 깊이 추정 프레임워크를 제안한다. 구체적으로, 실내 장면의 기하 구조를 모서리, 경계선 및 평면의 집합으로 표현한다. 한편으로는, 추정된 깊이 맵으로부터 기하 구조를 추론할 수 있으므로, 기하 구조는 깊이 추정에 정규화 요소(regularizer)로서 기능한다. 다른 한편으로는, 이미지로부터 추정된 장면의 기하 구조가 사전 지식(prior)으로 작용하여 깊이 추정 과정에 긍정적인 영향을 미친다. 그러나 실내 장면에 존재하는 가구는 깊이 데이터나 이미지 데이터로부터 기하 구조를 추론하는 데 어려움을 초래한다. 이를 보완하기 위해, 기하 구조의 특징에서 깊이 추정을 수행하고, 추정된 깊이 맵으로부터 기하 구조를 추론하는 데 도움을 주는 어텐션 맵을 도입한다. 본 프레임워크 내 각 구성 요소의 효과를 통제된 조건 하에서 검증하기 위해, 3550개의 360도 실내 이미지를 포함하는 합성 데이터셋인 Shanghaitech-Kujiale Indoor 360 데이터셋을 구축하였다. 다양한 인기 있는 데이터셋에서 실시한 광범위한 실험을 통해 본 방법의 유효성을 입증하였으며, 또한 본 방법이 반사적 깊이(counterfactual depth) 추정에도 적용 가능함을 보여주었다.