실용적인 단일 카메라 실내 깊이 추정을 향하여

지난 몇 년간 단안 깊이 추정 기법 중 대부분은 진실 깊이 지도(groundtruth depth guidance) 없이 주로 주행 환경을 대상으로 개발되어 왔다. 본 연구에서는 이러한 기법들이 근거리에 복잡하게 배치된 물체가 존재하는 새로운 실내 환경에 대해 일반화 성능이 매우 낮음을 보여준다. 이를 보완하기 위해, 구조적 특성을 갖지만 메트릭(측정 단위)에 무관한 깊이를 생성하는 사전 구축된 상대 깊이 추정기로부터 구조적 지식을 학습할 수 있는 구조 디스틸레이션(Structure Distillation) 기법을 제안한다. 구조 디스틸레이션과 좌우 일관성(left-right consistency)을 통해 메트릭을 학습하는 병렬 브랜치를 결합함으로써, 일반적인 실내 환경에 대해 구조적이고 메트릭 기반의 깊이 정보를 실시간으로 추론할 수 있다. 학습과 평가를 용이하게 하기 위해, 수천 개의 시뮬레이션 환경에서 수집한 SimSIN 데이터셋과 일반적인 실내 환경의 약 500개 실제 스캔 시퀀스를 포함하는 UniSIN 데이터셋을 구축하였다. 시뮬레이션에서 실제 환경으로(sim-to-real) 및 실제에서 실제로(real-to-real)의 다양한 설정에서 실험을 수행하였으며, 제안한 깊이 맵이 하류 응용 분야에서도 성능 향상을 보임을 입증하였다. 본 연구는 기법, 데이터, 응용 분야를 아우르는 종합적인 연구를 제공한다.