HybridDepth: 초점에서 얻은 깊이와 단일 이미지 사전 지식을 활용한 강건한 메트릭 깊이 융합

우리는 깊이 추정의 주요 과제인 스케일 모호성, 하드웨어 이질성, 일반화 능력 문제를 해결하는 강건한 깊이 추정 파이프라인인 HYBRIDDEPTH를 제안한다. HYBRIDDEPTH는 일반적인 모바일 장치에서 쉽게 접근 가능한 포커스 스택(focal stack)을 활용하여 정확한 메트릭 깊이 맵을 생성한다. 최근 단일 이미지 기반 깊이 추정 기술의 발전으로 얻어지는 깊이 사전 지식을 통합함으로써, 기존 방법들보다 더 높은 수준의 구조적 세부 정보를 달성한다. 본 연구에서는 새로운 모바일 클라이언트를 개발하여 포커스 스택을 캡처하고, 이를 GPU 기반 서버로 전송하여 깊이 추정을 수행하는 엔드투엔드 시스템으로 파이프라인을 평가하였다. 체계적인 정량적 및 정성적 분석을 통해, HYBRIDDEPTH는 DDFF12 및 NYU Depth V2와 같은 일반적인 데이터셋에서 최첨단(SOTA) 모델들을 능가함을 입증하였다. 또한, 제로샷 일반화 능력에서도 뛰어난 성능을 보였다. NYU Depth V2 데이터셋에서 학습한 HYBRIDDEPTH는 ARKitScenes에서 제로샷 성능에서 SOTA 모델을 초월하며, Mobile Depth 데이터셋에서는 더 구조적으로 정확한 깊이 맵을 생성하였다. 코드는 https://github.com/cake-lab/HybridDepth/ 에 공개되어 있다.