ScaleDepth: 메트릭 깊이 추정을 스케일 예측과 상대 깊이 추정으로 분해하기

단일 이미지에서 깊이를 추정하는 것은 도전적인 시각적 과제이다. 상대적 깊이 추정에 비해, 실생활 시나리오에서 중요한 물리적 의미와 핵심 응용 가능성을 지닌 메트릭 깊이 추정이 더 많은 관심을 받고 있다. 그러나 기존의 메트릭 깊이 추정 방법들은 일반적으로 유사한 장면을 가진 특정 데이터셋에서 학습되며, 규모 차이가 큰 장면 간의 일반화에 어려움을 겪는다. 이러한 문제를 해결하기 위해, 본 연구에서는 새로운 단안 깊이 추정 방법인 ScaleDepth를 제안한다. 제안된 방법은 메트릭 깊이를 장면의 스케일과 상대적 깊이로 분해하고, 각각을 의미 인식 스케일 예측(Semantic-Aware Scale Prediction, SASP) 모듈과 적응형 상대적 깊이 추정(Adaptive Relative Depth Estimation, ARDE) 모듈을 통해 예측한다. ScaleDepth는 다음과 같은 여러 장점을 지닌다. 첫째, SASP 모듈은 이미지의 구조적 특성과 의미적 특성을 암묵적으로 통합하여 정밀한 장면 스케일을 예측할 수 있다. 둘째, ARDE 모듈은 정규화된 깊이 공간 내에서 각 이미지의 상대적 깊이 분포를 적응적으로 추정할 수 있다. 셋째, 본 방법은 깊이 범위 설정이나 모델 미세조정 없이도 실내 및 실외 장면 모두에서 통합된 프레임워크를 통해 메트릭 깊이 추정을 수행할 수 있다. 광범위한 실험 결과는 본 방법이 실내, 실외, 제약 없음, 그리고 미지의 장면에서 모두 최신 기술 수준(SOTA)의 성능을 달성함을 입증한다. 프로젝트 페이지: https://ruijiezhu94.github.io/ScaleDepth