UniDepth: 일관된 단일 뷰 메트릭 깊이 추정

정확한 단안 메트릭 깊이 추정(MMDE)은 3차원 인지 및 모델링 분야의 하류 작업을 해결하는 데 핵심적이다. 그러나 최근의 MMDE 기법들은 높은 정확도를 달성하고 있지만, 이 성능은 훈련 도메인 내에서만 유효하다. 중간 정도의 도메인 간 차이가 존재하는 상황에서도 이러한 기법들은 예측 도메인에 일반화하지 못하며, 이는 실용적 적용을 방해한다. 본 연구에서는 단일 이미지로부터 다양한 도메인에 걸쳐 메트릭 3차원 장면을 재구성할 수 있는 새로운 모델인 UniDepth를 제안한다. 기존의 MMDE 기법들과 달리, UniDepth는 추론 시 추가 정보 없이 입력 이미지로부터 직접 메트릭 3차원 점을 예측함으로써 보편적이고 유연한 MMDE 솔루션을 목표로 한다. 특히 UniDepth는 깊이 특징을 조건화하기 위해 밀도 높은 카메라 표현을 예측하는 자기 펌프 가능한 카메라 모듈을 구현한다. 본 모델은 카메라 표현과 깊이 표현을 분리하는 가상 구면 출력 표현 방식을 활용한다. 또한, 카메라 펌프에 의해 유도된 깊이 특징의 기하학적 불변성을 촉진하는 기하학적 불변 손실을 제안한다. 10개의 데이터셋에서 제로샷(zero-shot) 환경에서 실시한 철저한 평가 결과, UniDepth는 테스트 도메인에 직접 훈련된 방법들과 비교해도 우수한 성능을 지속적으로 보였다. 코드 및 모델은 다음 링크에서 제공된다: https://github.com/lpiccinelli-eth/unidepth