다중뷰 스테레오를 위한 깊이 추정의 재고: 통합 표현 방식

기존의 학습 기반 다중 시점 스테레오 방법에서는 깊이 추정을 회귀 또는 분류 문제로 해결한다. 이러한 두 가지 표현 방식은 최근 뛰어난 성능을 입증하고 있으나, 여전히 명확한 한계를 가지고 있다. 예를 들어, 회귀 방법은 간접적인 학습 비용 볼륨으로 인해 과적합 경향이 있으며, 분류 방법은 이산적인 예측 방식을 사용하기 때문에 정확한 깊이를 직접 추론할 수 없다는 문제가 있다. 본 논문에서는 회귀와 분류의 장점을 통합하는 새로운 표현 방식인 '유니피케이션(Unification)'을 제안한다. 이 방식은 분류 방법처럼 비용 볼륨을 직접 제약할 수 있으며, 동시에 회귀 방법처럼 서브픽셀 수준의 깊이 예측도 가능하다. 유니피케이션의 잠재력을 극대화하기 위해, 샘플 불균형 문제에 효과적으로 대응할 수 있도록 보다 균형 있고 합리적인 새로운 손실 함수인 '유니티드 포칼 로스(Unified Focal Loss)'를 설계하였다. 이러한 두 가지 경량화된 모듈을 결합하여, 거친 단계에서 세밀한 단계로 진행하는 계층적 프레임워크인 UniMVSNet을 제안한다. DTU 및 Tanks and Temples 벤치마크에서 모두 1위를 기록한 결과는, 제안된 모델이 뛰어난 성능을 발휘할 뿐만 아니라 가장 우수한 일반화 능력을 갖추고 있음을 입증한다.