UniK3D: 일관된 카메라 단일 이미지 3D 추정

단안 3D 추정은 시각 인식에 핵심적인 역할을 한다. 그러나 기존 방법들은 투영 카메라 모델이나 정방형화된 이미지와 같은 과도하게 단순화된 가정에 의존하여, 일반화 능력에 심각한 제약을 받고 있다. 이러한 한계는 난시 또는 패노라마 이미지와 같은 실제 환경에서의 성능 저하를 초래하며, 중요한 맥락 정보의 손실을 유발한다. 이를 해결하기 위해 우리는 어떤 카메라 모델도 모델링할 수 있는 일반화 가능한 단안 3D 추정 방법인 UniK3D를 제안한다. 본 방법은 구면 3D 표현을 도입하여 카메라 기하학과 장면 기하학을 보다 효과적으로 분리하고, 제약 없는 카메라 모델에 대해 정량적인 정확한 3D 재구성 가능성을 제공한다. 카메라 모듈은 구면 조화함수의 학습된 중첩을 통해 구현된, 모델에 종속되지 않는 새로운 광선 군(-pencil of rays) 표현을 특징으로 한다. 또한, 광각 카메라에서 3D 출력의 수축을 방지하기 위해 각도 기반 손실 함수를 도입하였으며, 이는 카메라 모듈 설계와 함께 효과적으로 작용한다. 13개의 다양한 데이터셋을 대상으로 한 종합적인 제로샷 평가 결과, UniK3D는 3D, 깊이, 카메라 관련 지표에서 최신 기술 수준의 성능을 보였으며, 특히 광각 및 패노라마 환경에서 큰 성능 향상을 기록하였다. 동시에 전통적인 투영 카메라 모델 및 좁은 시야각 환경에서도 최상의 정확도를 유지하였다. 코드와 모델은 github.com/lpiccinelli-eth/unik3d 에서 공개된다.