3DVNet: 다중 시점 깊이 예측 및 볼루메트릭 정제

우리는 3DVNet, 이전의 깊이 기반 및 볼륨 기반 다중 시점 스테레오(MVS) 접근 방식의 장점을 결합한 새로운 MVS 깊이 예측 방법을 제시합니다. 우리의 핵심 아이디어는 3D 장면 모델링 네트워크를 사용하여 거친 깊이 예측값들을 반복적으로 업데이트하여, 기본 장면 기하학에 일치하는 매우 정확한 예측값들을 생성하는 것입니다. 기존의 깊이 예측 기술들과 달리, 우리의 방법은 모든 깊이 맵을 공동으로 처리하는 세계 공간에서 작동하는 볼륨 기반 3D 컨볼루셔널 신경망(CNN)을 사용합니다. 따라서 네트워크는 의미 있는 장면 수준의 사전 정보를 학습할 수 있습니다. 또한, 기존의 볼륨 기반 MVS 기술들과 달리, 우리의 3D CNN은 특징 강화된 포인트 클라우드 위에서 작동하여, 다중 시점 정보의 효과적인 집합과 깊이 맵의 유연한 반복적 개선을 가능하게 합니다.실험 결과는 우리의 방법이 ScanNet 데이터셋에서 깊이 예측 및 3D 재구성 지표 모두에서 최신 연구 성과를 초월하며, TUM-RGBD 및 ICL-NUIM 데이터셋의 일부 장면에서도 뛰어난 성능을 보임을 확인하였습니다. 이는 우리의 방법이 효과적이며 새로운 환경에도 일반화된다는 것을 입증합니다.