GeoMVSNet: 기하 인지 기반 다중 시점 스테레오 학습

최근의 계단식 다중 관점 스테레오(Multi-View Stereo, MVS) 방법들은 가설 범위를 좁힘으로써 고해상도 깊이 맵을 효율적으로 추정할 수 있다. 그러나 기존의 방법들은 거친 단계에서 내재된 중요한 기하학적 정보를 간과하여, 비효율적인 비용 매칭과 최적화되지 않은 재구성 결과를 초래했다. 본 논문에서는 거친 단계에서 암시된 기하학적 단서를 명시적으로 통합하여 정밀한 깊이 추정을 가능하게 하는 기하학적 인식 모델인 GeoMVSNet을 제안한다. 특히, 거친 추정에서 기하학적 사전 지식을 추출하여 더 세밀한 단계에서 구조적 특징 추출을 강화하기 위해 이중 분기 기하학적 융합 네트워크를 설계하였다. 또한, 깊이 분포 특성을 잘 반영하는 거친 확률 볼륨을 경량 정규화 네트워크에 통합함으로써 깊이 방향의 기하학적 직관을 추가로 강화하였다. 한편, 고주파 영역이 초래하는 부정적 영향을 완화하기 위해 주파수 도메인 필터링을 적용하고, 모델의 기하학적 융합 능력을 점진적으로 향상시키기 위해 교육 과정 학습( curriculum learning) 전략을 도입하였다. 전체 장면의 기하학적 인식 능력을 더욱 강화하기 위해 가우시안 믹스 모델(Gaussian-Mixture Model) 가정 기반의 깊이 분포 유사도 손실을 제안한다. DTU 및 Tanks and Temples(T&T) 데이터셋에서 실시한 광범위한 실험 결과, GeoMVSNet은 최신 기술 수준의 성능을 달성하였으며, T&T-Advanced 세트에서 1위를 기록하였다. 코드는 https://github.com/doubleZ0108/GeoMVSNet 에서 공개되어 있다.