17일 전

GoMVS: 다중뷰 스테레오를 위한 기하학적으로 일관된 비용 집계

Jiang Wu, Rui Li, Haofei Xu, Wenxun Zhao, Yu Zhu, Jinqiu Sun, Yanning Zhang
GoMVS: 다중뷰 스테레오를 위한 기하학적으로 일관된 비용 집계
초록

매칭 비용 집약은 기반 학습 다중 시점 스테레오 네트워크에서 핵심적인 역할을 한다. 그러나 인접한 비용을 직접 집약하는 방식은 국소적 기하학적 불일치로 인해 최적의 결과를 얻기 어렵다. 기존의 방법들은 선택적 집약을 탐색하거나 2차원 공간에서 집약된 깊이를 개선하려는 시도를 하지만, 비용 볼륨 내 기하학적 불일치를 효과적으로 다루지 못한다. 본 논문에서는 기하학적으로 일관된 비용을 집약하는 GoMVS를 제안한다. 이를 통해 인접 기하 구조의 더 나은 활용이 가능하다. 구체적으로, 표면 법선과 함께 국소적 기하학적 매끄러움을 활용하여 인접 비용을 참조 픽셀로 대응 및 전파한다. 이를 실현하기 위해 기하학적 일관성 전파(Geometric Consistent Propagation, GCP) 모듈을 도입한다. 이 모듈은 표면 법선을 이용해 인접 깊이 가설 공간에서 참조 깊이 공간으로 대응을 계산한 후, 계산된 대응을 기반으로 인접 비용을 참조 기하 구조로 전파하고, 이후 컨볼루션을 통해 비용을 집약한다. 제안한 방법은 DTU, Tanks & Temple, ETH3D 데이터셋에서 새로운 최고 성능을 달성하였으며, 특히 Tanks & Temple Advanced 벤치마크에서 1위를 기록했다.

GoMVS: 다중뷰 스테레오를 위한 기하학적으로 일관된 비용 집계 | 최신 연구 논문 | HyperAI초신경