17日前

GoMVS:マルチビュー立体再構成における幾何学的に整合したコスト集約

Jiang Wu, Rui Li, Haofei Xu, Wenxun Zhao, Yu Zhu, Jinqiu Sun, Yanning Zhang
GoMVS:マルチビュー立体再構成における幾何学的に整合したコスト集約
要約

マッチングコストの集約は、学習ベースのマルチビュー立体再構成ネットワークにおいて基盤的な役割を果たす。しかし、隣接するコストを直接集約すると、局所的な幾何学的不整合のため、最適な結果が得られないことがある。従来の手法は、選択的集約を試みたり、2次元空間における集約された深度を改善しようとするが、いずれもコストボリューム内における幾何学的不整合を効果的に扱うことができない。本論文では、幾何学的に整合したコストを集約する手法GoMVSを提案する。これにより、隣接する幾何構造のより効果的な利用が可能となる。具体的には、表面法線を活用しつつ局所的な幾何学的滑らかさを考慮することで、隣接するコストを参照ピクセルに対応させ、伝搬する。この処理を実現するため、幾何学的整合伝搬(Geometric Consistent Propagation; GCP)モジュールを導入する。GCPモジュールは、表面法線を用いて隣接深度仮説空間から参照深度空間への対応関係を計算し、その対応に基づいて隣接コストを参照幾何に伝搬した後、畳み込み演算により集約を行う。本手法は、DTU、Tanks & Temple、ETH3Dの各データセットにおいて、新たな最先端性能を達成した。特に、Tanks & Temple Advancedベンチマークでは1位を獲得した。

GoMVS:マルチビュー立体再構成における幾何学的に整合したコスト集約 | 最新論文 | HyperAI超神経