2ヶ月前

曲率誘導型動的スケールネットワークを用いた多視点ステレオ

Khang Truong Giang; Soohwan Song; Sungho Jo
曲率誘導型動的スケールネットワークを用いた多視点ステレオ
要約

マルチビュー立体視(MVS)は、精密な3D再構築に重要な課題である。最近の多くの研究では、MVSにおけるマッチングコスト体積の性能向上を目指し、集約された3Dコスト体積とその正則化を設計することに取り組んできた。本論文では、他のステップでの重い計算を必要とせずにマッチングコストの性能を向上させる堅牢な特徴抽出ネットワークの学習に焦点を当てている。特に、動的なスケール特徴抽出ネットワークであるCDSFNet(Curvature-Guided Dynamic Scale Feature Network)を提案する。このネットワークは、画像表面の法線曲率によって各ピクセルに対して適切なパッチスケールを選択できる複数の新規な畳み込み層から構成されている。その結果、CDSFNetは参照画像とソース画像間で正確なマッチング計算を行うための識別力のある特徴を学習するために最適なパッチスケールを推定することができる。堅牢な抽出された特徴と適切なコスト形成戦略を組み合わせることにより、我々が提案するMVSアーキテクチャは深度マップをより正確に推定することが可能となる。広範囲にわたる実験により、提案手法が複雑な屋外シーンにおいて他の最先端手法よりも優れた性能を示すことが確認された。これは再構築モデルの完全性を大幅に改善している。したがって、本手法は他のMVS手法よりも高速かつ低メモリで高解像度入力を処理することができる。当該ソースコードはurl{https://github.com/TruongKhang/cds-mvsnet}から入手可能である。注:URL部分はそのまま残していますが、「url{...}」という形式ではなく「https://github.com/TruongKhang/cds-mvsnet」のように表示するのが一般的です。また、「Curvature-Guided Dynamic Scale Feature Network」は日本語で「曲率誘導型動的スケール特徴ネットワーク」と訳すこともできますが、本稿では原文表記を使用しました。