2ヶ月前

多視点ステレオ用の高効率一般化二分探索ネットワーク

Zhenxing Mi; Di Chang; Dan Xu
多視点ステレオ用の高効率一般化二分探索ネットワーク
要約

既知のカメラパラメータを持つマルチビューステレオ(MVS)は、有効な深度範囲内の1次元探索問題 Essentially, にほぼ等しいと言えます。最近の深層学習ベースのMVS手法では、通常、深度範囲内で密度高く深度仮説をサンプリングし、その後、深度予測のために記憶容量を大幅に消費する3次元コスト体積を構築します。粗いサンプリングから細かいサンプリングへの戦略はこの負荷問題を一定程度緩和していますが、MVSの効率性は依然として解決すべき課題となっています。本研究では、非常に効率的なMVSの新手法を提案し、記憶容量の消費を大幅に削減するとともに、最先端の深度予測性能を明確に向上させることを目指しています。効率と効果性の両面を考慮した場合、MVSにとって合理的に最適な探索戦略とは何かについて調査しました。まず、MVSを二分探索問題として定式化し、それに基づいて一般化された二分探索ネットワーク(GBi-Net)を提案しました。具体的には、各ステップで深度範囲が2つの区間に分割され、それぞれの側に1つの誤差許容区間が追加されます。真の深度が含まれる区間を特定するために分類を行います。また、分類エラーの処理、範囲外サンプルの対応、および訓練時の記憶容量削減のために3つのメカニズムも設計しました。新しい定式化により、当手法は各ステップで非常に少ない数の深度仮説のみをサンプリングするため記憶容量効率が高く、さらに訓練収束も大幅に促進されます。競争力のあるベンチマークでの実験結果は、当手法が少ない記憶容量で最先端の精度を達成することを示しています。特にDTUデータセットでは全体スコア0.289を得ており、挑戦的なTanks and Temples Advancedデータセットにおいてもすべての学習ベース的手法の中でトップクラスの性能を発揮しています。訓練済みモデルとコードはhttps://github.com/MiZhenxing/GBi-Net にて公開される予定です。

多視点ステレオ用の高効率一般化二分探索ネットワーク | 最新論文 | HyperAI超神経