IB-MVS: バイナリ決定に基づく深層マルチビューステレオの反復アルゴリズム

私たちは、マルチビューステレオ（Multi-View Stereo）向けの新しい深層学習ベースの手法を提案します。本手法は、各ピクセルにおける可能な深度値の連続空間をバイナリ決定方式で探索することにより、高解像度かつ高精度な深度マップを反復的に推定します。決定プロセスでは、深層ネットワークアーキテクチャを利用しています。これにより、各ピクセルの実際の深度が現在の反復回での個別の深度仮説よりも前か後ろにあるかどうかを示すピクセルごとのバイナリマスクが計算されます。さらに、遮蔽領域を処理するために、各反復回では異なるソース画像からの結果を、別のネットワークによって推定されたピクセルごとの重みを使用して融合します。採用したバイナリ決定戦略により、効率的な深度空間の探索が可能となり、当手法は解像度と精度を犠牲にすることなく高解像度画像を処理できます。これは、多くの代替の学習ベースのマルチビューステレオ手法とは異なります。これらの手法では、深度空間の明示的な離散化が必要であり、大規模なコストボリュームの処理が求められます。私たちはDTU、Tanks and Templesおよび困難なETH3Dベンチマークにおいて、当手法を最先端のマルチビューステレオ手法と比較し、競争力のある結果を示しました。