要約
既存の学習ベースのマルチビュー立体再構成手法では、深度推定は回帰問題または分類問題として扱われている。これらの2つの表現形式は最近、優れた性能を示しているものの、依然として顕著な課題を抱えている。例えば、回帰手法は間接的な学習コストボリュームに起因して過学習しやすいのに対し、分類手法は離散的な予測を行うため、正確な深度を直接推定できない。本論文では、回帰と分類の長所を統合する新たな表現形式「Unification（統一）」を提案する。この手法は分類手法のようにコストボリュームを直接制約可能でありながら、回帰手法のようにサブピクセルレベルの深度推定も実現できる。統一表現の潜在能力を最大限に引き出すために、サンプル不均衡の課題に効果的に対応するための新しい損失関数「Unified Focal Loss（統一フォーカル損失）」を設計した。これらの新たなモジュールを組み合わせ、粗いから細かいレベルへと段階的に推定を行うフレームワーク「UniMVSNet」を構築した。DTUおよびTanks and Templesのベンチマークにおいて順位1位を獲得した結果から、本モデルは単に最高の性能を発揮するだけでなく、優れた一般化能力も有していることが実証された。