要約
コンピュータビジョンにおける基本的な課題として、マルチビュー立体視（MVS）は、複数の2次元画像から対象物の3次元幾何構造を復元することを目的としている。近年のMVSの進展から、テクスチャが乏しい領域における幾何構造の復元において、非局所的な構造情報の認識が重要であることが示されている。本研究では、非局所情報を利用しMVSを支援するための階層的事前情報探索手法である「Hierarchical Prior Mining for Non-local Multi-View Stereo（HPM-MVS）」を提案する。本手法の主な特徴は以下の3点である。1）非局所拡張サンプリングパターン（NESP）：局所最適解に陥ることなく、サンプリング領域のサイズを適応的に変更可能である。2）K近傍法（KNN）に基づく平面事前モデルを用いて、非局所的に信頼性の高い点を活用し、事前情報構築が困難な領域に対して有望な仮説を獲得する新しいアプローチ。3）階層的事前情報探索（HPM）フレームワーク：異なるスケールで広範な非局所的事前情報を抽出し、3次元モデルの復元を支援する。この戦略により、細部の再現性とテクスチャが乏しい領域の再構成の間に優れたバランスを実現する。ETH3DおよびTanks & Templesデータセットにおける実験結果から、本手法の優れた性能および強固な汎化能力が検証された。実装コードは公開予定である。