テクスチャレスに強いマルチビュー立体再構成のための適応的パッチ変形

近年、深層学習に基づく手法は、頑健な視覚特徴を抽出する優れた能力により、マルチビュー立体再構成（multi-view stereo）において大きな成果を上げている。しかし、多数の学習ベース手法は、大規模なテクスチャレス領域を扱う際に、満足のいく結果を得るためにはコストボリュームの構築と受容 field の大幅な拡大を必要とし、結果として記憶領域の消費が著しく増大するという問題がある。本研究では、記憶領域の消費を抑えつつテクスチャレス領域に対しても耐性を持つことを目的として、深層学習における可変畳み込み（deformable convolution）の概念を従来のPatchMatchベース手法に革新的に導入した。具体的には、マッチングの不確実性を持つピクセル（いわゆる信頼性の低いピクセル）に対して、その周囲のパッチを適応的に変形し、十分な数の信頼性のあるピクセル（マッチングの不確実性のないピクセル）をカバーするまで受容 field を拡張する。これらの信頼性のあるピクセルを「アンカー」として用いることで、PatchMatchの実行時にマッチングコストが正しい深度においてグローバル最小値に達することが保証され、マルチビュー立体再構成の堅牢性が著しく向上する。さらに、より多くのアンカーを検出するため、最適化の進行に伴って推定深度の収束状態を評価することで、特定ピクセルのマッチング不確実性を検出する手法を提案した。その結果、ETH3DおよびTanks and Templesのベンチマークにおいて、最先端の性能を達成しつつ、低メモリ消費を維持することに成功した。