PatchmatchNet: 学習された多視点パッチマッチステレオ

私たちは高解像度マルチビューステレオ用の新しい学習可能なPatchmatchのカスケードフォーマレーションであるPatchmatchNetを提案します。高速な計算と低メモリ要件により、PatchmatchNetは競合他社が3Dコストボリューム正則化を使用するものよりも、より高い解像度の画像処理が可能であり、リソースに制限のあるデバイスでの実行に適しています。初めて、イテレーティブマルチスケールPatchmatchをエンドツーエンドで学習可能なアーキテクチャに導入し、各イテレーションにおける新しい学習型適応伝播および評価スキームによってPatchmatchコアアルゴリズムを改善しました。広範な実験結果から、DTU、Tanks & Temples（タンク＆テンプル）、ETH3Dにおいて当方法は非常に競争力のある性能と汎化能力を持つことが示されていますが、既存の最上位モデルと比較して著しく高い効率性も確認されました：最新鋭の手法よりも少なくとも2.5倍以上速く、メモリ使用量も半分以下です。