要約
本論文では、堅牢で効率的なエンドツーエンドの非局所空間伝播ネットワークを提案し、深度完了に適用します。提案されたネットワークはRGB画像と疎な深度画像を入力として受け取り、各ピクセルの非局所近傍およびそれらの親和性を推定するとともに、ピクセルごとの信頼度を持つ初期深度マップを生成します。この初期深度予測は、推定された非局所近傍と対応する親和性に基づいて、その信頼度と非局所空間伝播プロセスによって反復的に洗練されます。従来のアルゴリズムが固定された局所近傍を利用するのに対し、提案されたアルゴリズムは伝播中に無関係な局所近傍を効果的に避けて、関連のある非局所近傍に焦点を当てます。さらに、我々は学習可能な親和性正規化を導入しており、これにより従来手法よりも親和性の組み合わせをより適切に学習することが可能となります。提案したアルゴリズムは、既存の深度推定・完了アルゴリズムにおける主要な問題である深度境界での混合深度問題に対して本質的に堅牢です。室内および屋外データセットでの実験結果から、提案したアルゴリズムが従来手法よりも深度完了精度と混合深度問題への堅牢性において優れていることが示されています。当該実装はプロジェクトページで公開されています。注：「学習可能な親和性正規化」（learnable affinity normalization）や「非局所空間伝播ネットワーク」（non-local spatial propagation network）などの専門用語については一般的な日本語訳を使用しましたが、「混合深度問題」（mixed-depth problem）など特定分野内の不頻出用語については括弧内に原文を記載しました。