DELTAS: 学習による三角測量と疎な点の濃密化による深度推定

マルチビュー立体視（MVS）は、アクティブ深度センシングの精度と単眼深度推定の実用性の間における最適なバランスを提供します。3次元畳み込みニューラルネットワーク（CNNs）を用いたコストボリュームベースのアプローチは、MVSシステムの精度を大幅に向上させました。しかし、この精度は高い計算コストを伴い、実際の導入が妨げられています。コストボリュームアプローチとは異なり、我々は以下の3つのステップにより効率的な深度推定手法を提案します。(a) 兴味点の検出と評価、(b) 少数の興味点のマッチングと三角測量、(c) この疎な3D点群をCNNsを使用して稠密化する。エンドツーエンドネットワークは、深層学習フレームワーク内でこれらの3つのステップを効率的に実行し、中間的な2D画像と3D幾何学的監督に加えて深度監督で訓練されます。特に、最初のステップでは興味点検出と記述子学習を通じて姿勢推定を補完します。我々は異なるシーン長さにおいて低計算量で最先端の深度推定結果を示しています。さらに、当手法は新しい環境にも一般化可能であり、ネットワークによって出力される記述子は強力な基準モデルと比較しても優れた性能を発揮します。コードはhttps://github.com/magicleap/DELTAS で公開されています。