HyperAI
Command Palette
Search for a command to run...
IronDepth:表面法線とその不確実性を用いた単一視点深度の反復的精緻化
IronDepth:表面法線とその不確実性を用いた単一視点深度の反復的精緻化
Gwangbin Bae Ignas Budvytis Roberto Cipolla
概要
単一画像からの表面法線推定と深度推定は、前者が後者から計算可能であるため密接に関連している。しかし、深度推定手法の出力から算出される表面法線は、ネットワークによって直接推定された表面法線に比べて著しく精度が低い。このような差を低減するために、本研究では表面法線およびその不確実性を用いて予測された深度マップを反復的に精緻化する新たなフレームワークを提案する。各ピクセルの深度は、予測された表面法線をガイドとして、照合ピクセルへと伝搬することができる。したがって、深度の精緻化を、隣接ピクセルのうちどのピクセルから伝搬するかを分類する問題として定式化する。さらに、サブピクセル点へと伝搬を行うことで、精緻化された低解像度出力をアップサンプリングする。提案手法は、NYUv2およびiBims-1の両データセットにおいて、深度および法線の両面で最先端の性能を達成している。また、本研究の精緻化モジュールは既存の深度推定手法に容易に統合可能であり、それらの精度を向上させることができる。さらに、深度推定のみで訓練された本フレームワークが深度補完(depth completion)にも応用可能であることを示した。コードは以下のURLで公開されている:https://github.com/baegwangbin/IronDepth。