11日前

P3Depth:区分平面性を前提とした単眼深度推定

Vaishakh Patil, Christos Sakaridis, Alexander Liniger, Luc Van Gool
P3Depth:区分平面性を前提とした単眼深度推定
要約

単眼深度推定はシーン理解および下流タスクにおいて極めて重要である。本研究では、訓練時のみに真値深度が利用可能である教師あり設定に焦点を当てる。現実の3Dシーンが持つ高い規則性に関する知見を基に、同一平面上にあるピクセルからの情報を選択的に活用することで、予測深度を向上させる手法を提案する。特に、各ピクセルに対して、同じ3D平面面に属する「種ピクセル(seed pixel)」が存在するとする「区分的平面性事前知識(piecewise planarity prior)」を導入する。この事前知識をもとに、二つの出力ヘッドを持つネットワークを設計した。第一のヘッドはピクセル単位の平面係数を出力し、第二のヘッドは種ピクセルの位置を識別する密なオフセットベクトル場を出力する。その後、種ピクセルの平面係数を用いて各位置における深度を予測する。この予測結果は、局所的な平面性の正確さに潜在的なずれを考慮するために、学習された信頼度に基づいて初期予測(第一ヘッドの出力)と適応的に融合される。提案モジュールの微分可能性を活かして、全体のアーキテクチャはエンドツーエンドで学習可能であり、奥行き境界における明確なエッジを持つ規則的な深度マップを学習する。広範な評価により、本手法が教師あり単眼深度推定において新たなSOTA(最良の成果)を達成し、NYU Depth-v2およびKITTIのGargスプリットにおいて従来手法を上回ることを示した。また、入力シーンに対する現実的な3D再構築を可能にする高精度な深度マップを生成する。コードは以下のURLから公開されている:https://github.com/SysCV/P3Depth

P3Depth:区分平面性を前提とした単眼深度推定 | 最新論文 | HyperAI超神経