12日前

SDC-Depth:単一画像深度推定のための意味的分割統治ネットワーク

{ Huchuan Lu, Zhe Lin, Oliver Wang, Jianming Zhang, Lijun Wang}
SDC-Depth:単一画像深度推定のための意味的分割統治ネットワーク
要約

単眼深度推定は、定義が不十分な問題であり、そのためシーンに関する事前知識や意味情報に大きく依存する。その複雑さを考慮し、本研究では意味的分割と分業アプローチに基づく深層ニューラルネットワークモデルを提案する。本モデルは、シーンをオブジェクトインスタンスや背景のスタッフクラスといった意味的セグメントに分解し、それぞれを標準化された空間でスケールおよびシフト不変の深度マップを予測する。同カテゴリーに属する意味的セグメントは同一の深度デコーダを共有するため、全体の深度予測タスクを、それぞれが学習が容易で、新たなシーンタイプへの一般化も容易なカテゴリ特有のタスクに分割することができる。最終的に、画像のグローバルな文脈に基づいて各ローカル深度セグメントのスケールとシフトを予測し、それらを結合することで全体の深度マップを構成する。本モデルは、パノプティックセグメンテーションと深度予測のためのマルチタスク損失を用いてエンドツーエンドで訓練されるため、大規模なパノプティックセグメンテーションデータセットを活用し、意味理解の精度を向上させることができる。提案手法の有効性を検証し、3つのベンチマークデータセットにおいて最先端の性能を達成した。

SDC-Depth:単一画像深度推定のための意味的分割統治ネットワーク | 最新論文 | HyperAI超神経