3ヶ月前

シーン理解への道:意味情報に敏感な表現を用いた教師なし単眼深度推定

{ Yu-Chiang Frank Wang, Yen-Cheng Liu, Alexander H. Liu, Po-Yi Chen}
シーン理解への道:意味情報に敏感な表現を用いた教師なし単眼深度推定
要約

単眼深度推定は、2次元画像から3次元空間の幾何学的特性を取得するという目的を持つ、シーン理解における困難な課題である。RGB-深度画像ペアの不足により、教師なし学習手法はステレオペアなどの代替的な教師信号を用いて深度情報を得ることを目指している。しかし、現在の多くは、学習時にピクセルレベルの目的関数を考慮するため、物体の幾何構造を適切にモデル化できていない。本論文では、セグメンテーションから得られる意味理解を活用することで、この限界を克服するためのSceneNetを提案する。さらに、ステレオペア間の意味的一貫性を強制することにより、領域認識型の深度推定が可能となる。実験において、定性的および定量的に本モデルの有効性と堅牢性を検証した結果、最先端の手法と比較して優れた性能を達成することが示された。