単一視点からの深度と表面法線推定のための自己監督学習

本研究では、単一の画像から深度と表面法線を予測するための2つの畳み込みニューラルネットワーク（CNN）を同時に学習させる自己監督学習フレームワークを提案します。既存の多くのフレームワークが屋外シーンを部分的に滑らかな深度を持つ前面平行な平面として表現するのに対し、我々は自然シーンが部分的に滑らかな法線を持つという仮定のもとで、深度と表面法線を同時に予測することを目指します。我々は、予測結果に対する単純な深度-法線の一貫性をソフト制約として設定することで、これらの2つのネットワークを同時に効果的に学習させることができる事を示しています。学習済みの法線ネットワークは最先端の予測性能を提供し、より現実的な滑らかな法線の仮定に基づく深度ネットワークは、伝統的な自己監督型深度予測ネットワークよりも大幅に優れた性能をKITTIベンチマークにおいて発揮しています。デモ動画: https://youtu.be/ZD-ZRsw7hdM