要約
単眼深度推定は、3Dシーン理解と下流アプリケーションにおいて基本的な役割を果たします。しかし、監督設定下でも、完全な幾何学的制約が不足しているため、依然として難しく、不適切に定式化された問題となっています。シーンは数百万のピクセルで構成されるかもしれませんが、高レベルのパターンはそれほど多くありません。私たちはiDiscを提案し、内部離散表現を使用してこれらのパターンを学習することを目指しています。この手法は、シーンを一連の高レベルパターンに暗黙的に分割します。特に、私たちの新しいモジュールである内部離散化（Internal Discretization: ID）が、教師なしでこれらの概念を学習するための連続-離散-連続ボトルネックを実装しています。最先端の手法とは異なり、提案されたモデルでは深度出力に対して明示的な制約や事前知識を課しません。注意メカニズムに基づくボトルネックモジュールのおかげで、IDモジュールを含む全体ネットワークをエンドツーエンドで訓練することができます。当手法はNYU-Depth v2およびKITTIにおいて大幅な改善をもたらし、公式KITTIベンチマーク上ですべての既存方法を超える新規最先端性能を達成しました。iDiscは表面法線推定においても最先端の結果を得ることができます。さらに、ゼロショットテストを通じてモデルの汎化能力を探求しました。屋外シナリオにおける多様性促進の強固な必要性が観察されました。したがって、DDADとArgoverseという2つの自動運転データセットの分割を導入しました。コードはhttp://vis.xyz/pub/idisc から入手可能です。