2ヶ月前

自己監督下のスパースからデンスへ:LiDARと単眼カメラからの自己監督深度補完

Fangchang Ma; Guilherme Venturelli Cavalheiro; Sertac Karaman
自己監督下のスパースからデンスへ:LiDARと単眼カメラからの自己監督深度補完
要約

深度補完は、疎な深度測定値から濃密な深度画像を推定する技術であり、ロボティクスや自動運転分野で多様な応用が見られます。しかし、深度補完には3つの主要な課題があります。すなわち、疎な深度入力における不規則に配置されたパターン、複数のセンサーモダリティ(色情報がある場合)の取り扱いの困難さ、そして濃密かつピクセルレベルの真値深度ラベルの不足です。本研究では、これらの課題すべてに対処しています。具体的には、疎な深度(および色情報)から濃密な深度への直接的なマッピングを学習する深層回帰モデルを開発しました。また、密度の高い深度ラベルを必要とせずに、色情報と疎な深度情報のシークエンスのみを使用して自己監督的に学習できるフレームワークも提案しています。実験結果は、半濃密アノテーションで学習した際、当社のネットワークが最先端の精度を達成し、提出時点においてKITTI深度補完ベンチマークで最優秀の手法であることを示しています。さらに、自己監督的なフレームワークは、半濃密アノテーションで学習した既存の多くの解決策を上回っています。注:「当社」は原文にない表現ですが、「our」を直訳すると「私たち」となりますが、「私たち」は日本語の科技文献ではあまり使用されませんので、「当社」を使用しました。「提出時点において」は「at the time of submission」をより自然に表現するために使用しました。

自己監督下のスパースからデンスへ:LiDARと単眼カメラからの自己監督深度補完 | 最新論文 | HyperAI超神経