要約
カメラの動きと視覚慣性オドメトリシステムで推定された疎深度を用いて密集深度を推論する方法について説明します。LiDARや構造光センサから得られる点群を使用する他のシナリオとは異なり、我々は数百から数千程度の点しか持たず、シーンのトポロジーを特定するのに十分ではありません。本手法ではまず、シーンの断片的な平面構造を作成し、次にそれを用いて画像と疎点群と共に密集深度を推論します。予測的なクロスモーダル基準（自己監督に類似）を使用して、時間的な光度一貫性、前後姿勢の一貫性、疎点群との幾何学的適合性を測定します。また、視覚慣性センサと深度データの最初の組み合わせデータセットを公開し、視覚センサと慣性センサの補完的な強みを組み合わせる追加研究を促進することを目指しています。既存の研究との比較のために、無教師学習キッティ（KITTI）深度完成ベンチマークを採用し、その上で最先端の性能を示しています。コードは以下のURLで入手可能です: https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry.