モノクローム自己教師深度推定のためのマルチモーダルスケール一貫性と意識

自動運転におけるシーン理解にとって、高密度な深度推定は不可欠である。しかし、近年の単眼動画を用いた自己教師学習アプローチは、長時間にわたる動画シーケンスにおいてスケールの一貫性に欠ける問題を抱えている。広く利用可能なグローバルポジショニングシステム（GPS）のデータを活用することで、我々は外観に基づく損失関数を補完するため、動的に重み付けされるGPSからスケールへの変換（g2s）損失を提案する。本研究では、GPSデータがマルチモーダル学習時にのみ必要であり、推論時には不要である点に着目している。GPSによって取得されたフレーム間の相対距離は、カメラ設定やシーン分布に依存しないスケール信号を提供するため、より豊かな特徴表現が学習可能となる。複数のデータセットを用いた広範な評価を通じて、推論時にスケールの一貫性とスケール認識性を実現できることを示した。また、低頻度のGPSデータでの学習においても、性能の向上が確認された。