HyperAIHyperAI

Command Palette

Search for a command to run...

SCIPaD:教師なしポーズ-深度同時学習に空間的ヒントを組み込む

Yi Feng Zizhan Guo Qijun Chen Rui Fan

概要

自律走行における無教師モノクロ深度推定フレームワークは、有望な性能を示している。しかし、既存の手法は主に単純な畳み込みニューラルネットワーク(CNN)を用いて自己運動(ego-motion)を復元しているため、動的で複雑な現実世界のシナリオにおいて正確なカメラポーズを推定することが困難である。こうした不正確なカメラポーズの推定は、必然的に光度再構成の品質を低下させ、誤った教師信号を深度推定ネットワークに与え、推定結果を歪めてしまう。本稿では、空間的ヒントを活用した無教師深度-ポーズ同時学習を実現する新しいアプローチ、SCIPaDを提案する。具体的には、2D特徴量の位置変位とその信頼度を推定する「信頼度認識型特徴フロー推定器」を導入し、空間的情報を効果的に抽出する。同時に、DepthNetから得られる疑似3D点群と2D特徴フローを統合し、均質な位置表現に変換する「位置ヒント集約器」を提案する。さらに、階層的な位置埋め込み注入器を設計し、空間的ヒントをセマンティック特徴に選択的に注入することで、堅牢なカメラポーズ復元を実現する。広範な実験と分析の結果、本モデルは他の最先端手法と比較して優れた性能を示した。特に、KITTIオドメトリデータセットにおけるカメラポーズ推定タスクにおいて、平均移動誤差を22.2%、平均角度誤差を34.8%削減する成果を達成した。本研究のソースコードは、\url{https://mias.group/SCIPaD} にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています