自律走行のための単視点および多視点深度の適応的融合

マルチビュー深度推定は、さまざまなベンチマークにおいて顕著な性能を達成している。しかし、現在のほとんどすべてのマルチビューシステムは、理想のカメラポーズを前提としており、自動運転などの多くの現実世界のシナリオではそのようなポーズが得られない。本研究では、ノイズを含むポーズ設定下で深度推定システムの性能を評価するための新たなロバスト性ベンチマークを提案する。驚くべきことに、現在のマルチビュー深度推定手法や単一ビュー・マルチビュー融合手法は、ノイズを含むポーズ設定下では機能を失うことが明らかになった。この課題に対処するため、信頼性の高いマルチビューと単一ビューの推定結果を適応的に統合する単一ビュー・マルチビュー融合深度推定システムを提案する。この適応的融合モジュールは、ラッピング信頼度マップに基づき、二つの出力ブランチ間で信頼度の高い領域を動的に選択して融合を行う。これにより、テクスチャの欠如、誤ったキャリブレーション、動的物体、その他の劣化や困難な状況に直面しても、より信頼性の高いブランチを優先的に選択するようシステムが適応する。本手法はロバスト性テストにおいて、最先端のマルチビューおよび融合手法を上回る性能を示した。さらに、正確なポーズ推定が与えられた場合、困難なベンチマーク（KITTIおよびDDAD）においても最先端の性能を達成した。プロジェクトウェブサイト：https://github.com/Junda24/AFNet/