ST-P3: スペース-時間特徴学習を用いたエンドツーエンドのビジョンベース自律走行

多くの既存の自動運転パラダイムは、多段階の離散的なタスクのパイプラインを含んでいます。制御信号の予測を改善し、ユーザーセーフティを向上させるために、空間・時間特徴学習の共同利用から恩恵を受けられるエンドツーエンドアプローチが望ましいです。LiDARベースの入力や暗黙的な設計に関する先駆的な研究がある一方で、本論文では解釈可能なビジョンベースの設定で問題を定式化します。特に、知覚、予測、計画タスクを同時に処理するための一連のより代表的な特徴量に向けた空間・時間特徴学習スキーム（ST-P3）を提案します。具体的には、鳥瞰図変換前の3次元空間での幾何学情報の保存のために自己中心的に合わせた累積技術を提案し、未来の予測のために過去の運動変動を取り扱うための二重パスモデルを考案し、計画のためにビジョンベース要素の認識補正を行う時間に基づくリファインメントユニットを導入しました。当該研究においては、我々が解釈可能なエンドツーエンドビジョンベース自動運転システムの各部分について体系的に調査した初めての事例であると自負しています。我々はオープンループnuScenesデータセットおよびクローズドループCARLAシミュレーションにおける以前の最先端手法とのベンチマークを行いました。その結果は我々の方法が有効であることを示しています。ソースコード、モデルおよびプロトコール詳細は https://github.com/OpenPerceptionX/ST-P3 で公開されています。