FIERY: 周囲の単眼カメラからの上空視点での将来インスタンス予測

運転には道路のエージェントとの相互作用と、それらの将来の行動を予測して安全に航行することが必要です。本稿では、単眼カメラからの鳥瞰図で将来を確率的に予測するモデルFIERYを提案します。当モデルは、動的エージェントの将来のインスタンスセグメンテーションと動きを予測し、それらを非パラメトリックな未来軌道に変換することができます。当アプローチは、伝統的な自動運転スタックの知覚、センサフュージョン、予測コンポーネントを組み合わせて、周囲のRGB単眼カメラ入力から直接鳥瞰図での予測を推定します。FIERYは、HDマップに依存することなく、カメラ運転データからエンドツーエンドで将来の固有の確率的性質を学習し、マルチモーダルな未来軌道を予測します。我々はNuScenesおよびLyftデータセットにおいて、当モデルが以前の予測基準を超えることを示しています。コードと学習済みモデルは https://github.com/wayveai/fiery で公開されています。