TransFuser: 自動運転のためのトランスフォーマーに基づくセンサフュージョンによる模倣

自律走行において、補完的なセンサからの表現をどのように統合すべきでしょうか？幾何学に基づく融合は、認識（例：物体検出、運動予測）において有望な結果を示しています。しかし、エンドツーエンドの走行の文脈では、既存のセンサ融合手法に基づく模倣学習が動的エージェントの密度が高い複雑な走行情景で性能が低下することがわかりました。そこで、私たちは自己注意を使用して画像とLiDARの表現を統合するメカニズムであるTransFuserを提案します。当方針では、複数の解像度でパースペクティブビューとバードアイビューの特徴マップを融合するためにトランスフォーマーモジュールを使用します。私たちは、長距離ルートと密集した交通状況を持つ新しい困難なベンチマークおよびCARLA都市走行シミュレータの公式リーダーボードにおいてその効果を実験的に検証しました。提出時において、TransFuserはCARLAリーダーボードでの走行スコアにおいて大幅に先行研究を上回っています。幾何学に基づく融合と比較して、TransFuserは1キロメートルあたりの平均衝突回数を48%削減しています。