MMFN: Multi-Modal-Fusion-Net for End-to-End Driving MMFN：エンドツーエンド運転のための多モーダル融合ネットワーク

人間が世界を認識するために多様な感覚器官を使用することに着想を得て、エンドツーエンドの運転において異なるモダリティを持つセンサが配置され、3Dシーンの全体的なコンテキストを取得しています。従来の研究では、カメラとLiDARの入力をトランスフォーマーを通じて融合することで、より優れた運転性能を達成していました。これらの入力は通常、高レベルのマップ情報として解釈され、ナビゲーションタスクを支援します。しかし、複雑なマップ入力から有用な情報を抽出することは難しく、冗長な情報がエージェントを誤導し、運転性能に悪影響を与える可能性があります。本研究では、ベクトル化された高精細（HD）マップから効率的に特徴量を抽出する新しい手法を提案し、それをエンドツーエンドの運転タスクで利用します。さらに、複数の道路規則を考慮することでモデル性能を向上させる新たな専門家設計を行いました。実験結果は、提案した両方の改善により、当社のエージェントが他の方法と比較して優れた性能を達成できることを証明しています。