MMFN：端到端驾驶的多模态融合网络

受人类使用多种感官器官感知世界这一事实的启发，端到端驾驶中部署了具有不同模态的传感器以获取三维场景的全局上下文。在以往的研究中，相机和激光雷达（LiDAR）输入通过变压器（transformers）进行融合，以提高驾驶性能。这些输入通常会被进一步解释为高层次的地图信息，以辅助导航任务。然而，从复杂地图输入中提取有用信息是一项挑战，因为冗余信息可能会误导代理并负面影响驾驶性能。我们提出了一种新颖的方法，能够高效地从矢量化高精度（High-Definition, HD）地图中提取特征，并将其应用于端到端驾驶任务。此外，我们设计了一种新的专家系统，通过考虑多条道路规则来进一步提升模型性能。实验结果证明，所提出的两项改进使我们的代理相比其他方法实现了更优的性能。