重新思考在nuScenes中对端到端自动驾驶的开环评估

现代自动驾驶系统通常被划分为三个主要任务：感知（perception）、预测（prediction）与规划（planning）。其中，规划任务旨在基于车辆自身的意图以及外部环境的输入，预测本车（ego vehicle）的未来轨迹，并据此对车辆进行控制。目前大多数研究在nuScenes数据集上评估其性能时，主要采用预测轨迹与真实轨迹之间的L2误差以及碰撞率（collision rate）作为评价指标。本文重新审视了这些现有评估指标的有效性，探讨其是否能够准确衡量不同方法之间的优劣。具体而言，我们设计了一种基于多层感知机（MLP）的端到端规划方法，该方法直接以原始传感器数据（如历史轨迹、速度等）为输入，不依赖任何感知或预测模块（例如摄像头图像或LiDAR点云），直接输出本车未来的行驶轨迹。实验结果表明，该简单方法在nuScenes数据集上的端到端规划性能与主流基于感知的方法相当，平均L2误差降低了约20%。然而，在碰撞率方面，基于感知的方法仍具有一定优势。我们进一步开展了深入分析，揭示了影响nuScenes数据集上规划任务成功的关键因素。研究发现，当前广泛采用的开环（open-loop）评估范式可能无法充分反映真实场景下端到端自动驾驶系统的综合性能，提示我们需要重新思考现有的评估机制。相关代码已开源，地址为：https://github.com/E2E-AD/AD-MLP。