ST-P3：基于端到端视觉的空间-时间特征学习实现自主驾驶

许多现有的自动驾驶范式涉及多阶段离散的任务流程。为了更好地预测控制信号并提高用户安全性，一种从端到端的方法显得尤为必要，该方法可以从联合空间-时间特征学习中获益。尽管在基于激光雷达的输入或隐式设计方面已有一些开创性工作，本文中我们提出了一个可解释的基于视觉的框架来解决这一问题。具体而言，我们提出了一种空间-时间特征学习方案，旨在同时为感知、预测和规划任务生成更具代表性的特征集，该方案被称为ST-P3。为此，我们引入了一种以自我为中心对齐的累积技术，在进行鸟瞰图变换之前保留三维空间中的几何信息；设计了双路径模型，考虑过去的运动变化以进行未来预测；引入了基于时间的精炼单元，以补偿规划过程中对基于视觉元素的识别。据我们所知，我们是首次系统地研究可解释的端到端基于视觉的自动驾驶系统的各个部分。我们在开放环路nuScenes数据集以及闭合环路CARLA仿真环境中对我们的方法进行了基准测试，结果表明了该方法的有效性。源代码、模型及协议细节已在 https://github.com/OpenPerceptionX/ST-P3 公开发布。