7 天前

DriveTransformer:面向可扩展端到端自动驾驶的统一Transformer

Jia, Xiaosong, You, Junqi, Zhang, Zhiyuan, Yan, Junchi
DriveTransformer:面向可扩展端到端自动驾驶的统一Transformer
摘要

端到端自动驾驶(End-to-end Autonomous Driving, E2E-AD)已成为自动驾驶领域的重要发展趋势,有望实现数据驱动且可扩展的系统设计。然而,现有E2E-AD方法通常采用感知-预测-规划的串行范式,导致误差累积和训练不稳定。同时,人工设定的任务顺序也限制了系统在任务间协同优化的能力(例如,规划感知(planning-aware perception)与基于博弈论的交互式预测与规划)。此外,现有方法广泛采用密集的鸟瞰图(BEV)表示,给远距离感知与长期时序融合带来了显著的计算挑战。为应对上述问题,本文提出DriveTransformer——一种面向可扩展性的简化端到端自动驾驶框架,其具有三大核心特性:任务并行性(所有智能体、地图及规划查询在每一网络块中直接相互交互)、稀疏表示(任务查询直接与原始传感器特征交互)以及流式处理(任务查询以历史信息形式存储并传递)。由此,新框架由三个统一的操作构成:任务自注意力(task self-attention)、传感器交叉注意力(sensor cross-attention)与时间交叉注意力(temporal cross-attention),显著降低了系统复杂度,并提升了训练稳定性。在模拟闭环基准测试Bench2Drive与真实世界开环基准nuScenes上,DriveTransformer均取得了当前最优性能,并实现了高帧率(FPS)运行,展现出卓越的实用性与可扩展潜力。

DriveTransformer:面向可扩展端到端自动驾驶的统一Transformer | 最新论文 | HyperAI超神经