2 个月前

LATR:基于单目图像的三维车道检测Transformer方法

Luo, Yueru ; Zheng, Chaoda ; Yan, Xu ; Kun, Tang ; Zheng, Chao ; Cui, Shuguang ; Li, Zhen
LATR:基于单目图像的三维车道检测Transformer方法
摘要

从单目图像中检测3D车道是自动驾驶领域的一项基本而具有挑战性的任务。近年来的主要进展主要依赖于从前视图图像特征和相机参数构建的结构化3D代理(例如,鸟瞰图)。然而,单目图像中的深度不确定性不可避免地导致构建的代理特征图与原始图像之间的错位,给精确的车道检测带来了巨大挑战。为了解决上述问题,我们提出了一种新颖的LATR模型,这是一种端到端的3D车道检测器,它使用具备3D感知能力的前视图特征而不依赖于变换视角表示。具体而言,LATR通过基于查询和键值对的交叉注意力机制来检测3D车道。这些查询和键值对是由我们的车道感知查询生成器和动态3D地面位置嵌入构建的。一方面,每个查询都是根据2D车道感知特征生成的,并采用了混合嵌入以增强车道信息。另一方面,3D空间信息作为位置嵌入从迭代更新的3D地面平面注入。在合成数据集Apollo、真实数据集OpenLane和ONCE-3DLanes上,LATR均大幅超越了先前的最先进方法(例如,在OpenLane上的F1分数提高了11.4)。代码将在以下地址发布:https://github.com/JMoonr/LATR 。

LATR:基于单目图像的三维车道检测Transformer方法 | 最新论文 | HyperAI超神经