CR3DT：相机-雷达融合用于三维检测与跟踪

为了实现自动驾驶车辆对周围物体的精确检测和跟踪，准确检测和跟踪周围物体是至关重要的。尽管激光雷达（LiDAR）传感器在高性能系统中树立了标杆，但仅使用摄像头的解决方案因其成本效益而备受青睐。值得注意的是，尽管无线电探测与测距（RADAR）传感器在汽车系统中广泛使用，但由于数据稀疏性和测量噪声，其在三维检测和跟踪方面的潜力一直未被充分重视。最近的发展表明，RADAR与摄像头的结合正成为一种有前景的解决方案。本文介绍了Camera-RADAR 3D 检测与跟踪（CR3DT），这是一种用于三维物体检测和多目标跟踪（MOT）的摄像头-RADAR融合模型。基于最先进的仅使用摄像头的BEVDet架构，CR3DT通过整合RADAR传感器的空间和速度信息，在检测和跟踪能力方面展示了显著改进。实验结果表明，在nuScenes数据集上，利用这两种模态时，CR3DT在平均精度（mAP）上的绝对性能提升为5.3%，在多目标跟踪平均精度（AMOTA）上的提升为14.9%。CR3DT通过充分利用RADAR在汽车应用中的普遍性，弥合了自动驾驶领域高性能感知系统与成本效益感知系统之间的差距。代码可在以下地址获取：https://github.com/ETH-PBL/CR3DT。