SpaRC：用于3D目标检测的稀疏雷达-相机融合方法

在这项工作中，我们介绍了SpaRC，一种新颖的稀疏融合变换器（Sparse fusion transformer），用于3D感知，它将多视角图像语义与雷达和相机点特征进行整合。雷达和相机模态的融合已成为自动驾驶系统中一种高效的感知范式。虽然传统方法利用密集的鸟瞰图（Bird's Eye View, BEV）架构进行深度估计，但现代基于查询的变换器通过以对象为中心的方法在仅使用相机检测方面表现出色。然而，这些基于查询的方法由于隐式深度建模而在误检率和定位精度方面存在局限性。我们通过以下三项关键贡献解决了这些挑战：(1) 稀疏视锥融合（Sparse Frustum Fusion, SFF）实现跨模态特征对齐；(2) 范围自适应雷达聚合（Range-Adaptive Radar Aggregation, RAR）实现精确的对象定位；(3) 局部自注意力机制（Local Self-Attention, LSA）实现聚焦查询聚合。与现有方法需要计算密集型的BEV网格渲染不同，SpaRC直接在编码后的点特征上操作，从而显著提高了效率和准确性。在nuScenes和TruckScenes基准上的实证评估表明，SpaRC显著优于现有的密集BEV基和稀疏查询基检测器。我们的方法在性能指标上达到了67.1 NDS和63.1 AMOTA的最佳水平。代码和预训练模型可在https://github.com/phi-wol/sparc获取。