RCBEVDet：雷达-相机融合在鸟瞰图中的三维目标检测

三维物体检测是自动驾驶领域中的关键任务之一。为了在实际应用中降低成本，提出了使用低成本多视角相机来替代昂贵的激光雷达传感器进行三维物体检测。然而，仅依赖相机难以实现高精度和鲁棒性的三维物体检测。针对这一问题的有效解决方案是将多视角相机与经济型毫米波雷达传感器结合，以实现更加可靠的多模态三维物体检测。本文介绍了一种名为RCBEVDet的雷达-相机融合三维物体检测方法，该方法在鸟瞰图（BEV）中进行工作。具体而言，我们首先设计了RadarBEVNet用于雷达BEV特征提取。RadarBEVNet由双流雷达主干网络和RCS感知的BEV编码器组成。在双流雷达主干网络中，提出了一种基于点的编码器和基于变换器的编码器来提取雷达特征，并通过一个注入和提取模块促进两种编码器之间的通信。RCS感知的BEV编码器将RCS作为目标尺寸先验，在BEV中散射点特征时加以利用。此外，我们提出了一种交叉注意力多层融合模块，利用可变形注意力机制自动对齐来自雷达和相机的多模态BEV特征，然后通过通道和空间融合层进行特征融合。实验结果表明，RCBEVDet在nuScenes和view-of-delft（VoD）三维物体检测基准上取得了最新的雷达-相机融合结果。此外，RCBEVDet在21~28帧每秒的更快推理速度下，实现了比所有实时纯相机和雷达-相机三维物体检测器更好的3D检测效果。源代码将在https://github.com/VDIGPKU/RCBEVDet发布。