RCM-Fusion：用于3D目标检测的雷达-相机多层次融合

尽管激光雷达（LiDAR）传感器在三维目标检测中已取得成功应用，但由于雷达与相机传感器具有更高的性价比，近年来融合雷达与相机进行三维目标检测的研究兴趣日益增长。然而，以往的雷达-相机融合模型未能充分挖掘雷达信息的潜在价值。为此，本文提出了一种雷达-相机多层级融合方法（Radar-Camera Multi-level Fusion, RCM-Fusion），旨在从特征层面和实例层面实现两种模态的深度融合。在特征层面融合方面，我们提出了一种雷达引导的鸟瞰图编码器（Radar Guided BEV Encoder），该模块利用雷达的鸟瞰图（Bird's-Eye-View, BEV）特征对相机特征进行引导，将其转化为更精确的BEV表示，并融合雷达与相机的BEV特征。在实例层面融合方面，我们设计了雷达网格点精炼模块（Radar Grid Point Refinement），通过考虑雷达点云的特性来降低目标定位误差。在公开的nuScenes数据集上的实验结果表明，所提出的RCM-Fusion在基于单帧的雷达-相机融合方法中，在nuScenes三维目标检测基准测试中达到了当前最优性能。相关代码将公开发布。