RCFusion：基于鸟瞰图特征融合四维雷达与相机信息实现三维目标检测

相机与毫米波（MMW）雷达融合对于实现高精度、高鲁棒性的自动驾驶系统至关重要。随着雷达技术的不断发展，下一代高分辨率车载雷达——即4-D雷达应运而生。与传统雷达仅提供目标距离、方位角和多普勒速度测量不同，4-D雷达新增了俯仰角（elevation）测量能力，可生成更密集的“点云”数据。在本研究中，我们提出了一种名为RCFusion的相机与4-D雷达融合网络，该网络在统一的鸟瞰图（Bird’s-Eye View, BEV）空间下实现多模态特征融合，以完成三维目标检测任务。在相机分支中，通过图像主干网络与特征金字塔网络（Feature Pyramid Network, FPN）获取多尺度特征图，并利用正交特征变换（Orthographic Feature Transform, OFT）将其转换为正交投影特征图。随后，通过设计的共享注意力编码器（shared attention encoder）进一步提取增强且细粒度的图像BEV特征。与此同时，在4-D雷达分支中，提出了一种新型组件——雷达柱状网络（Radar PillarNet），能够高效编码雷达特征并生成雷达伪图像（pseudo-images），再输入点云主干网络以构建雷达BEV特征。为实现两模态BEV特征的有效融合，本文设计了交互式注意力模块（Interactive Attention Module, IAM），该模块能够生成高质量的融合特征。最后，采用通用检测头对目标类别和位置进行预测。所提出的RCFusion方法在TJ4DRadSet和View-of-Delft（VoD）两个公开数据集上进行了验证。实验结果与分析表明，该方法能够有效融合相机与4-D雷达特征，在复杂场景下实现稳定且鲁棒的目标检测性能。