HGSFusion：基于混合生成与同步的雷达-相机融合三维目标检测

毫米波雷达因其在全天候、全光照条件下均具备感知能力，在自动驾驶的三维目标检测中发挥着至关重要的作用。然而，雷达点云存在显著稀疏性以及不可避免的角度估计误差等问题。为缓解这些局限性，引入相机信息可在一定程度上弥补雷达的不足。但直接融合雷达与相机数据可能带来负面甚至相反的效果，这主要源于图像中缺乏深度信息，以及在恶劣光照条件下图像特征质量下降的问题。为此，本文提出一种基于混合生成与同步机制的雷达-相机融合网络（HGSFusion），旨在更有效地融合雷达潜能与图像特征，以提升三维目标检测性能。具体而言，我们设计了雷达混合生成模块（Radar Hybrid Generation Module, RHGM），充分考虑雷达信号处理中的到达方向（Direction-Of-Arrival, DOA）估计误差。该模块借助语义信息，通过多种概率密度函数（Probability Density Functions, PDFs）生成更为密集的雷达点云。同时，我们提出了双同步模块（Dual Sync Module, DSM），包含空间同步与模态同步两个部分，通过引入雷达位置信息增强图像特征，并促进不同模态间差异特性的有效融合。大量实验结果表明，所提方法在VoD和TJ4DRadSet数据集上均显著优于当前最先进方法，分别在RoI AP和BEV AP指标上提升6.53%和2.03%。相关代码已开源，地址为：https://github.com/garfield-cpp/HGSFusion。