11 天前
ClusterFusion:利用雷达空间特征实现自动驾驶车辆中的雷达-相机三维目标检测
Irfan Tito Kurniawan, Bambang Riyanto Trilaksono

摘要
得益于毫米波雷达与摄像头在感知特性上的互补性,基于深度学习的雷达-摄像头三维目标检测方法能够在低能见度条件下依然可靠地生成高精度检测结果。这使得该类方法在自动驾驶车辆的感知系统中更具优势,尤其考虑到雷达与摄像头的组合成本远低于激光雷达(LiDAR)。近年来,主流的雷达-摄像头融合方法普遍采用特征级融合策略,通常涉及将雷达点云投影至与图像特征相同的平面,并融合来自两种模态提取的特征。尽管在图像平面上进行融合通常更为简单高效,但将雷达点云投影至图像平面会压缩其深度维度,导致信息丢失,同时也增加了从点云中提取空间特征的难度。为此,我们提出了ClusterFusion架构,该方法通过聚类雷达点云,直接在点云聚类上提取局部空间特征,并在将特征投影至图像平面之前完成特征提取,从而更充分地利用雷达点云的局部空间结构信息。在nuScenes数据集的测试集上,ClusterFusion在所有基于单目摄像头的雷达-视觉三维目标检测方法中取得了当前最优性能,达到48.7%的nuScenes检测评分(NDS)。此外,我们系统研究了在点云聚类上采用不同雷达特征提取策略的性能表现,包括手工设计策略、基于学习的策略以及两者的结合方式,结果表明,手工设计的特征提取策略在本任务中表现最佳。本研究的核心目标是探索如何直接从雷达点云聚类中提取局部空间特征与点级特征,用于构建一种在图像平面上实现跨模态特征融合的雷达-单目摄像头三维目标检测方法,以提升复杂环境下的感知鲁棒性与精度。