摘要
基于激光雷达（Lidar）的感知技术是当前自动驾驶车辆的核心驱动力。尽管近年来取得了显著进展，但现有激光雷达传感器在分辨率和成本方面仍比传统的彩色相机落后约二十年。对于自动驾驶而言，这意味着传感器附近的大尺寸物体容易被识别，而远距离或小型物体往往仅能获得一两个测量点。这一局限性在实际应用中尤为突出，因为这些物体可能正是潜在的驾驶风险。然而，这些物体在车载RGB相机中却清晰可见。本文提出了一种无缝融合RGB传感器与激光雷达的3D感知方法。我们的方法通过一组2D目标检测结果，生成密集的3D虚拟点，用于补充原本稀疏的3D点云。这些虚拟点能够自然地融入任何标准的激光雷达3D检测器中，与真实激光雷达测量数据协同工作。所提出的多模态检测框架结构简洁且效果显著。在大规模nuScenes数据集上的实验结果表明，该框架相较于强大的CenterPoint基线模型，显著提升了6.6 mAP，优于现有的各类融合方法。相关代码及更多可视化结果可访问：https://tianweiy.github.io/mvp/