摘要
得益于点云数据上深度学习技术的快速发展，三维目标检测取得了显著进展。近期一些研究工作仅使用点云输入便实现了当前最优的性能（例如VoteNet）。然而，点云数据本身存在固有局限：其数据稀疏、缺乏颜色信息，且常受传感器噪声影响。相比之下，图像具有高分辨率和丰富的纹理信息，能够有效补充点云所提供的三维几何结构。尽管如此，如何高效利用图像信息来辅助基于点云的检测任务，仍是当前尚未解决的关键问题。在本研究中，我们在VoteNet的基础上提出了一种专为RGB-D场景设计的三维检测架构——ImVoteNet。该方法的核心思想是融合图像中的二维投票（2D votes）与点云中的三维投票（3D votes）。与以往多模态检测方法相比，我们显式地从二维图像中提取几何特征与语义特征，并利用相机参数将这些特征投影至三维空间。为进一步增强二维与三维特征融合的协同效应，我们还设计了一种多塔（multi-tower）训练策略。我们在具有挑战性的SUN RGB-D数据集上对所提模型进行了验证，实验结果表明，ImVoteNet在mAP指标上相较现有最先进方法提升了5.7个百分点，显著推动了该领域的性能边界。此外，我们还开展了详尽的消融实验，系统分析了各项设计选择对最终性能的贡献。