摘要
近期，稀疏3D卷积技术在3D目标检测领域引发了显著变革。与基于投票的方法性能相当，稀疏3D卷积神经网络（3D CNN）在内存效率方面表现优异，且更适用于大规模场景。然而，该方法仍存在优化空间。基于一种注重实践、问题导向的分析方法，我们深入研究了此类方法的性能表现，并精准定位了其性能瓶颈。通过逐项改进所发现的问题，我们最终提出TR3D：一种高效、全卷积的端到端3D目标检测模型，在标准基准数据集ScanNet v2、SUN RGB-D和S3DIS上均取得了当前最优的检测性能。此外，为充分融合点云与RGB图像两种模态信息，我们引入了一种2D与3D特征的早期融合机制。通过将该融合模块集成至传统3D目标检测方法中，我们实现了多模态感知，并显著提升了模型性能。其中，采用早期特征融合的TR3D+FF模型在SUN RGB-D数据集上的表现超越了现有主流3D目标检测方法。总体而言，TR3D与TR3D+FF模型不仅精度卓越，同时具备轻量化、内存高效、推理速度快等优势，标志着实时3D目标检测技术发展道路上的又一重要里程碑。代码已开源，地址为：https://github.com/SamsungLabs/tr3d。