基于截锥体的PointNets用于从RGB-D数据中检测3D物体

在这项研究中，我们探讨了从RGB-D数据中进行三维物体检测的方法，涵盖了室内和室外场景。以往的方法通常集中于图像或三维体素（voxels），这往往掩盖了三维数据的自然模式和不变性。而我们的方法则是直接在原始点云上操作，通过弹出RGB-D扫描来实现。然而，这种方法面临的一个关键挑战是如何在大规模场景的点云中高效地定位物体（区域提议）。我们的方法不仅依赖于三维提议，还结合了成熟的二维物体检测器和先进的三维深度学习技术来进行物体定位，从而实现了高效性和对小物体的高度召回率。得益于在原始点云上直接学习的优势，即使在严重遮挡或点云非常稀疏的情况下，我们的方法也能精确估计三维边界框。在KITTI和SUN RGB-D 3D检测基准测试中，我们的方法显著超越了现有技术水平，并且具备实时处理能力。