摘要
实例分割与目标检测是计算机视觉与机器人领域中的关键问题。本文提出了一种新颖的对象分割与检测系统，以应对上述挑战。首先，系统基于RGB图像、仅深度图像或RGB-D图像实现2D目标检测。为此，我们提出了一种基于3D卷积的系统——Frustum VoxNet。该系统从2D检测结果生成视锥（frustum）区域，为每个视锥区域提出候选的3D体素化图像，并基于这些候选体素化图像，利用3D卷积神经网络（CNN）完成3D实例分割与目标检测任务。在SUN RGB-D数据集上的实验结果表明，所提出的基于RGB-D的系统在3D推理速度上显著优于当前最先进的方法，同时保持了较高的精度，未出现明显准确率下降。此外，本方法还可仅依赖深度图像实现分割与检测，其性能与基于RGB-D的方法相当。这一特性尤为重要，因为该方法在低光照条件下或使用无法获取RGB图像的传感器时仍能保持良好表现。最后，将分割模块集成至系统流程中，不仅提升了检测精度，同时实现了3D实例分割功能，实现了检测与分割的协同优化。