JSIS3D：基于多任务点网络和多值条件随机场的3D点云联合语义实例分割

深度学习技术已成为处理二维图像中大多数视觉相关任务的主要模型。然而，它们在三维空间中的某些任务上（例如三维场景理解）尚未充分发挥潜力。在这项工作中，我们联合解决了三维点云的语义分割和实例分割问题。具体而言，我们开发了一种多任务逐点网络，该网络同时执行两项任务：预测三维点的语义类别，并将这些点嵌入高维向量中，使得同一物体实例的点具有相似的嵌入表示。随后，我们提出了一种多值条件随机场模型，以结合语义标签和实例标签，并将语义和实例分割问题表述为在该场模型中联合优化标签的问题。所提出的方法在不同的室内场景数据集（包括S3DIS和SceneNN）上进行了全面评估并与现有方法进行了比较。实验结果表明，所提出的联合语义-实例分割方案比其单个组件更具鲁棒性。我们的方法在语义分割方面也达到了最先进的性能。