深度投影3D语义分割

三维点云的语义分割是一个具有众多实际应用的挑战性问题。尽管深度学习已经彻底改变了图像语义分割领域，但其对点云数据的影响至今仍有限。基于3D深度学习方法（3D-CNNs）的近期尝试虽然取得了一定成果，但并未达到预期效果。这些方法需要将底层点云数据体素化，导致空间分辨率降低和内存消耗增加。此外，3D-CNNs还因注释数据集的有限可用性而受到严重影响。在本文中，我们提出了一种替代框架，以避免3D-CNNs的局限性。该框架不是直接在三维空间中解决问题，而是首先将点云投影到一组合成的二维图像上。然后，这些图像作为输入被送入一个设计用于语义分割的2D-CNN。最后，获得的预测分数被重新投影回点云，以得到最终的分割结果。我们进一步研究了多模态信息（如颜色、深度和表面法线）在多流网络架构中的影响。实验在最近发布的Semantic3D数据集上进行。我们的方法相比之前最佳的方法实现了7.9%的相对性能提升，达到了新的最先进水平。