虚拟多视角融合用于3D语义分割

三维网格的语义分割是实现三维场景理解的重要问题。本文重新审视了三维网格的经典多视角表示方法，并研究了几种使其在三维网格语义分割任务中更加有效的技术。针对由RGBD传感器重建得到的三维网格，我们的方法能够有效选择不同的虚拟视角，对三维网格进行多视角渲染，生成多个二维通道，用于训练高效的二维语义分割模型。随后，将来自各个视角预测结果的特征在三维网格顶点上进行融合，以预测网格的语义分割标签。在大规模室内三维语义分割基准数据集ScanNet上，实验表明，与以往的多视角方法相比，我们提出的虚拟视角方法能够更有效地训练二维语义分割网络。当将二维像素级预测结果聚合到三维表面时，我们的虚拟多视角融合方法在三维语义分割性能上显著优于所有先前的多视角方法，并达到与近期三维卷积方法相当的水平。