2 个月前

SEGCloud:3D点云的语义分割

Lyne P. Tchapmi; Christopher B. Choy; Iro Armeni; JunYoung Gwak; Silvio Savarese
SEGCloud:3D点云的语义分割
摘要

三维语义场景标注对于在现实世界中运行的智能体至关重要。特别是,对传感器获取的原始三维点集进行标注可以提供细粒度的语义信息。近期的研究利用了神经网络(NNs)的能力,但仅限于粗略的体素预测,并未显式地强制全局一致性。本文提出了一种名为SEGCloud的端到端框架,该框架结合了神经网络、三线性插值(TI)和全连接条件随机场(FC-CRF)的优势,以实现三维点级别的分割。首先,通过三线性插值将3D全卷积神经网络生成的粗略体素预测转换回原始三维点集。然后,全连接条件随机场强制执行全局一致性,并为点集提供细粒度的语义信息。我们将后者实现为一个可微分的循环神经网络(RNN),以便进行联合优化。我们在两个室内和两个室外三维数据集(NYU V2、S3DIS、KITTI、Semantic3D.net)上评估了该框架,并展示了其性能与现有最先进方法相当或更优的结果。