摘要
我们介绍了一种名为3D-SIS的新颖神经网络架构，用于在普通RGB-D扫描中进行三维语义实例分割。我们的方法的核心思想是从几何信号和颜色信号中联合学习，从而实现精确的实例预测。与仅在二维图像上操作的方法不同，我们注意到大多数计算机视觉应用都具有多视角RGB-D输入可用，因此我们利用这一点构建了一种有效的融合多模态输入的三维实例分割方法。我们的网络通过将高分辨率的RGB输入与基于三维重建的姿态对齐的体素网格关联起来，充分利用了这些高分辨率的RGB输入。对于每张图像，我们首先通过一系列二维卷积提取每个像素的二维特征；然后将生成的特征向量反投影到3D网格中的相应体素。这种2D和3D特征学习的结合使得物体检测和实例分割的准确性显著高于现有最先进的替代方案。我们在合成数据集和真实世界公开基准上展示了实验结果，在真实世界数据上的mAP（平均精度均值）提高了超过13个百分点。