摘要
RGBD语义分割需要对二维外观信息与三维几何信息进行联合推理。本文提出一种三维图神经网络（3DGNN），该网络在三维点云基础上构建k近邻图。图中的每个节点对应一组点，并关联一个隐藏表示向量，该向量初始值由基于二维图像的单模态卷积神经网络（CNN）提取的外观特征生成。通过引入循环函数，每个节点根据当前状态及其邻接节点传入的消息，动态更新其隐藏表示。该信息传播机制被展开为若干时间步，最终每个节点的表示用于预测对应像素的语义类别。模型采用时间反向传播（back-propagation through time）进行端到端训练。在NYUD2和SUN-RGBD数据集上的大量实验结果验证了所提方法的有效性。