基于空间信息引导卷积的实时RGBD语义分割

三维空间信息已被证实对语义分割任务具有显著益处。现有大多数方法将三维空间数据作为额外输入，构建双流分割网络，分别处理RGB图像与三维空间信息。然而，这种方案显著增加了推理时间，严重限制了其在实时应用场景中的适用性。为解决该问题，本文提出一种空间信息引导卷积（Spatial information guided Convolution, S-Conv），实现RGB特征与三维空间信息的高效融合。S-Conv能够利用三维空间信息引导卷积核的采样偏移，使卷积层可根据几何结构动态调整感受野，从而更好地适应几何变换。此外，S-Conv通过生成空间自适应的卷积权重，将几何信息融入特征学习过程，显著增强了网络对几何结构的感知能力，同时几乎不增加参数量与计算开销。为进一步验证其性能，我们将S-Conv嵌入语义分割网络，构建了空间信息引导卷积网络（Spatial information Guided convolutional Network, SGNet），在保持实时推理能力的同时，在NYUDv2与SUNRGBD数据集上均取得了当前最优的分割性能。