基于空间分组卷积的高效语义场景补全网络

我们提出了一种用于加速3D密集预测任务计算的空间组卷积（Spatial Group Convolution, SGC）。SGC与组卷积正交，它在空间维度上而不是特征通道维度上进行操作。该方法将输入体素划分为不同的组，然后对这些分离的组执行3D稀疏卷积。由于在进行卷积时仅考虑有效体素，因此可以在略微牺牲精度的情况下显著减少计算量。所提出的操作在语义场景补全任务中得到了验证，该任务旨在从单个深度图像预测带有语义标签的完整3D体积。借助SGC，我们进一步提出了一种高效的3D稀疏卷积网络，该网络利用多尺度架构和由粗到精的预测策略。我们在SUNCG数据集上进行了评估，取得了最先进的性能和快速的速度。代码可在https://github.com/zjhthu/SGC-Release.git 获取。