二维特征蒸馏在弱监督和半监督三维语义分割中的应用

随着3D感知问题日益受到关注以及对大规模标注数据集的需求增加，用于LiDAR语义分割的新方法不断涌现，这些方法旨在通过弱监督训练减少密集注释的必要性。然而，这些方法在小物体和远距离稀疏区域的边界估计方面仍然表现不佳，且误报率较高。我们认为，这些弱点可以通过使用提供更密集场景表示的RGB图像来弥补。我们提出了一种图像引导网络（IGNet），该网络基于从域适应合成训练的2D语义分割网络中提取高层次特征信息的思想。此外，我们还利用了一种单向对比学习方案以及一种称为FOVMix的新颖混合策略，以解决两种传感器之间的水平视场角不匹配问题，并增强图像引导的效果。IGNet在ScribbleKITTI数据集上实现了弱监督LiDAR语义分割的最先进结果，仅使用8%的标注点即可达到完全监督训练高达98%的相对性能，同时在推理过程中不会引入额外的标注负担或计算/内存成本。此外，我们还证明了我们的贡献在半监督训练中同样有效，IGNet在ScribbleKITTI和SemanticKITTI数据集上均取得了最先进成果。