摘要
语义场景补全（Semantic Scene Completion, SSC）旨在从单张深度图和/或RGB图像中，同时完成场景补全（Scene Completion, SC）任务并预测三维场景的语义类别。现有大多数SSC方法在处理多个物体紧密相邻的复杂区域时表现不佳，尤其在面对具有高反射性或暗色表面的物体时更为明显。这一问题主要源于两个挑战：（1）由于传感器获取的深度值不可靠，导致几何信息丢失；（2）在同时预测三维形状与语义标签时，易产生语义混淆。为应对上述问题，本文提出一种语义引导的语义场景补全框架——SG-SSC，该框架包含语义引导特征融合（Semantic-guided Fusion, SGF）与体素引导语义预测器（Volume-guided Semantic Predictor, VGSP）。SGF在二维语义分割图的引导下，自适应地融合RGB与深度特征，以补偿深度图像中缺失值所导致的几何信息缺失，从而增强对不可靠深度信息的鲁棒性。VGSP则充分利用场景补全（SC）与语义场景补全（SSC）任务之间的相互促进关系，使SSC更聚焦于预测高占据概率体素的语义类别，同时允许SC任务利用语义先验信息以更准确地预测体素占据情况。实验结果表明，SG-SSC在NYU、NYUCAD和SemanticKITTI数据集上均优于现有最先进方法。相关模型与代码已开源，地址为：https://github.com/aipixel/SG-SSC。