基于半监督结构先验的3D草图感知语义场景补全

语义场景补全（Semantic Scene Completion, SSC）任务的目标是从单视图观测中同时预测出场景的完整三维体素表示及其内物体的语义标签。由于体素分辨率的提高通常会导致计算成本急剧增加，当前大多数最先进的方法不得不将其框架调整为低分辨率表示，以牺牲细节预测为代价。因此，体素分辨率成为导致性能瓶颈的关键难题之一。在本文中，我们提出了一种新的基于几何的方法，将深度信息嵌入到低分辨率体素表示中，该方法仍能编码足够的几何信息（例如房间布局、物体的大小和形状），从而推断出场景中不可见区域的结构保持细节。为此，我们首先提出了一种新颖的3D草图感知特征嵌入方法，能够高效且有效地显式编码几何信息。在此基础上，我们进一步设计了一个简单而有效的语义场景补全框架，该框架包含一个轻量级的3D草图生成模块（3D Sketch Hallucination module），通过半监督结构先验学习策略引导占用率和语义标签的推断。实验结果表明，我们提出的几何嵌入方法优于传统SSC框架中的深度特征学习方法。我们的最终模型在三个公开基准测试上始终超越现有最先进方法，并且输入和输出仅需60 x 36 x 60分辨率的3D体素。代码和补充材料将在 https://charlesCXK.github.io 提供。