基于单深度图像的语义场景补全

本文专注于语义场景补全，即从单视图深度图观测中生成场景的完整3D体素表示，包括体积占用和语义标签。以往的研究通常将场景补全和深度图的语义标注视为两个独立的问题。然而，我们观察到这两个问题紧密相关。为了充分利用这两个任务之间的耦合特性，我们引入了语义场景补全网络（SSCNet），这是一种端到端的3D卷积网络，以单个深度图像作为输入，同时输出相机视锥内所有体素的占用状态和语义标签。我们的网络采用基于膨胀的3D上下文模块，高效扩展感受野并实现3D上下文学习。为了训练该网络，我们构建了SUNCG——一个手动创建的大规模合成3D场景数据集，包含密集的体积注释。实验结果表明，联合模型在单独解决每个任务的方法上表现更优，并且在语义场景补全任务上优于其他替代方法。