摘要
我们介绍了一种视图-体卷积神经网络（View-Volume Convolutional Neural Network，简称VVNet），用于从单张深度图像推断三维场景的占据状态和语义标签。VVNet将一个二维视图CNN与一个三维体CNN通过一个可微分投影层连接起来。给定一张RGBD图像，我们的方法首先利用二维视图CNN从输入的深度图像中提取详细的几何特征，然后通过投影层根据输入的深度图将这些特征投影到三维体中。之后，我们使用三维体CNN学习场景的三维上下文信息，以计算出最终的体占据状态和语义标签。通过结合二维和三维表示，VVNet有效地降低了计算成本，实现了多通道高分辨率输入的特征提取，从而显著提高了结果的准确性。我们在合成SUNCG数据集和真实NYU数据集上验证了该方法，并展示了其高效性和有效性。