MarrNet：通过2.5D草图进行3D形状重建

从单张图像中重建三维物体是一个高度不确定的问题，需要对可能的三维形状有很强的先验知识。这对基于学习的方法提出了挑战，因为真实图像中的三维物体注释非常稀缺。以往的研究选择在具有真实三维信息的合成数据上进行训练，但在测试真实数据时遇到了领域适应问题。在这项工作中，我们提出了一种端到端可训练的模型——MarrNet，该模型依次估计2.5D草图和三维物体形状。我们的解耦两步方法具有三个优势。首先，相比于完整的三维形状，2.5D草图更容易从二维图像中恢复；从合成数据到真实数据迁移的模型也更有可能成功恢复2.5D草图。其次，对于从2.5D草图重建三维物体的任务，系统可以完全依赖合成数据进行学习。这是因为我们可以轻松渲染出逼真的2.5D草图，而无需建模真实图像中的物体外观变化（如光照、纹理等），这进一步缓解了领域适应问题。第三，我们推导出了从三维形状到2.5D草图的可微投影函数；因此，该框架可以在真实图像上进行端到端训练，而无需人工注释。我们的模型在三维形状重建方面达到了最先进的性能。