基于单张图像通过直接体积CNN回归实现大姿态3D人脸重建

三维人脸重建是一个极具挑战性的计算机视觉基本问题。当前的系统通常假设输入包含多张面部图像（有时来自同一对象），并必须解决诸如在大范围面部姿态、表情和非均匀光照条件下建立密集对应关系等一系列方法论难题。总体而言，这些方法需要复杂的且效率低下的模型构建和拟合流程。在这项工作中，我们提出通过在一个适当的包含2D图像和3D面部模型或扫描的数据集上训练卷积神经网络（CNN）来克服许多这些限制。我们的CNN仅需一张2D面部图像作为输入，无需精确对齐也不必在图像之间建立密集对应关系，适用于任意的面部姿态和表情，并且可以在训练过程中绕过3D可变形模型的构建，在测试时绕过该模型的拟合，用于重建整个3D面部几何结构（包括不可见部分）。我们通过一个简单的CNN架构实现了这一点，该架构能够直接从单张2D图像回归出3D面部几何结构的体素表示。此外，我们还展示了如何将相关的面部标志定位任务纳入所提出的框架中，并帮助提高重建质量，特别是在大姿态和复杂表情的情况下。测试代码及预训练模型将在网上提供：http://aaronsplace.co.uk/papers/jackson2017recon