面向真实感生成式3D人脸模型

近年来，得益于动画制作、合成数据生成以及数字虚拟人等应用的推动，二维生成式人脸模型取得了显著进展。然而，由于缺乏三维信息，这类二维模型在准确解耦姿态、表情和光照等人脸属性方面仍存在困难，从而限制了其编辑能力。为解决这一局限性，本文提出了一种可控制的三维生成式人脸模型，该模型通过利用现有的二维生成式模型，能够生成高质量的反照率（albedo）图像和精确的三维形状。通过将二维人脸生成模型与语义人脸编辑技术相结合，该方法实现了对细节丰富的三维渲染人脸的高效编辑。所提出的框架采用形状与反照率交替优化的下降策略，并借助可微分渲染技术，在无需三维监督的情况下训练出高质量的三维形状与反照率。实验结果表明，该方法在著名的NoW三维形状重建基准测试中优于当前最先进的（SOTA）方法。此外，在跨新姿态的渲染人脸身份恢复任务中，其表现也比现有SOTA重建模型平均提升10%。更重要的是，本文还展示了通过挖掘潜在空间实现对三维人脸表情的直接控制，从而支持基于文本的三维人脸编辑，进一步拓展了生成式人脸模型的应用潜力。