8 天前

从4D扫描中学习面部形状与表情的模型

{Timo Bolkart, Michael J. Black, Tianye Li, Javier Romero, Hao Li}
从4D扫描中学习面部形状与表情的模型
摘要

三维人脸建模领域在高端与低端方法之间存在显著差距。在高端层面,最先进的面部动画已能与真实人类几乎无法区分,但其代价是需要大量人工操作。而在低端层面,基于消费级深度传感器的人脸捕获技术依赖的三维人脸模型表达能力不足,难以捕捉自然人脸形状与表情的多样性。为此,我们提出一种折中方案:通过学习数千个精确对齐的三维扫描数据,构建一个更优的人脸模型。我们提出的FLAME模型(基于可动模型与表情学习的人脸模型,Faces Learned with an Articulated Model and Expressions)专为与现有图形软件兼容而设计,且易于拟合至实际数据。FLAME采用基于3800个头部三维扫描数据训练得到的线性形状空间,结合可动的下颌、颈部及眼球结构,以及依赖姿态的校正混合形状(pose-dependent corrective blendshapes),并引入额外的全局表情混合形状。这些依赖姿态与表情的可动特性,是通过D3DFACS数据集中的四维人脸序列,以及额外的四维序列数据进行学习获得。我们精确地将模板网格注册到扫描序列,并将D3DFACS数据集的注册结果公开,供学术研究使用。总体而言,该模型基于超过33,000个三维扫描数据进行训练。FLAME模型具有较低的维度,但其表达能力显著优于FaceWarehouse模型和Basel人脸模型。我们采用相同的优化方法,将FLAME与上述两种模型在静态三维扫描和四维序列数据上的拟合效果进行对比,结果表明FLAME在准确性上具有显著优势,且已向研究社区开放使用。

从4D扫描中学习面部形状与表情的模型 | 最新论文 | HyperAI超神经