HyperAIHyperAI

Command Palette

Search for a command to run...

从野生图像中学习可动画化的详细3D人脸模型

YAO FENG* Max Planck Institute for Intelligent Systems and Max Planck ETH Center for Learning System, Germany HAIWEN FENG* Max Planck Institute for Intelligent Systems, Germany MICHAEL J. BLACK Max Planck Institute for Intelligent Systems, Germany TIMO BOLKART Max Planck Institute for Intelligent Systems, Germany

摘要

当前的单目3D人脸重建方法虽然能够恢复精细的几何细节,但仍存在若干局限性。一些方法生成的人脸无法进行逼真的动画处理,因为它们没有建模皱纹随表情变化的情况。其他方法则是在高质量的人脸扫描数据上训练的,因此在处理野外图像时泛化能力较差。本文提出了一种新的方法,首次实现了从单个图像中回归出特定个体的3D人脸形状及其随表情变化的可动画细节。我们的模型DECA(Detailed Expression Capture and Animation)经过训练,可以从低维潜在表示中稳健地生成UV位移图,该潜在表示由个体特有细节参数和通用表情参数组成;同时,一个回归器被训练用于从单张图像预测细节、形状、反照率、表情、姿态和光照参数。为此,我们引入了一种新颖的细节一致性损失函数,该函数能够将个体特有细节与表情相关的皱纹区分开来。这种区分使得我们能够在保持个体特有细节不变的情况下,通过控制表情参数合成逼真的个体特有皱纹。DECA模型无需配对的3D监督数据即可从野外图像中学习,并在两个基准测试中达到了最先进的形状重建精度。在野外数据上的定性结果展示了DECA的鲁棒性和其分离身份相关和表情相关细节的能力,从而实现重建人脸的动画处理。该模型及代码已公开发布于https://deca.is.tue.mpg.de


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供