HyperAIHyperAI

Command Palette

Search for a command to run...

基于条件估计的自监督3D人脸重建

Yandong Wen Weiyang Liu Bhiksha Raj Rita Singh

摘要

我们提出了一种条件估计(Conditional Estimation, CEST)框架,通过自监督方式从视频中学习二维单视角图像的三维人脸参数。CEST基于“分析-合成”(analysis-by-synthesis)的范式:首先从人脸图像中估计三维人脸参数(包括形状、反射率、视角和光照),然后将这些参数重新合成以重建二维人脸图像。为在无显式标签的情况下学习具有语义意义的三维人脸参数,CEST通过考虑不同三维参数之间的统计依赖关系,实现对各参数估计的耦合。具体而言,任一三维人脸参数的估计不仅依赖于输入图像,还依赖于已推导出的其他人脸参数。此外,CEST引入了反射率对称性及视频帧间的一致性约束,以进一步提升参数解耦效果。结合一种新颖的反射率对称性与一致性融合策略,CEST能够高效地利用真实场景(in-the-wild)视频片段进行训练。定性和定量实验均验证了该方法的有效性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供