8 天前

一种用于从野外图像中实现精确且细节丰富的面部重建的分层表示网络

Biwen Lei, Jianqiang Ren, Mengyang Feng, Miaomiao Cui, Xuansong Xie
一种用于从野外图像中实现精确且细节丰富的面部重建的分层表示网络
摘要

受限于三维人脸模型(3DMM)低维表征能力的固有局限,现有的基于3DMM的人脸重建(Face Reconstruction, FR)方法大多难以恢复高频率的面部细节,例如皱纹、酒窝等。尽管部分方法尝试通过引入细节贴图或非线性操作来缓解该问题,但重建结果仍缺乏真实感与细节表现力。为此,本文提出一种新型的分层表征网络(Hierarchical Representation Network, HRN),旨在实现从单张图像出发的高精度、高细节的人脸重建。具体而言,我们通过实现几何与外观的解耦,并引入分层表征机制,以支持更精细的人脸建模。同时,我们将面部细节的三维先验信息融入网络结构,显著提升了重建结果的准确性与真实感。此外,我们设计了一种去修饰(de-retouching)模块,以实现几何与外观特征更优的解耦。值得注意的是,本框架可通过考虑多视角间细节的一致性,自然扩展至多视角人脸重建场景。在两个单视角和两个多视角人脸重建基准数据集上的大量实验表明,所提方法在重建精度与视觉效果方面均优于现有主流方法。最后,为推动高保真人脸重建研究的发展,我们构建了一个高质量的三维人脸数据集 FaceHD-100。项目主页详见:https://younglbw.github.io/HRN-homepage/。

一种用于从野外图像中实现精确且细节丰富的面部重建的分层表示网络 | 最新论文 | HyperAI超神经