基于自监督学习与光线追踪的高保真单目人脸重建方法及其丰富的反射特性

在一般光照条件下，从单目图像实现鲁棒的面部重建是一项极具挑战性的任务。结合深度神经网络编码器与可微分渲染（differentiable rendering）的方法，为实现几何、光照和反射属性的快速单目重建开辟了新路径。这些方法还可采用自监督方式训练，从而提升鲁棒性并增强泛化能力。然而，其基于可微分光栅化（differentiable rasterization）的图像形成模型以及底层场景参数化方式，限制了其仅能处理朗伯（Lambertian）面部反射特性，并导致重建形状细节较差。近期，有研究在经典的优化框架中引入光线追踪（ray tracing）技术用于单目面部重建，取得了当前最优的性能表现。但基于优化的方法本质上计算速度较慢，且鲁棒性不足。本文在前述方法的基础上，提出一种新方法，显著提升了在复杂场景下的重建质量与鲁棒性。我们通过将卷积神经网络（CNN）编码器与可微分光线追踪器相结合，实现了更先进的个性化漫反射与镜面反照率建模，采用了更精细的光照模型，并对自阴影进行了更合理的表征。这一改进使得在光照条件复杂的情况下，仍能实现几何、外观与光照重建质量的显著跃升。得益于一致的面部属性重建，本方法在实际应用中展现出良好潜力，例如实现图像重光照（relighting）与自阴影去除。与当前最先进的方法相比，我们的实验结果在精度与方法有效性方面均表现出明显优势。