9 天前

FaceDancer:姿态与遮挡感知的高保真人脸替换

Felix Rosberg, Eren Erdal Aksoy, Fernando Alonso-Fernandez, Cristofer Englund
FaceDancer:姿态与遮挡感知的高保真人脸替换
摘要

在本工作中,我们提出了一种新型的单阶段无特定主体(subject-agnostic)人脸替换与身份迁移方法,命名为 FaceDancer。本文主要有两项贡献:自适应特征融合注意力机制(Adaptive Feature Fusion Attention, AFFA)和可解释特征相似性正则化(Interpreted Feature Similarity Regularization, IFSR)。AFFA 模块嵌入解码器中,能够无需任何额外的人脸分割过程,自适应地融合属性特征与基于身份信息的特征。在 IFSR 中,我们利用身份编码器中的中间特征,有效保留目标人脸的重要属性,如头部姿态、面部表情、光照条件及遮挡情况,同时实现源人脸身份的高保真迁移。我们在多个数据集上进行了广泛的定量与定性实验,结果表明,所提出的 FaceDancer 在身份迁移性能方面优于现有各类最先进方法,且在姿态保持方面显著优于大多数先前方法。