2 个月前

深度身份感知的面部属性迁移

Mu Li; Wangmeng Zuo; David Zhang
深度身份感知的面部属性迁移
摘要

本文提出了一种用于身份感知迁移(Identity-Aware Transfer, DIAT)的面部属性的深度卷积网络模型。给定源输入图像和参考属性,DIAT的目标是生成一张拥有参考属性且保持与输入图像相同或相似身份的面部图像。总体而言,我们的模型由一个掩码网络和一个属性变换网络组成,这两个网络协同工作以生成具有参考属性的照片级真实感面部图像。考虑到参考属性可能仅与图像的某些部分相关,引入了掩码网络以避免在与属性无关的区域进行错误编辑。然后,利用估计的掩码将输入图像和变换后的图像结合,以产生迁移结果。为了联合训练变换网络和掩码网络,我们引入了对抗属性损失、身份感知自适应感知损失以及基于VGG-FACE的身份损失。此外,还提出了一个去噪网络以实现感知正则化,从而抑制迁移结果中的伪影;同时引入了属性比例正则化来约束与属性相关区域的大小。我们的DIAT可以为几种典型的面部属性迁移任务提供统一解决方案,例如表情迁移、配饰移除、年龄进展和性别转换,并且可以扩展到其他面部增强任务如面部超分辨率重建。实验结果验证了所提方法的有效性。即使对于与身份相关的属性(如性别),我们的DIAT也能通过改变属性而保留大部分身份特征,获得视觉上令人印象深刻的结果。