Transfert profond d'attributs faciaux avec prise en compte de l'identité

Ce document présente un modèle de réseau de neurones convolutifs profonds pour le transfert d'attributs faciaux avec prise en compte de l'identité (DIAT). Étant donné une image source et un attribut de référence, le DIAT vise à générer une image faciale qui possède l'attribut de référence tout en conservant la même identité ou une identité similaire à celle de l'image d'entrée. En général, notre modèle se compose d'un réseau masque et d'un réseau de transformation d'attributs qui travaillent en synergie pour générer une image faciale photoréaliste avec l'attribut de référence. Compte tenu du fait que l'attribut de référence peut ne concerner que certaines parties de l'image, le réseau masque est introduit pour éviter les modifications incorrectes dans les régions non liées à l'attribut. Ensuite, le masque estimé est utilisé pour combiner l'image d'entrée et l'image transformée afin de produire le résultat du transfert. Pour entraîner conjointement le réseau de transformation et le réseau masque, nous intégrons la perte d'attribut antagoniste, la perte perceptive adaptative avec prise en compte de l'identité, et la perte d'identité basée sur VGG-FACE. De plus, un réseau débruiteur est présenté pour servir à la régularisation perceptive afin de réduire les artefacts dans le résultat du transfert, tandis qu'une régularisation du rapport des attributs est introduite pour contraindre la taille des régions liées à l'attribut. Notre DIAT peut fournir une solution unifiée pour plusieurs tâches représentatives de transfert d'attributs faciaux, telles que le transfert d'expression, la suppression d'accessoires, la progression âge et le changement de genre, et peut être étendu à d'autres tâches d'amélioration faciale comme la reconstruction faciale (face hallucination). Les résultats expérimentaux valident l'efficacité de la méthode proposée. Même pour les attributs liés à l'identité (par exemple, le genre), notre DIAT peut obtenir des résultats visuellement impressionnants en modifiant l'attribut tout en conservant la plupart des caractéristiques identitaires.