FaceDancer : Remplacement de visage haute fidélité conscient des poses et des occlusions

Dans ce travail, nous présentons une nouvelle méthode à étape unique pour le transfert d’identité faciale indépendant du sujet, nommée FaceDancer. Nous apportons deux contributions majeures : un mécanisme d’attention de fusion adaptative des caractéristiques (Adaptive Feature Fusion Attention, AFFA) et une régularisation de similarité des caractéristiques interprétables (Interpreted Feature Similarity Regularization, IFSR). Le module AFFA est intégré au décodeur et apprend de manière adaptative à fusionner les caractéristiques d’attributs et les caractéristiques conditionnées à l’information d’identité, sans nécessiter de processus supplémentaire de segmentation faciale. Dans IFSR, nous exploitons les caractéristiques intermédiaires produites par un encodeur d’identité afin de préserver des attributs essentiels tels que la posture de la tête, l’expression faciale, l’éclairage et les occlusions dans le visage cible, tout en assurant un transfert fidèle de l’identité du visage source. Nous menons des expériences quantitatives et qualitatives étendues sur divers jeux de données, et démontrons que FaceDancer surpasser les autres réseaux d’état de l’art en matière de transfert d’identité, tout en offrant une préservation significativement meilleure de la posture par rapport à la plupart des méthodes antérieures.