FaceController : Édition contrôlable des attributs visage dans des conditions réelles

L’édition des attributs faciaux vise à générer des visages présentant un ou plusieurs attributs faciaux souhaités, tout en préservant les autres détails. Contrairement aux travaux antérieurs tels que l’inversion GAN, qui implique un processus de reconstruction coûteux, nous proposons un réseau feed-forward simple permettant de générer des visages manipulés de haute fidélité. En n’employant que des informations a priori existantes et facilement accessibles, notre méthode permet de contrôler, transférer et modifier divers attributs de visages dans des conditions réelles. La méthode proposée peut ainsi être appliquée à de nombreuses tâches telles que le swap de visages, le re-éclairage facial ou le transfert de maquillage. Dans notre approche, nous décomposons l’identité, l’expression, la pose et l’éclairage à l’aide de priori 3D ; nous séparons la texture et les couleurs en utilisant des codes de style régionaux. Toutes ces informations sont intégrées dans un apprentissage adversarial grâce à notre module de normalisation identité-style. Des pertes de déconnexion sont introduites afin d’améliorer le générateur, lui permettant d’extraire indépendamment les informations relatives à chaque attribut. Des évaluations quantitatives et qualitatives complètes ont été menées. Dans un cadre unifié, notre méthode obtient les meilleurs résultats ou des performances compétitives sur une variété d’applications faciales.