HifiFace : Échange de visages haute fidélité guidé par des priorités de forme 3D et sémantiques

Dans ce travail, nous proposons une méthode de remplacement de visage de haute fidélité, appelée HifiFace, capable de préserver efficacement la forme du visage source tout en générant des résultats photoréalistes. Contrairement aux méthodes existantes de remplacement de visage qui se contentent d’utiliser un modèle de reconnaissance faciale pour maintenir la similarité d’identité, nous introduisons une notion d’identité sensible à la forme 3D, permettant de contrôler la forme du visage grâce à une supervision géométrique issue du modèle 3DMM (3D Morphable Model) et de méthodes de reconstruction 3D du visage. Par ailleurs, nous proposons un module de fusion sémantique faciale visant à optimiser l’agrégation des caractéristiques extraites par l’encodeur et le décodeur, ainsi qu’à réaliser un mélange adaptatif, ce qui contribue à des résultats plus photoréalistes. Des expériences étendues sur des visages dans des conditions réelles (in the wild) démontrent que notre méthode préserve mieux l’identité, en particulier la forme du visage, et produit des résultats plus photoréalistes que les méthodes de pointe précédentes.