IDE-3D : Édition Interactive Désentrelacée pour la Synthèse de Portraits 3D à Haute Résolution

Les méthodes actuelles de génération faciale 3D-aware font face à un dilemme entre la qualité et l'éditabilité : elles produisent soit des résultats éditables en basse résolution, soit des résultats de haute qualité sans flexibilité d'édition. Dans ce travail, nous proposons une nouvelle approche qui réunit le meilleur des deux mondes. Notre système se compose de trois composants principaux : (1) un modèle génératif 3D-semantique qui produit des images faciales cohérentes selon la vue et des masques sémantiques dissociés ; (2) une approche hybride d'inversion GAN qui initialise les codes latents à partir du codage sémantique et texturé, puis les optimise davantage pour une reconstruction fidèle ; et (3) un éditeur canonique qui permet une manipulation efficace des masques sémantiques en vue canonique et génère des résultats d'édition de haute qualité. Notre méthode est compétente pour de nombreuses applications, par exemple le dessin facial en vue libre, l'édition et le contrôle stylistique. Les résultats quantitatifs et qualitatifs montrent que notre méthode atteint l'état de l'art en termes de photoréalisme, de fidélité et d'efficacité.