Synthèse neurale à deux couches rapide d'avatars réalistes de tête à partir d'une seule image

Nous proposons un système basé sur le rendu neuronal permettant de créer des avatars de tête à partir d'une seule photographie. Notre approche modélise l'apparence d'une personne en la décomposant en deux couches. La première couche est une image grossière dépendante de la posture, synthétisée par un petit réseau neuronal. La seconde couche est définie par une image de texture indépendante de la posture, contenant les détails de haute fréquence. Cette image de texture est générée hors ligne, déformée (warped) et ajoutée à l'image grossière afin d'assurer une résolution efficace élevée dans les vues synthétisées de la tête. Nous comparons notre système à des systèmes de pointe similaires en termes de qualité visuelle et de vitesse. Les expériences montrent un gain significatif en rapidité d'inférence par rapport aux modèles précédents d'avatars de tête neuronaux, pour une qualité visuelle donnée. Nous rapportons également une implémentation en temps réel sur smartphone de notre système.