Formation non supervisée pour la régression du modèle morphable 3D

Nous présentons une méthode pour entraîner un réseau de régression à partir de pixels d'images vers des coordonnées de modèle 3D morphable en utilisant uniquement des photographies non étiquetées. La fonction de perte d'entraînement est basée sur des caractéristiques issues d'un réseau de reconnaissance faciale, calculées en temps réel par le rendu des visages prédits avec un rendu différentiable. Pour rendre l'entraînement à partir de caractéristiques réalisable et éviter les effets de tromperie du réseau, nous introduisons trois objectifs : une perte de distribution par lot qui encourage la distribution des sorties à correspondre à celle du modèle morphable, une perte de boucle retour qui assure que le réseau peut correctement réinterpréter sa propre sortie, et une perte d'identité multivue qui compare les caractéristiques du visage 3D prédit et de la photographie d'entrée sous plusieurs angles de vue. Nous entraînons un réseau de régression en utilisant ces objectifs, un ensemble de photographies non étiquetées et le modèle morphable lui-même, et nous démontrons des résultats d'état de l'art.