« Regarde maman, pas de repères ! » – Alignement facial dense non supervisé basé sur un modèle

« Sans repères ! » – Alignement facial dense non supervisé basé sur un modèleDans cet article, nous montrons comment entraîner un réseau image-à-image afin de prédire une correspondance dense entre une image faciale et un modèle morphable 3D, en n'utilisant que le modèle lui-même comme source de supervision. Nous démontrons que les paramètres géométriques (forme, pose et paramètres intrinsèques de caméra) ainsi que les paramètres photométriques (texture et éclairage) peuvent être directement estimés à partir de la carte de correspondance à l’aide d’une régression aux moindres carrés linéaires et d’un nouveau modèle d’éclairage par harmoniques sphériques inverses. Les résidus obtenus par les moindres carrés fournissent un signal d’entraînement non supervisé, permettant d’éviter les artefacts fréquents dans la littérature, tels que le rétrécissement ou le sous-apprentissage conservatif. Notre approche repose sur un réseau dix fois plus petit que les réseaux de régression de paramètres, réduit sensiblement la sensibilité à l’alignement des images, et permet d’intégrer facilement des contraintes de calibration de caméra connues ou des contraintes multi-images durant l’inférence. Nos résultats sont compétitifs avec les méthodes de pointe, sans recourir à aucune supervision auxiliaire utilisée par les approches antérieures.