Apprentissage d'un modèle 3D détaillé et animable de visage à partir d'images issues du grand public

Bien que les méthodes actuelles de reconstruction 3D monoculaire du visage puissent récupérer des détails géométriques fins, elles souffrent de plusieurs limitations. Certaines méthodes produisent des visages qui ne peuvent pas être animés de manière réaliste car elles ne modélisent pas la variation des rides en fonction de l'expression. D'autres méthodes sont formées à partir de scans faciaux de haute qualité et ne généralisent pas bien aux images prises dans des conditions réelles. Nous présentons la première approche qui régresse la forme 3D du visage et des détails animables spécifiques à un individu mais qui varient avec l'expression. Notre modèle, DECA (Detailed Expression Capture and Animation) [Capture et Animation d'Expressions Détaillées], est formé pour produire robustement une carte de déplacement UV à partir d'une représentation latente de faible dimension composée de paramètres de détails spécifiques à la personne et de paramètres d'expression génériques, tandis qu'un régresseur est formé pour prédire les paramètres de détail, de forme, d'albédo, d'expression, de pose et d'éclairage à partir d'une seule image. Pour cela, nous introduisons une nouvelle perte de cohérence des détails qui dissocie les détails spécifiques à la personne des rides dépendantes de l'expression. Cette dissociation nous permet de synthétiser des rides réaliste spécifiques à la personne en contrôlant les paramètres d'expression tout en conservant les détails spécifiques à la personne inchangés. DECA est appris à partir d'images prises dans des conditions réelles sans supervision 3D appariée et atteint une précision de reconstruction de forme inégalée sur deux benchmarks. Les résultats qualitatifs sur des données prises dans des conditions réelles démontrent la robustesse de DECA ainsi que sa capacité à dissocier les détails liés à l'identité et ceux liés à l'expression, permettant ainsi l'animation des visages reconstruits. Le modèle et le code sont disponibles au public sur https://deca.is.tue.mpg.de.