HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage d'un modèle 3D détaillé et animable de visage à partir d'images issues du grand public

YAO FENG* Max Planck Institute for Intelligent Systems and Max Planck ETH Center for Learning System, Germany HAIWEN FENG* Max Planck Institute for Intelligent Systems, Germany MICHAEL J. BLACK Max Planck Institute for Intelligent Systems, Germany TIMO BOLKART Max Planck Institute for Intelligent Systems, Germany

Résumé

Bien que les méthodes actuelles de reconstruction 3D monoculaire du visage puissent récupérer des détails géométriques fins, elles souffrent de plusieurs limitations. Certaines méthodes produisent des visages qui ne peuvent pas être animés de manière réaliste car elles ne modélisent pas la variation des rides en fonction de l'expression. D'autres méthodes sont formées à partir de scans faciaux de haute qualité et ne généralisent pas bien aux images prises dans des conditions réelles. Nous présentons la première approche qui régresse la forme 3D du visage et des détails animables spécifiques à un individu mais qui varient avec l'expression. Notre modèle, DECA (Detailed Expression Capture and Animation) [Capture et Animation d'Expressions Détaillées], est formé pour produire robustement une carte de déplacement UV à partir d'une représentation latente de faible dimension composée de paramètres de détails spécifiques à la personne et de paramètres d'expression génériques, tandis qu'un régresseur est formé pour prédire les paramètres de détail, de forme, d'albédo, d'expression, de pose et d'éclairage à partir d'une seule image. Pour cela, nous introduisons une nouvelle perte de cohérence des détails qui dissocie les détails spécifiques à la personne des rides dépendantes de l'expression. Cette dissociation nous permet de synthétiser des rides réaliste spécifiques à la personne en contrôlant les paramètres d'expression tout en conservant les détails spécifiques à la personne inchangés. DECA est appris à partir d'images prises dans des conditions réelles sans supervision 3D appariée et atteint une précision de reconstruction de forme inégalée sur deux benchmarks. Les résultats qualitatifs sur des données prises dans des conditions réelles démontrent la robustesse de DECA ainsi que sa capacité à dissocier les détails liés à l'identité et ceux liés à l'expression, permettant ainsi l'animation des visages reconstruits. Le modèle et le code sont disponibles au public sur https://deca.is.tue.mpg.de.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp