HyperAIHyperAI

Command Palette

Search for a command to run...

Régression collaborative des corps expressifs à l'aide de la modération

Yao Feng Vasileios Choutas Timo Bolkart Dimitrios Tzionas Michael J. Black

Résumé

La reconstruction d'humains expressifs à partir d'images est essentielle pour comprendre le comportement humain. Les méthodes qui estiment les corps, les visages ou les mains en 3D ont connu des progrès significatifs, mais de manière séparée. Les méthodes faciales permettent de récupérer une forme 3D précise et des détails géométriques, mais nécessitent un cadrage serré et peinent avec les vues extrêmes et les faibles résolutions. Les méthodes corporelles sont robustes à une large gamme de poses et de résolutions, mais ne fournissent qu'une forme faciale 3D grossière sans détails tels que les rides. Pour bénéficier du meilleur des deux mondes, nous présentons PIXIE, qui produit des avatars 3D animables avec un détail facial réaliste à partir d'une seule image.Pour ce faire, PIXIE utilise deux observations clés. Premièrement, les travaux existants combinent des estimations indépendantes provenant d'experts en corps, visage et mains en leur accordant une confiance égale. PIXIE introduit un nouveau modérateur qui fusionne les caractéristiques des experts, pondéré par leur niveau de confiance. Tous les experts peuvent contribuer à l'ensemble en utilisant l'espace de forme partagé de SMPL-X (Shared Multi-Model Geometry) pour toutes les parties du corps. Deuxièmement, la forme humaine est fortement corrélée au genre, mais cette corrélation est ignorée dans les travaux existants. Nous étiquetons les images d'entraînement comme masculines, féminines ou non binaires, et formons PIXIE pour inférer des formes corporelles 3D "genre-spécifiques" grâce à une nouvelle perte de forme (shape loss).En plus des paramètres de pose et de forme corporelle 3D, PIXIE estime l'expression faciale, l'éclairage, l'albédo et les déplacements surfaciques faciaux 3D. Une évaluation quantitative et qualitative montre que PIXIE estime une forme corporelle entière plus précise et une forme faciale détaillée supérieure à celle de l'état de l'art. Les modèles et le code sont disponibles sur https://pixie.is.tue.mpg.de.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp