Régression collaborative des corps expressifs à l'aide de la modération

La reconstruction d'humains expressifs à partir d'images est essentielle pour comprendre le comportement humain. Les méthodes qui estiment les corps, les visages ou les mains en 3D ont connu des progrès significatifs, mais de manière séparée. Les méthodes faciales permettent de récupérer une forme 3D précise et des détails géométriques, mais nécessitent un cadrage serré et peinent avec les vues extrêmes et les faibles résolutions. Les méthodes corporelles sont robustes à une large gamme de poses et de résolutions, mais ne fournissent qu'une forme faciale 3D grossière sans détails tels que les rides. Pour bénéficier du meilleur des deux mondes, nous présentons PIXIE, qui produit des avatars 3D animables avec un détail facial réaliste à partir d'une seule image.Pour ce faire, PIXIE utilise deux observations clés. Premièrement, les travaux existants combinent des estimations indépendantes provenant d'experts en corps, visage et mains en leur accordant une confiance égale. PIXIE introduit un nouveau modérateur qui fusionne les caractéristiques des experts, pondéré par leur niveau de confiance. Tous les experts peuvent contribuer à l'ensemble en utilisant l'espace de forme partagé de SMPL-X (Shared Multi-Model Geometry) pour toutes les parties du corps. Deuxièmement, la forme humaine est fortement corrélée au genre, mais cette corrélation est ignorée dans les travaux existants. Nous étiquetons les images d'entraînement comme masculines, féminines ou non binaires, et formons PIXIE pour inférer des formes corporelles 3D "genre-spécifiques" grâce à une nouvelle perte de forme (shape loss).En plus des paramètres de pose et de forme corporelle 3D, PIXIE estime l'expression faciale, l'éclairage, l'albédo et les déplacements surfaciques faciaux 3D. Une évaluation quantitative et qualitative montre que PIXIE estime une forme corporelle entière plus précise et une forme faciale détaillée supérieure à celle de l'état de l'art. Les modèles et le code sont disponibles sur https://pixie.is.tue.mpg.de.