Estimation de maillage 3D humain à partir de marqueurs virtuels

Inspirés par les succès obtenus dans l’estimation volumétrique de la posture 3D, certains estimateurs récents de maillage humain proposent d’estimer les squelettes 3D comme représentation intermédiaire, à partir desquels des maillages 3D denses sont régressés en exploitant la topologie du maillage. Toutefois, l’information relative à la forme du corps est perdue lors de l’extraction des squelettes, ce qui entraîne des performances médiocres. Les systèmes avancés de capture de mouvement résolvent ce problème en plaçant des marqueurs physiques denses sur la surface du corps, permettant ainsi d’extraire des maillages réalistes à partir de leurs mouvements non rigides. Toutefois, ces systèmes ne peuvent pas être appliqués à des images prises dans le monde réel (wild images) en l’absence de marqueurs. Dans ce travail, nous proposons une représentation intermédiaire, nommée virtual markers, qui apprend 64 points-clés sur la surface du corps à partir de données de motion capture à grande échelle, selon un style génératif, mimant ainsi l’effet des marqueurs physiques. Ces virtual markers peuvent être détectés avec précision à partir d’images réelles et permettent de reconstruire des maillages complets avec des formes réalistes par simple interpolation. Notre approche surpasse les méthodes de pointe sur trois jeux de données. En particulier, elle dépasse de manière notable les méthodes existantes sur le jeu de données SURREAL, qui présente une grande diversité de morphologies corporelles. Le code est disponible à l’adresse suivante : https://github.com/ShirleyMaxx/VirtualMarker