Récupération de la forme et de la posture humaines de bout en bout

Nous décrivons Human Mesh Recovery (HMR), un cadre d'extrémité à extrémité pour la reconstruction d'une maillage 3D complet d'un corps humain à partir d'une seule image RGB. Contrairement aux méthodes actuelles qui calculent généralement les positions des articulations en 2D ou en 3D, nous produisons une représentation de maillage plus riche et plus utile, paramétrée par la forme et les angles des articulations en 3D. L'objectif principal est de minimiser la perte de reprojection des points clés, ce qui permet à notre modèle d'être entraîné à l'aide d'images naturelles ne disposant que d'annotations 2D de vérité terrain. Cependant, la perte de reprojection seule laisse le modèle fortement sous-construit. Dans cette étude, nous abordons ce problème en introduisant un adversaire formé pour distinguer si un paramètre du corps humain est réel ou non, en utilisant une grande base de données de maillages 3D humains. Nous montrons que HMR peut être entraîné avec ou sans supervision appariée 2D-3D. Nous ne nous appuyons pas sur des détections intermédiaires de points clés en 2D et inférons directement les paramètres de pose et de forme en 3D à partir des pixels de l'image. Notre modèle fonctionne en temps réel lorsqu'il reçoit une boîte englobante contenant la personne. Nous illustrons notre approche sur diverses images naturelles et surpassons les méthodes précédentes basées sur l'optimisation qui génèrent des maillages 3D, tout en obtenant des résultats compétitifs dans des tâches telles que l'estimation des positions des articulations en 3D et la segmentation des parties du corps.