Estimation de la posture 3D humaine par physique intuitive

L’estimation de corps humains 3D à partir d’images produit souvent des corps peu crédibles, qui penchent, flottent ou pénètrent le sol. Ces méthodes ignorent le fait que les corps humains sont généralement soutenus par la scène. Une engine physique peut être utilisée pour imposer une plausibilité physique, mais ces moteurs ne sont pas différentiables, reposent sur des corps proxy peu réalistes, et sont difficiles à intégrer dans les cadres d’optimisation ou d’apprentissage existants. À l’inverse, nous exploitons de nouveaux termes dits « intuitifs de la physique » (IP), qui peuvent être extraits à partir d’un corps 3D SMPL interagissant avec la scène. Inspirés par la biomécanique, nous estimons la carte de pression sur le corps, le centre de pression (CoP) à partir de cette carte, ainsi que le centre de masse (CoM) du corps SMPL. Grâce à ces éléments, nous proposons IPMAN, une méthode pour estimer un corps 3D à partir d’une image couleur dans une configuration « stable », en favorisant un contact réaliste avec le sol et une superposition plausible entre le CoP et le CoM. Nos termes IP sont intuitifs, faciles à implémenter, rapides à calculer, différentiables, et peuvent être intégrés directement dans les méthodes d’optimisation ou de régression existantes. Nous évaluons IPMAN sur des jeux de données standards ainsi que sur MoYo, un nouveau jeu de données comprenant des images synchronisées multi-vues, des corps 3D annotés avec des poses complexes, des contacts corps-sol, des positions du centre de masse et des cartes de pression. Les résultats montrent que IPMAN produit des estimations plus crédibles que l’état de l’art, améliorant la précision pour les poses statiques sans dégrader les performances sur les poses dynamiques. Le code et les données sont disponibles à l’adresse suivante pour la recherche : https://ipman.is.tue.mpg.de.