PC-HMR : Calibration de la posture pour la récupération de maillages 3D humains à partir d'images/vidéos 2D

L’approche de reconstruction de maillage humain en boucle complète (Human Mesh Recovery, HMR) a été couramment utilisée pour la reconstruction 3D du corps humain. Toutefois, la plupart des cadres basés sur HMR reconstruisent le corps humain en apprenant directement les paramètres du maillage à partir d’images ou de vidéos, sans bénéficier d’une guidance explicite de la pose 3D présente dans les données visuelles. En conséquence, le maillage généré présente souvent des poses incorrectes lors de la reconstruction d’activités complexes. Pour résoudre ce problème, nous proposons d’exploiter la pose 3D afin de calibrer le maillage humain. Plus précisément, nous développons deux nouveaux cadres de calibration de pose, nommés respectivement Serial PC-HMR et Parallel PC-HMR. En couplant des estimateurs avancés de pose 3D et HMR de manière sérielle ou parallèle, ces deux cadres peuvent corriger efficacement le maillage humain grâce à un module de calibration de pose compact. En outre, comme le module de calibration est conçu à l’aide d’une transformation de pose non rigide, nos cadres PC-HMR peuvent traiter de manière flexible les variations de longueur des os, réduisant ainsi les erreurs de positionnement dans le maillage corrigé. Enfin, nos cadres reposent sur une intégration générique et complémentaire entre apprentissage guidé par les données et modélisation géométrique. Grâce à des modules plug-and-play, ils peuvent être efficacement adaptés à la reconstruction de maillage humain à partir d’images ou de vidéos. De plus, ils n’exigent aucune annotation de pose 3D supplémentaire lors de l’étape de test, ce qui élimine les difficultés d’inférence en pratique. Nous menons des expériences approfondies sur des benchmarks populaires, à savoir Human3.6M, 3DPW et SURREAL, où nos cadres PC-HMR atteignent des résultats de l’état de l’art (SOTA).