Régression de Maillage Convolutif pour la Reconstruction de la Forme Humaine à Partir d'une Seule Image

Ce travail aborde le problème de l'estimation de la posture et de la forme humaines en 3D à partir d'une seule image. Les approches précédentes considèrent un modèle paramétrique du corps humain, le SMPL (Shape and Motion capture Loper), et tentent de régresser les paramètres du modèle qui génèrent une maillage conforme aux preuves issues de l'image. Cette régression des paramètres a été une tâche très difficile, avec des approches basées sur des modèles sous-performant par rapport aux solutions non paramétriques en termes d'estimation de la posture. Dans notre étude, nous proposons d'atténuer cette forte dépendance vis-à-vis de l'espace paramétrique du modèle. Nous conservons toujours la topologie du maillage modèle SMPL, mais au lieu de prédire les paramètres du modèle, nous régressons directement l'emplacement 3D des sommets du maillage. C'est une tâche ardue pour un réseau typique, mais notre intuition clé est que la régression devient beaucoup plus facile en utilisant un Graph-CNN (Convolutional Neural Network). Cette architecture nous permet d'intégrer explicitement la structure du maillage modèle dans le réseau et d'exploiter la localité spatiale offerte par le maillage. Des caractéristiques basées sur les images sont attachées aux sommets du maillage, et le Graph-CNN est chargé de les traiter selon la structure du maillage, tandis que l'objectif de régression pour chaque sommet est son emplacement 3D.Une fois que nous avons récupéré la géométrie complète 3D du maillage, si nous avons encore besoin d'une paramétrisation spécifique du modèle, celle-ci peut être fiablement régressée à partir des emplacements des sommets. Nous démontrons la flexibilité et l'efficacité de notre méthode de régression de maillage basée sur les graphes en attachant différents types de caractéristiques aux sommets du maillage. Dans tous les cas, nous surpassons les lignes de base comparables reposant sur la régression des paramètres du modèle, tout en atteignant des résultats à l'état de l'art parmi les approches d'estimation de posture basées sur des modèles.