Pose2Mesh : Réseau de convolution sur graphe pour la récupération de la posture 3D et du maillage humain à partir d'une posture 2D

La plupart des méthodes récentes de estimation de la posture 3D et de la maille humaine basées sur l’apprentissage profond reposent sur la régression des paramètres de posture et de forme des modèles de mailles humaines, tels que SMPL et MANO, à partir d’une image d’entrée. La première faiblesse de ces méthodes provient d’un problème de décalage de domaine d’apparence, dû aux différences d’apparence visuelle entre les données d’entraînement provenant d’environnements contrôlés (comme un laboratoire) et les données de test issues d’environnements réels (in-the-wild). La deuxième faiblesse réside dans la difficulté de l’estimation des paramètres de posture, en raison des problèmes liés à la représentation des rotations 3D. Pour surmonter ces limites, nous proposons Pose2Mesh, un nouveau système basé sur un réseau de convolution de graphe (GraphCNN) qui estime directement les coordonnées 3D des sommets de la maille humaine à partir d’une posture 2D. L’entrée constituée de la posture 2D fournit des informations essentielles sur l’articulation du corps humain, tout en présentant une propriété géométrique relativement homogène entre les deux domaines. De plus, le système proposé évite les problèmes de représentation tout en exploitant pleinement la topologie de la maille grâce à un GraphCNN mis en œuvre de manière progressive (du grossier au fin). Nous démontrons que Pose2Mesh surpasse les méthodes antérieures d’estimation de la posture et de la maille humaine 3D sur diverses bases de données de référence. Pour accéder au code, rendez-vous à l’adresse suivante : https://github.com/hongsukchoi/Pose2Mesh_RELEASE.