Un Réseau de Transformation Graphique Léger pour la Reconstruction de Maillage Humain à Partir de la Pose Humaine 2D

Les approches actuelles de reconstruction de maillages humains basées sur l'apprentissage profond ont tendance à construire des réseaux plus importants afin d'atteindre une précision plus élevée. Cependant, la complexité computationnelle et la taille du modèle sont souvent négligées, bien qu'elles soient des caractéristiques clés pour l'utilisation pratique de ces modèles de reconstruction de maillages humains (par exemple, dans les systèmes d'essayage virtuel). Dans cet article, nous présentons GTRS, une méthode légère basée sur la posture qui permet de reconstruire un maillage humain à partir d'une posture humaine 2D. Nous proposons un module d'analyse de la posture qui utilise des transformateurs graphiques pour exploiter les corrélations structurées et implicites entre les articulations, ainsi qu'un module de régression de maillage qui combine la caractéristique de posture extraite avec le modèle de maillage pour reconstruire le maillage humain final. Nous démontrons l'efficacité et la généralisation de GTRS par des évaluations exhaustives sur les jeux de données Human3.6M et 3DPW. En particulier, GTRS atteint une meilleure précision que la méthode basée sur la posture state-of-the-art (SOTA) Pose2Mesh tout en utilisant seulement 10,2 % des paramètres (Params) et 2,5 % des FLOPs sur le jeu de données 3DPW difficile en conditions réelles. Le code sera rendu publiquement disponible.