Formation Synthétique pour une Estimation Précise de la Pose et de la Forme Humaines en 3D dans des Environnements Réels

Ce document aborde le problème de l'estimation monulaire de la forme et de la posture humaines en 3D à partir d'une image RGB. Bien que des progrès considérables aient été réalisés dans ce domaine en termes de précision de prédiction de la posture, les méthodes les plus avancées prédisent souvent des formes corporelles inexactes. Nous suggérons que cette inexactitude est principalement due à la rareté des données d'entraînement réelles avec des labels de forme corporelle diversifiés et précis. Ainsi, nous proposons STRAPS (Synthetic Training for Real Accurate Pose and Shape), un système qui utilise des représentations intermédiaires, telles que des silhouettes et des articulations 2D, comme entrées pour un réseau neuronal de régression de forme et de posture, entraîné avec des données d'entraînement synthétiques (générées en temps réel pendant l'entraînement à l'aide du modèle statistique du corps humain SMPL) afin de surmonter la pénurie de données. Nous comblons l'écart entre les entrées d'entraînement synthétiques et les entrées réelles bruyantes, qui sont prédites par des CNNs de détection de points clés et de segmentation au moment du test, en utilisant une augmentation et une corruption des données pendant l'entraînement. Pour évaluer notre approche, nous avons constitué et fourni un ensemble de données d'évaluation difficile pour l'estimation monulaire de la forme humaine, appelé Sports Shape and Pose 3D (SSP-3D). Il comprend des images RGB de sportifs vêtus serré présentant une variété de formes corporelles ainsi que les paramètres pseudo-vrais SMPL correspondants pour la forme et la posture, obtenus par optimisation multi-image. Nous montrons que STRAPS surpass les autres méthodes les plus avancées sur SSP-3D en termes de précision de prédiction de la forme, tout en restant compétitif avec l'état actuel de l'art sur les jeux de données centrés sur la posture et leurs métriques.