Une approche à double source pour l'estimation de la posture humaine 3D à partir d'une seule image

Dans cette étude, nous abordons le problème complexe de l'estimation de la posture humaine en 3D à partir d'images uniques. Les approches récentes apprennent des réseaux neuronaux profonds pour prédire directement la posture en 3D à partir d'images. Cependant, un défi majeur pour ces méthodes est la collecte de données d'entraînement. Plus précisément, il est impossible de rassembler de grandes quantités de données d'entraînement contenant des images non contraintes annotées avec des postures 3D précises. Nous proposons donc d'utiliser deux sources d'entraînement indépendantes. La première source comprend des données de capture de mouvement en 3D précises, et la seconde source comprend des images non contraintes annotées avec des postures 2D.Pour intégrer ces deux sources, nous proposons une approche à double source qui combine l'estimation de la posture 2D avec une recherche efficace de postures 3D. À cet effet, nous convertissons tout d'abord les données de capture de mouvement en un espace de posture 2D normalisé, et nous apprenons séparément un modèle d'estimation de la posture 2D à partir des données d'images. Lors de l'inférence, nous estimons la posture 2D et recherchons efficacement les postures 3D les plus proches. Nous estimons ensuite conjointement une correspondance entre l'espace de posture 3D et l'image pour reconstruire la posture en 3D.Nous fournissons une évaluation exhaustive de la méthode proposée et démontrons expérimentalement l'efficacité de notre approche, même lorsque les structures squelettiques des deux sources diffèrent considérablement.