HEMlets Pose : Apprentissage de triplets de cartes de chaleur centrés sur les parties pour une estimation précise de la posture 3D humaine

Estimer la posture 3D d’un être humain à partir d’une seule image est une tâche difficile. Ce travail vise à atténuer l’incertitude liée à la reconstruction en 3D des joints détectés en 2D en introduisant un état intermédiaire : les triplets de cartes de chaleur centrés sur les parties du corps (HEMlets), qui réduisent l’écart entre l’observation en 2D et l’interprétation en 3D. Les HEMlets utilisent trois cartes de chaleur relatives aux joints pour représenter les informations de profondeur relative des extrémités de chaque segment squelettique. Dans notre approche, un réseau convolutif (ConvNet) est d’abord entraîné pour prédire les HEMlets à partir de l’image d’entrée, suivi d’une régression volumétrique des cartes de chaleur des joints. Nous exploitons une opération d’intégration pour extraire les positions des joints à partir des cartes de chaleur volumétriques, garantissant un apprentissage end-to-end. Malgré la simplicité de la conception du réseau, les comparaisons quantitatives montrent une amélioration significative des performances par rapport à la méthode de référence (amélioration de 20 % sur le jeu de données Human3.6M). La méthode proposée supporte naturellement l’entraînement à partir d’images « in-the-wild », où seule une annotation faible de l’information de profondeur relative des joints squelettiques est disponible. Cette caractéristique améliore davantage la capacité de généralisation de notre modèle, comme le montrent les comparaisons qualitatives sur des images prises en extérieur.