Distributions de probabilité cinématique hiérarchiques pour l'estimation de la forme et de la posture humaines en 3D à partir d'images dans des conditions réelles

Ce travail aborde le problème de l'estimation de la forme et de la posture du corps humain en 3D à partir d'une image RGB. Il s'agit souvent d'un problème mal posé, car plusieurs corps 3D plausibles peuvent correspondre aux preuves visuelles présentes dans l'image d'entrée, particulièrement lorsque le sujet est occulté. Par conséquent, il est souhaitable d'estimer une distribution sur la forme et la posture du corps en 3D conditionnée par l'image d'entrée plutôt qu'une seule reconstruction 3D. Nous formons un réseau neuronal profond pour estimer une distribution matricielle hiérarchique de Fisher sur les matrices de rotation 3D relatives des articulations (c'est-à-dire la posture du corps), exploitant ainsi la structure arborescente cinématique du corps humain, ainsi qu'une distribution gaussienne sur les paramètres de forme du modèle SMPL. Pour garantir davantage que les distributions prédites de forme et de posture correspondent aux preuves visuelles dans l'image d'entrée, nous avons mis en œuvre un échantillonneur de rejet différentiable afin d'imposer une perte de reprojection entre les coordonnées 2D réelles des articulations et les échantillons tirés des distributions prédites, projetés sur le plan de l'image. Nous montrons que notre méthode est compétitive avec l'état de l'art en termes de métriques de forme et de posture 3D sur les jeux de données SSP-3D et 3DPW, tout en produisant une distribution probabiliste structurée sur la forme et la posture du corps en 3D, avec laquelle nous pouvons quantifier significativement l'incertitude des prédictions et générer plusieurs reconstructions 3D plausibles pour expliquer une image d'entrée donnée. Le code est disponible à l'adresse suivante : https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman .