Estimation probabiliste de la forme et de la posture humaines en 3D à partir d'images multiples non contraintes dans des conditions réelles

Ce travail aborde le problème de l'estimation de la forme et de la posture du corps humain en trois dimensions à partir d'images RGB. Les progrès récents dans ce domaine se sont concentrés sur des entrées constituées d'images uniques, de vidéos ou d'images multivues. En revanche, nous proposons une nouvelle tâche : l'estimation de la forme et de la posture à partir d'un ensemble d'images multiples d'un sujet humain, sans contraintes sur la posture du sujet, le point de vue de la caméra ou les conditions d'arrière-plan entre les images de l'ensemble. Notre solution à cette tâche prédit des distributions sur les paramètres de forme et de posture du modèle SMPL (Shape and Motion Priors), conditionnées par les images d'entrée dans l'ensemble. Nous combinons probabilistiquement les distributions prédites de forme corporelle issues de chaque image pour obtenir une prédiction finale multi-images. Nous montrons que les informations supplémentaires sur la forme corporelle présentes dans les ensembles d'entrées multi-images améliorent les métriques d'estimation 3D du corps humain par rapport aux entrées mono-image sur le jeu de données SSP-3D et un jeu de données privé composé d'humains mesurés avec un mètre ruban. De plus, la prédiction de distributions sur des corps 3D nous permet de quantifier l'incertitude des prédictions posturales, ce qui est utile lorsqu'on est confronté à des images d'entrée difficiles avec une occlusion importante. Notre méthode démontre une incertitude posturale significative sur le jeu de données 3DPW et est compétitive avec l'état de l'art en termes de métriques d'estimation posturale.