Exploitation du contexte temporel pour l'estimation de la posture humaine 3D en conditions réelles

Nous présentons un algorithme basé sur l'ajustement de faisceaux pour la récupération d'une posture humaine 3D précise et de maillages à partir de vidéos monoculaires. Contrairement aux algorithmes précédents qui opèrent sur des images individuelles, nous démontrons que la reconstruction d'une personne sur une séquence complète offre des contraintes supplémentaires permettant de résoudre les ambiguïtés. Cela est dû au fait que les vidéos fournissent souvent plusieurs vues d'une personne, tout en conservant la forme corporelle globale inchangée et en variant lentement les positions 3D. Notre méthode améliore non seulement les jeux de données standards basés sur le mocap tels que Human 3.6M -- où nous montrons des améliorations quantitatives -- mais aussi les jeux de données difficiles et naturels comme Kinetics. En nous appuyant sur notre algorithme, nous présentons un nouveau jeu de données comprenant plus de 3 millions d'images provenant de vidéos YouTube issues du dataset Kinetics, avec des postures et maillages 3D générés automatiquement. Nous montrons que le réentraînement d'un estimateur de posture 3D à partir d'une seule image sur ces données améliore la précision tant sur des données réelles que sur des données mocap, en évaluant sur les jeux de données 3DPW et HumanEVA.