Estimation de la posture et de la forme corporelle 3D humaine embarquée temporellement en diffusion en direct

L’estimation de la posture et de la forme du corps humain en 3D au sein d’une séquence temporelle peut être cruciale pour comprendre le comportement humain. Malgré les progrès significatifs réalisés récemment dans l’estimation de la posture humaine, souvent basée sur des images ou vidéos individuelles, l’estimation du mouvement humain à partir de flux vidéo en temps réel reste un domaine peu exploré, en raison de ses exigences spécifiques en matière de sortie en temps réel et de cohérence temporelle. Pour répondre à ce défi, nous proposons une méthode d’estimation de la posture et de la forme du corps humain en 3D intégrant une dimension temporelle, appelée TePose, afin d’améliorer à la fois la précision et la cohérence temporelle de l’estimation dans les vidéos en flux continu. TePose utilise les prédictions antérieures comme pont pour rétropropager les erreurs et ainsi améliorer l’estimation de la frame courante, tout en apprenant la correspondance entre les cadres de données et les prédictions passées. Un réseau de convolution graphique spatio-temporel à multiples échelles est introduit comme discriminateur de mouvement pour une entraînement adversarial, utilisant des jeux de données ne comportant aucune étiquette 3D. Nous proposons également une stratégie de chargement séquentiel des données, adaptée aux exigences spécifiques de traitement end-to-end des flux vidéo en temps réel. Nous démontrons l’importance de chaque module proposé à travers des expériences approfondies. Les résultats montrent l’efficacité de TePose sur des benchmarks largement utilisés pour l’estimation de posture humaine, atteignant des performances de pointe dans le domaine.