Élever les événements monoculaires à des poses 3D humaines

Cet article présente une nouvelle approche pour l’estimation de la posture 3D humaine utilisant une seule séquence asynchrone d’événements comme entrée. La plupart des méthodes les plus avancées résolvent cette tâche à l’aide de caméras RGB, mais rencontrent des difficultés lorsque les sujets se déplacent rapidement. À l’inverse, l’estimation de la posture 3D à partir d’événements tire parti des avantages des caméras à événements, notamment leur efficacité et leur robustesse aux changements d’apparence. Toutefois, la détection des postures humaines à partir d’événements asynchrones reste généralement plus difficile que l’estimation classique à partir d’images RGB, car peu ou pas d’événements sont déclenchés dans des scènes statiques. Nous proposons ici la première méthode fondée sur l’apprentissage pour l’estimation 3D de la posture humaine à partir d’une seule séquence d’événements. Notre approche repose sur deux étapes. Premièrement, nous traitons le flux de caméra à événements afin de prédire trois cartes de chaleur orthogonales par articulation ; chaque carte correspond à la projection de l’articulation sur l’un des trois plans orthogonaux. Ensuite, nous fusionnons les ensembles de cartes de chaleur pour estimer la localisation 3D des articulations du corps. En complément, nous rendons disponible un nouveau jeu de données exigeant pour l’estimation de posture à partir d’événements, généré par simulation à partir du jeu de données RGB Human3.6m. Les expérimentations montrent que notre méthode atteint une précision solide, réduisant ainsi l’écart de performance entre la vision classique RGB et la vision basée sur les événements. Le code source est librement accessible à l’adresse suivante : https://iit-pavis.github.io/lifting_events_to_3d_hpe.