Les humains en 4D : Reconstruction et suivi des humains avec des Transformers

Nous présentons une approche pour reconstruire des êtres humains et les suivre dans le temps. Au cœur de notre méthode, nous proposons une version entièrement « transformée » (transformerized) d’un réseau de récupération de maillage humain. Ce réseau, nommé HMR 2.0, représente une avancée significative par rapport aux états de l’art et démontre une capacité à analyser des poses inhabituelles, autrefois difficiles à reconstruire à partir d’images simples. Pour l’analyse de vidéos, nous utilisons les reconstructions 3D issues de HMR 2.0 comme entrée pour un système de suivi opérant en 3D. Cette approche nous permet de traiter simultanément plusieurs personnes tout en préservant leurs identités même lors d’occlusions. Notre méthode complète, 4DHumans, atteint des résultats de pointe pour le suivi de personnes à partir de vidéos monoculaires. En outre, nous démontrons l’efficacité de HMR 2.0 sur une tâche à valeur ajoutée : la reconnaissance d’actions, où elle obtient des améliorations significatives par rapport aux approches antérieures fondées sur les poses. Le code et les modèles sont disponibles sur le site du projet : https://shubham-goel.github.io/4dhumans/.