WHAM : Reconstruction de l’humain ancré dans le monde avec un mouvement 3D précis

L’estimation du mouvement 3D humain à partir de vidéos a connu un progrès rapide, mais les méthodes actuelles présentent encore plusieurs limitations majeures. Premièrement, la plupart des approches estiment la posture humaine dans le système de coordonnées de la caméra. Deuxièmement, les travaux antérieurs visant à estimer le mouvement dans un repère global supposent souvent un plan de sol plat, ce qui entraîne des glissements des pieds. Troisièmement, les méthodes les plus précises reposent sur des pipelines d’optimisation coûteux en calcul, limitant leur utilisation à des applications hors ligne. Enfin, les méthodes basées sur les vidéos s’avèrent surprenamment moins précises que les méthodes à partir d’une seule image. Nous surmontons ces limitations avec WHAM (World-grounded Humans with Accurate Motion), une méthode qui reconstruit avec précision et efficacité le mouvement 3D humain dans un système de coordonnées globales à partir de vidéos. WHAM apprend à relever des séquences de points clés 2D en 3D à l’aide de données de motion capture, puis fusionne ces informations avec des caractéristiques vidéo, intégrant ainsi le contexte du mouvement et les informations visuelles. WHAM exploite la vitesse angulaire de la caméra estimée par une méthode SLAM, combinée au mouvement humain, pour estimer la trajectoire globale du corps. Nous combinons cette approche avec une méthode de raffinement de trajectoire consciente des contacts, permettant à WHAM de capturer le mouvement humain dans des conditions variées, telles que la montée d’escaliers. WHAM surpasser toutes les méthodes existantes de reconstruction du mouvement 3D humain sur plusieurs benchmarks dans des environnements réels. Le code sera mis à disposition pour des fins de recherche à l’adresse http://wham.is.tue.mpg.de/