TRAM : Trajectoire et mouvement globaux de personnes 3D à partir de vidéos prises dans le monde réel

Nous proposons TRAM, une méthode en deux étapes pour reconstruire la trajectoire globale et le mouvement d’un humain à partir de vidéos prises dans des environnements réels (in-the-wild). TRAM améliore la robustesse des méthodes SLAM afin de récupérer le mouvement de la caméra en présence d’humains dynamiques, tout en exploitant le fond de la scène pour déduire l’échelle du mouvement. En utilisant la caméra reconstruite comme référentiel à échelle métrique, nous introduisons un modèle basé sur les transformateurs vidéo (VIMO) pour estimer le mouvement cinétique du corps humain. En combinant ces deux mouvements, nous parvenons à une reconstruction précise des humains en 3D dans l’espace monde, réduisant de manière significative les erreurs de mouvement global par rapport aux approches antérieures. https://yufu-wang.github.io/tram4d/