TRAM: Globale Trajektorie und Bewegung von 3D-Menschen aus in-the-wild-Videos

Wir stellen TRAM vor, eine zweistufige Methode zur Rekonstruktion der globalen Trajektorie und der Bewegung einer Person aus in-the-wild-Videos. TRAM verstärkt SLAM, um die Kamerabewegung auch in Gegenwart dynamischer Menschen zu rekonstruieren, und nutzt die Szenenhintergrundinformationen, um die Bewegungsskala abzuleiten. Unter Verwendung der rekonstruierten Kamera als metrisches Referenzsystem führen wir ein Video-Transformer-Modell (VIMO) ein, das die kinematische Körperbewegung einer Person regressiert. Durch die Komposition der beiden Bewegungen erreichen wir eine präzise Rekonstruktion dreidimensionaler Menschen im Weltraum und reduzieren die globalen Bewegungsfehler im Vergleich zu vorhergehenden Ansätzen erheblich. https://yufu-wang.github.io/tram4d/