17 天前

TRAM:从真实场景视频中获取3D人类的全局轨迹与运动

Yufu Wang, Ziyun Wang, Lingjie Liu, Kostas Daniilidis
TRAM:从真实场景视频中获取3D人类的全局轨迹与运动
摘要

我们提出TRAM,一种两阶段方法,用于从野外视频中重建人类的全局轨迹与运动。TRAM通过增强SLAM(同时定位与地图构建)技术,有效应对动态人体干扰,实现相机运动的稳定恢复,并利用场景背景信息推导出运动尺度。以恢复的相机作为度量尺度参考帧,我们引入一种视频Transformer模型(VIMO),用于回归人体的运动学运动。通过融合两阶段的运动信息,我们实现了对世界空间中三维人体的高精度重建,相较以往方法显著降低了全局运动误差。项目主页:https://yufu-wang.github.io/tram4d/