TRAM: 자연스러운 영상에서의 3차원 인간의 전역 궤적 및 운동 추정

우리는 자연 환경 영상에서 인간의 전역 경로와 운동을 재구성하기 위한 이단계 방법인 TRAM을 제안한다. TRAM은 동적 인간이 존재하는 상황에서도 SLAM의 안정성을 강화하여 카메라의 운동을 복원하고, 장면의 배경을 활용해 운동 스케일을 도출한다. 복원된 카메라를 메트릭 스케일 기준 좌표계로 사용하여, 비디오 트랜스포머 모델(VIMO)을 도입해 인간의 운동학적 신체 운동을 회귀한다. 두 운동을 결합함으로써 세계 공간 내 3D 인간을 정확히 재구성할 수 있으며, 기존 연구 대비 전역 운동 오차를 크게 감소시킬 수 있다. https://yufu-wang.github.io/tram4d/