비디오에서의 자기 주의 3D 인간 자세 및 형태 추정

우리는 비디오에서 3D 인간 자세와 형태를 추정하는 작업을 고려합니다. 기존의 프레임 기반 접근 방식은 상당한 진전을 이루었지만, 이러한 방법들은 각 이미지에 독립적으로 적용되므로 종종 일관성 없는 예측을 초래합니다. 본 연구에서는 3D 인간 자세와 형태 추정을 위한 비디오 기반 학습 알고리즘을 제시합니다. 우리 방법의 주요 통찰력은 두 가지입니다.첫째, 시간적 예측의 불일관성을 해결하기 위해, 우리는 비디오에서 시간 정보를 활용하고 프레임 간의 단기 및 장기 의존성을 동시에 고려하는 자기 주의(self-attention) 모듈을 제안합니다. 이로 인해 시간적으로 일관된 추정이 가능하게 됩니다. 둘째, 우리는 예측 모듈을 통해 인간 운동을 모델링하여 인접한 프레임 간의 전환을 부드럽게 합니다.우리는 3DPW, MPI-INF-3DHP, 그리고 Human3.6M 데이터셋에서 우리의 방법을 평가하였습니다. 광범위한 실험 결과는 우리의 알고리즘이 최신 방법들에 비해 우수한 성능을 보인다는 것을 입증하고 있습니다.