작업 일반적인 계층적 인간 운동 사전 모델의 변분 추정기(VAE)를 활용한 접근

인간의 움직임을 설명하는 깊이 있는 생성 모델은 비디오 기반 인간 자세 추정에 대한 강건성 제공, 가림현상 발생 시 모션 캡처 시스템의 완전한 신체 움직임 예측, 그리고 합리적인 움직임을 보조하는 키프레임 애니메이션 지원과 같은 다양한 기초 컴퓨터 비전 및 그래픽스 작업에 기여할 수 있다. 본 논문에서는 전역과 국소적 잠재 공간을 결합한 방식을 사용하여 특정 작업에 종속되지 않고 복잡한 인간 움직임을 학습하는 방법을 제안한다. 구체적으로, 2단계 계층적 잠재 공간을 갖는 계층적 움직임 변분 오토인코더(HM-VAE)를 제안한다. 전역 잠재 공간은 전반적인 신체 움직임을 포착하고, 국소 잠재 공간은 신체 각 부위의 세부적인 자세를 세밀하게 표현할 수 있도록 한다. 제안하는 계층적 움직임 변분 오토인코더의 효과성을 비디오 기반 인간 자세 추정, 부분 관측에서의 움직임 보완, 희소한 키프레임에서의 움직임 합성 등 다양한 작업에서 검증하였다. 본 모델은 이러한 작업들에 대해 특별히 훈련된 태스크 전용 대안들과 비교하여 우수한 성능을 보였다. 또한, 본 모델은 특정 작업에 맞춰 훈련되지 않았음에도 불구하고, 손상된 인간 신체 애니메이션을 수정하고, 불완전한 관측에서부터 완전한 움직임을 생성하는 일반 목적의 인간 움직임 사전 모델로서 유용하게 활용될 수 있다.