MT-VAE: 동작 변환 학습을 통한 다중 모드 인간 동역학 생성

장기적인 인간의 움직임은 단기적인 시간 동역학을 포착하는 움직임 시퀀스로 표현될 수 있으며, 이들 사이의 전환을 포함합니다. 우리는 이러한 구조를 활용하여 새로운 모션 변환 변분 오토인코더(Motion Transformation Variational Auto-Encoders, MT-VAE)를 제시하여 모션 시퀀스 생성을 학습합니다. 우리의 모델은 모션 시퀀스에서 재구성할 수 있는 움직임 모드의 특징 임베딩과 한 움직임 모드에서 다음 움직임 모드로의 전환을 나타내는 특징 변환을 동시에 학습합니다. 우리의 모델은 동일한 입력으로부터 여러 가지 다양한이고 타당한 미래의 움직임 시퀀스를 생성할 수 있습니다. 우리는 이 접근법을 얼굴 및 전체 몸체의 움직임에 적용하고, 유추 기반 모션 전송 및 비디오 합성 등의 응용 사례를 소개합니다.