MT-VAE: 動作変換の学習による多モーダルな人間の動態生成

長期的人間の動きは、短期的な時間的動態を捉えた一連の動作モードとそれらの間の遷移として表現することができます。この構造を利用し、新しい運動シーケンス生成学習手法であるMotion Transformation Variational Auto-Encoders（MT-VAE）を提案します。当モデルは、運動シーケンスを再構築できる動作モードの特徴埋め込みと、一つの動作モードから次の動作モードへの遷移を表す特徴変換を同時に学習します。当モデルは、同じ入力から複数の多様で現実的な未来の運動シーケンスを生成する能力を持っています。本手法を顔面および全身の動きに適用し、アナロジーに基づく運動転送やビデオ合成などの応用例を示します。