Bailando：振付記憶を備えたActor-Critic GPTを用いた3Dダンス生成

音楽に合わせて3Dキャラクターがダンスを踊らせるのは、振付のルールによるポーズの空間的制約のため、極めて困難である。さらに、生成されるダンスシーケンスは、異なる音楽ジャンルに対しても時間的に整合性を保つ必要がある。これらの課題に応じて、本研究では2つの強力な構成要素を持つ新たな「音楽→ダンス」変換フレームワーク、Bailandoを提案する。第一に、3Dポーズシーケンスから意味のあるダンス単位を要約し、量子化されたコードブックに表現する「振付記憶（choreographic memory）」を導入する。第二に、これらの単位を音楽に整合した滑らかなダンスに構成する、アクター・クリティック型の生成事前学習Transformer（GPT）を採用する。学習された振付記憶により、高水準の振付基準を満たす量子化された単位に基づいてダンス生成が行われるため、生成されたダンスシーケンスは空間的制約内に収束する。また、多様な動きのテンポと音楽のビートを同期させるために、新規に設計された「ビート同期報酬関数」を備えたアクター・クリティックベースの強化学習スキームをGPTに組み込む。標準ベンチマークを用いた広範な実験により、本フレームワークが定性的・定量的に最先端の性能を達成することが示された。特に、学習された振付記憶が、教師なしの条件下で人間が解釈可能なダンススタイルのポーズを発見していることが明らかになった。