ダンスリボリューション：カリキュラム学習を用いた音楽付きの長期的ダンス生成

音楽に合わせて踊ることは、古代より人類が持つ自然な能力の一つである。しかし、機械学習の分野において、音楽からダンスの動きを合成することは依然として困難な課題である。近年、再帰型ニューラルネットワーク（RNN）を含む自己回帰モデルを用いて人間の運動シーケンスを生成するアプローチが提案されている。しかし、このような手法は、予測誤差がニューラルネットワークにフィードバックされるため、短いシーケンスしか生成できず、特に長時間の運動シーケンス生成においてはこの問題が顕著になる。さらに、ダンスと音楽の間のスタイル、リズム、ビートの整合性をモデル化の過程で十分に考慮する必要がある。本研究では、音楽条件付きダンス生成をシーケンス・トゥ・シーケンス（seq2seq）学習問題として定式化し、音楽特徴の長時間シーケンスを効率的に処理し、音楽とダンスの微細な対応関係を捉えるための新規seq2seqアーキテクチャを提案する。また、長時間運動シーケンス生成における自己回帰モデルの誤差蓄積を緩和するため、教師強制（teacher-forcing）を完全に用いた訓練から、生成された動きを主に用いる自己回帰的なアプローチへと段階的に移行する新しいカリキュラム学習戦略を提案する。広範な実験により、本手法が自動評価指標および人間評価において、既存の最先端手法を顕著に上回ることを示した。また、本手法の優れた性能を可視化したデモ動画を、https://www.youtube.com/watch?v=lmE20MEheZ8 にて公開している。