要約
テキストから3次元人体運動を自動生成することは、困難な課題である。生成された運動は、テキストに根ざした運動空間を十分に探索できるほど多様性を持つことが期待されるだけでなく、特に、指定されたテキスト記述の内容を正確に表現する必要がある。本研究では、二段階アプローチ——テキストから運動長さのサンプリング（text2length sampling）とテキストから運動生成（text2motion generation）——を用いてこの課題に取り組む。まず、入力テキストを条件とした運動長さの学習済み分布関数からサンプリングを行うテキスト2長さプロセスを実施し、次に、時系列変分自己符号化器（temporal variational autoencoder）を用いて、サンプリングされた長さに合った多様な人体運動を合成するテキスト2運動モジュールを構築する。ポーズ系列に直接取り組むのではなく、我々は内部的な運動表現として「運動スニペットコード（motion snippet code）」を提案する。このコードは局所的な意味的運動コンテキストを捉え、実証的に、入力テキストに忠実な自然な運動の生成を促進することが示された。さらに、スクリプト化された3次元人体運動を収録した大規模データセット、HumanML3D を構築した。このデータセットには14,616個の運動クリップと44,970個のテキスト記述が含まれる。広範な実証実験により、本手法の有効性が確認された。プロジェクトページ：https://ericguo5513.github.io/text-to-motion/