HyperAIHyperAI

Command Palette

Search for a command to run...

AI コレオグラファー:AIST++を用いた音楽条件付き3Dダンス生成

Ruilong Li Shan Yang David A. Ross Angjoo Kanazawa

概要

我々は、3Dダンスモーションと音楽のマルチモーダルデータセット「AIST++」および、音楽を条件とした3Dダンスモーション生成を目的とした「FACT(Full-Attention Cross-modal Transformer)」ネットワークを提案する。提案するAIST++データセットは、1408のシーケンスにわたり10種類のダンスジャンルをカバーし、カメラポーズが既知のマルチビュー動画を含む5.2時間分の3Dダンスモーションを収録しており、現時点で知られている中で最大規模の同種データセットである。本研究では、音楽条件付き3Dモーション生成というタスクにおいて、トランスフォーマーを含む従来のシーケンスモデルをこのデータセットに直接適用しても、入力音楽と良好に整合した実用的な3Dモーションが得られないことを実証する。この課題を克服するため、アーキテクチャ設計および教師信号の観点から重要な変更を導入した。FACTモデルは、未来のNNNフレーム分のモーションを予測する目的で学習される、フルアテンションを備えた深層クロスモーダルトランスフォーマーブロックを採用している。実験的に、これらの設計変更が、入力音楽に適切に調和した長時間の現実的なダンスモーションを生成する上で鍵となる要因であることを示した。さらに、ユーザー調査を含む広範な実験を通じて、本手法が最近の最先端手法を、定性的・定量的に上回ることを確認した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています