3日前

ToonComposer:生成後キーふりによるアニメ制作の効率化

Lingen Li, Guangzhi Wang, Zhaoyang Zhang, Yaowei Li, Xiaoyu Li, Qi Dou, Jinwei Gu, Tianfan Xue, Ying Shan
ToonComposer:生成後キーふりによるアニメ制作の効率化
要約

従来のアニメーション制作プロセスでは、キーフレーム作成、インターポレーション(中間フレーム生成)、色付けという段階が存在し、いずれも人的作業が非常に多く必要となる。近年のAI技術の進展にもかかわらず、既存の手法はこれらの段階を個別に処理する傾向にあり、誤差の累積やアーティファクトの発生を引き起こすことがある。例えば、インターポレーション手法は大規模な動きに対応しづらく、色付け手法ではフレームごとの高密度なスケッチ入力が必要となる。こうした課題を解決するため、本研究では、キーフレーム作成後の段階においてインターポレーションと色付けを統合した生成モデル「ToonComposer」を提案する。ToonComposerは、キーフレームのスケッチを用いて精確な制御を可能にする「スパーススケッチ注入機構」を採用している。さらに、空間的低ランクアダプタ(spatial low-rank adapter)を活用したカートゥーン適応手法により、現代的な動画基礎モデルをカートゥーン領域に適応しつつ、その時間的先験(temporal prior)を維持する。単一のスケッチと色付き参照フレームのみを入力として用いることで、ToonComposerは入力が極めてスパースな状況下でも優れた性能を発揮し、任意の時間位置に複数のスケッチを入力することで、より精密な運動制御も可能である。この二重の機能により、人的作業の負担を大幅に軽減するとともに、制作現場での柔軟性を高め、アーティストの生産性を支援する。モデルの評価のため、実際の制作現場を想定した人間によるスケッチを収録したベンチマーク「PKBench」も新たに構築した。評価結果から、ToonComposerが既存手法に比べて視覚品質、動きの一貫性、生産効率の面で優れた性能を発揮することが示された。本研究は、AI支援型カートゥーン制作において、より優れた柔軟性と効率性を提供する画期的なソリューションを提示している。