CharacterShot：制御可能かつ一貫性のある4Dキャラクターアニメーション

本稿では、任意の個々のデザイナーが1枚の参照キャラクター画像と2Dポーズシーケンスから、動的な3Dキャラクター（すなわち4Dキャラクターアニメーション）を生成できる、制御可能かつ一貫性のある4Dキャラクターアニメーションフレームワーク「CharacterShot」を提案する。まず、最先端のDiTベースの画像から動画生成モデルを基盤として、任意の2Dポーズシーケンスを制御信号として用いることができる強力な2Dキャラクターアニメーションモデルを事前学習する。次に、双対アテンションモジュールとカメラ事前知識（camera prior）を導入することで、この2Dアニメーションモデルを3Dへと拡張し、空間的・時系列的および空間的・視点間の一貫性を保つマルチビュー動画を生成する。さらに、これらのマルチビュー動画に対して、新規の近接制約付き4Dガウススプラッティング最適化手法を適用することで、連続的かつ安定した4Dキャラクター表現を獲得する。また、キャラクター中心の性能向上を図るため、複数の視点からレンダリングされた、多様な外見と動きを有する13,115体の独自キャラクターを含む大規模データセット「Character4D」を構築した。新しく構築したベンチマーク「CharacterBench」を用いた広範な実験により、本手法が現在の最先端手法を上回ることを示した。コード、モデル、データセットは、https://github.com/Jeoyal/CharacterShot にて公開される予定である。