私たちは、短編映画の生成を目的とした「Captain Cinema」という生成フレームワークを紹介します。詳細な映画のストーリーのテキスト記述を入力として、本手法はまずストーリー全体を概観するキーフレームのシーケンスを生成します。このステップにより、ストーリーの展開と視覚的表現（例えば、シーンやキャラクター）における長距離の一貫性が確保されます。このステップを「トップダウンキーフレーム計画」と呼びます。次に、これらのキーフレームは、長文の文脈を学習できるビデオ合成モデルに条件信号として提供され、それらの間の空間的・時間的ダイナミクスが生成されます。このステップは「ボトムアップビデオ合成」と呼ばれます。複数シーンにわたる長編の映画作品を安定かつ効率的に生成するため、マルチモーダル・ディフュージョン・トランスフォーマー（MM-DiT）に、長文文脈のビデオデータに特化したインターリーブトレーニング戦略を導入しました。本モデルは、インターリーブされたデータペアから構成される特別に整備された映画データセット上で訓練されています。実験の結果、Captain Cinemaは高品質かつ効率的な視覚的整合性とストーリーの一貫性を備えた短編映画の自動作成において優れた性能を発揮することが示されました。プロジェクトページ: https://thecinema.ai