Captain Cinema: Towards Short Movie Generation

Wir präsentieren Captain Cinema, einen Generationsrahmen für die Erstellung kurzer Filme.Gegeben eine detaillierte textuelle Beschreibung einer Filmhandlung, generiert unser Ansatz zunächst eine Sequenz von Schlüsselbildern, die die gesamte Erzählung skizzieren, was eine langfristige Kohärenz in sowohl der Handlung als auch der visuellen Erscheinung (z. B. Szenen und Charaktere) gewährleistet. Diesen Schritt bezeichnen wir als top-down Schlüsselbildplanung.Diese Schlüsselbilder dienen anschließend als Bedingungssignale für ein Video-Synthesemodell, das langfristiges Kontextlernen unterstützt, um die räumlich-zeitlichen Dynamiken zwischen ihnen zu erzeugen. Dieser Schritt wird als bottom-up Video-Synthese bezeichnet. Um eine stabile und effiziente Erstellung von mehrszenigen, langen künstlerischen Filmen zu ermöglichen, führen wir eine interleaved (abwechselnde) Trainingsstrategie für Multimodal Diffusion Transformers (MM-DiT) ein, speziell an die langen Kontextdaten für Videos angepasst.Unser Modell wird auf einem speziell zusammengestellten künstlerischen Datensatz trainiert, der aus abwechselnden Datensätzen besteht.Unsere Experimente zeigen, dass Captain Cinema in der automatisierten Erstellung hochwertiger und narrativ konsistenter kurzer Filme hervorragend abschneidet.Projektseite: https://thecinema.ai