Abstract

Zustandsbestimmende Text-zu-Video-Modelle sind hervorragend darin, isolierte Clips zu generieren, verfehlen jedoch die Erstellung kohärenter, mehrszeniger Erzählungen – jenes Kernstücks der Geschichtenerzählung. Wir schließen diese „Erzählungslücke“ mit HoloCine, einem Modell, das ganze Szenen ganzheitlich generiert, um eine globale Konsistenz von der ersten bis zur letzten Szene zu gewährleisten. Unser Architekturansatz ermöglicht präzise regisseurische Steuerung durch eine Window Cross-Attention-Mechanismus, der Textprompts gezielt auf bestimmte Szenen lokalisiert, während ein spärlicher Inter-Szene-Self-Attention-Muster (dicht innerhalb, spärlich zwischen Szenen) die Effizienz für die Generierung von Minutenlänge gewährleistet. Neben der Erreichung eines neuen State-of-the-Art in Bezug auf narrative Kohärenz entwickelt HoloCine bemerkenswerte emergente Fähigkeiten: eine persistente Erinnerung an Charaktere und Szenen sowie ein intuitives Verständnis kamerabasiertes Erzähltechniken. Unsere Arbeit markiert einen entscheidenden Wandel von der Clip-Synthese hin zur automatisierten Filmproduktion und macht die end-to-end-kreative Filmgestaltung zu einer greifbaren Zukunft. Unser Code ist verfügbar unter: https://holo-cine.github.io/.