Shengqu Cai Ceyuan Yang Lvmin Zhang Yuwei Guo Junfei Xiao et al

Abstract

Die Generierung langer Videos ist grundsätzlich ein Problem des langfristigen Kontextgedächtnisses: Modelle müssen bedeutende Ereignisse über einen langen Zeitraum hinweg speichern und abrufen, ohne dass die Repräsentation kollabiert oder verschwimmt. Die Skalierung von Diffusions-Transformern zur Erzeugung von Videos mit langem Kontext ist jedoch grundlegend durch die quadratische Kostenstruktur der Selbst-Attention begrenzt, was die Speicherung und Berechnung für lange Sequenzen unpraktisch und schwer zu optimieren macht. Wir reformulieren die Aufgabe der langfristigen Videoerzeugung als interne Informationsabrufaufgabe und stellen einen einfachen, lernbaren, sparsen Attention-Routing-Modul namens Mixture of Contexts (MoC) vor, der als effiziente Langzeitgedächtnis-Abfrageeinheit dient. In MoC wählt jeder Query dynamisch einige informative Fragmente sowie obligatorische Anchor-Elemente (Caption, lokale Fenster) aus, auf die er sich konzentriert, wobei eine kausale Routing-Strategie Schleifenbildung verhindert. Bei der Skalierung der Daten und schrittweiser Verdünnung des Routing-Mechanismus richtet das Modell seine Berechnungsressourcen gezielt auf die relevanten Teile der Vergangenheit aus, wodurch Identitäten, Aktionen und Szenen über mehrere Minuten hinweg erhalten bleiben. Die Effizienz ergibt sich als Nebenwirkung des Abrufsverfahrens (nahezu lineare Skalierbarkeit), was eine praktikable Trainings- und Synthesemöglichkeit ermöglicht und das Auftreten von Gedächtnis und Konsistenz in der Größenordnung von Minuten ermöglicht.