HyperAIHyperAI

Command Palette

Search for a command to run...

Autoregressive Adversarial Post-Training für die Echtzeit-Interaktive Videoerstellung

Shanchuan Lin Ceyuan Yang Hao He Jianwen Jiang Yuxi Ren Xin Xia Yang Zhao Xuefeng Xiao Lu Jiang

Zusammenfassung

Bestehende groß angelegte Videoerzeugungsmodelle sind rechenaufwendig und verhindern dadurch ihre Anwendung in Echtzeit- und interaktiven Anwendungen. In dieser Arbeit schlagen wir eine autoregressive adversarische Post-Training (AAPT) vor, um ein vortrainiertes latentes Videodiffusionsmodell in einen Echtzeit- und interaktiven Videogenerator zu verwandeln. Unser Modell erzeugt autoregressiv ein latentes Bild nach dem anderen durch eine einzelne neuronale Funktionsauswertung (1NFE). Das Modell kann das Ergebnis in Echtzeit an den Benutzer streamen und interaktive Antworten als Steuerungseingaben zur Erzeugung des nächsten latenten Bildes entgegennehmen. Im Gegensatz zu bestehenden Ansätzen untersucht unsere Methode das adversarische Training als effektives Paradigma für die autoregressive Erzeugung. Dies ermöglicht es uns nicht nur, eine Architektur zu gestalten, die für die Schritt-für-Schritt-Erzeugung effizienter ist und den KV-Cache vollständig nutzt, sondern auch, das Modell im student-forcing-Modus zu trainieren, der sich als effektiv erwiesen hat, um Fehlerakkumulation während der langfristigen Videogenerierung zu reduzieren. Unsere Experimente zeigen, dass unser 8-Milliarden-Parameter-Modell eine Echtzeit-Videogenerierung mit 24 fps bei einer Auflösung von 736x416 Pixeln auf einem einzelnen H100 oder bei 1280x720 Pixeln auf 8 H100s bis zu einer Minute (1440 Frames) lang erreicht. Besuchen Sie unsere Forschungswebsite unter https://seaweed-apt.com/2


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp