HyperAIHyperAI

Command Palette

Search for a command to run...

FIFO-Diffusion: Generierung unendlicher Videos aus Text ohne Training

Jihwan Kim Junoh Kang Jinyoung Choi Bohyung Han

Zusammenfassung

Wir stellen eine neuartige Inferenztechnik vor, die auf einem vortrainierten Diffusionsmodell basiert, um videobedingte Textgenerierung zu ermöglichen. Unser Ansatz, namens FIFO-Diffusion, ist konzeptionell in der Lage, unendlich lange Videos ohne zusätzliches Training zu generieren. Dies wird erreicht durch die iterative Durchführung einer diagonalen Entrauschung, bei der eine Reihe aufeinanderfolgender Frames mit zunehmenden Rauschpegeln in einer Warteschlange gleichzeitig verarbeitet werden; unsere Methode entnimmt am Kopf der Warteschlange einen vollständig entrauschten Frame und fügt am Ende einen neuen zufälligen Rauschframe hinzu. Die diagonale Entrauschung stellt jedoch ein zweischneidiges Schwert dar, da die Frames nahe dem Ende der Warteschlange von reinen Frames durch Vorwärtsreferenzierung profitieren können, was jedoch eine Diskrepanz zwischen Training und Inferenz verursacht. Um diese Diskrepanz zu verringern, führen wir eine latente Partitionierung ein, und zur Nutzung des Vorteils der Vorwärtsreferenzierung entwickeln wir eine Vorhersage-Entrauschung (lookahead denoising). Wir haben die vielversprechenden Ergebnisse und die Wirksamkeit der vorgeschlagenen Methoden an bestehenden Text-zu-Video-Generierungs-Baselines nachgewiesen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
FIFO-Diffusion: Generierung unendlicher Videos aus Text ohne Training | Paper | HyperAI