Jihwan Kim Junoh Kang Jinyoung Choi Bohyung Han

Abstract

Wir stellen eine neuartige Inferenztechnik vor, die auf einem vortrainierten Diffusionsmodell basiert, um videobedingte Textgenerierung zu ermöglichen. Unser Ansatz, namens FIFO-Diffusion, ist konzeptionell in der Lage, unendlich lange Videos ohne zusätzliches Training zu generieren. Dies wird erreicht durch die iterative Durchführung einer diagonalen Entrauschung, bei der eine Reihe aufeinanderfolgender Frames mit zunehmenden Rauschpegeln in einer Warteschlange gleichzeitig verarbeitet werden; unsere Methode entnimmt am Kopf der Warteschlange einen vollständig entrauschten Frame und fügt am Ende einen neuen zufälligen Rauschframe hinzu. Die diagonale Entrauschung stellt jedoch ein zweischneidiges Schwert dar, da die Frames nahe dem Ende der Warteschlange von reinen Frames durch Vorwärtsreferenzierung profitieren können, was jedoch eine Diskrepanz zwischen Training und Inferenz verursacht. Um diese Diskrepanz zu verringern, führen wir eine latente Partitionierung ein, und zur Nutzung des Vorteils der Vorwärtsreferenzierung entwickeln wir eine Vorhersage-Entrauschung (lookahead denoising). Wir haben die vielversprechenden Ergebnisse und die Wirksamkeit der vorgeschlagenen Methoden an bestehenden Text-zu-Video-Generierungs-Baselines nachgewiesen.