HyperAIHyperAI

Command Palette

Search for a command to run...

VideoFusion: Zerlegte Diffusionsmodelle zur Erzeugung hochwertiger Videos

Zhengxiong Luo Dayou Chen Yingya Zhang Yan Huang Liang Wang Yujun Shen Deli Zhao Jingren Zhou Tieniu Tan

Zusammenfassung

Ein Diffusions-Wahrscheinlichkeitsmodell (DPM), das einen Vorwärts-Diffusionsprozess durch schrittweise Hinzufügen von Rauschen zu Datenelementen aufbaut und den umgekehrten Entrauschungsprozess lernt, um neue Proben zu generieren, hat sich als effektiv bei der Behandlung komplexer Datenverteilungen erwiesen. Trotz seines jüngsten Erfolgs bei der Bildsynthese bleibt die Anwendung von DPMs auf die Videogenerierung herausfordernd, bedingt durch die hochdimensionalen Datensräume. Frühere Ansätze verwenden gewöhnlich einen standardisierten Diffusionsprozess, bei dem die Frames eines Videoausschnitts unabhängig voneinander mit Rauschen versehen werden, wodurch inhaltliche Redundanzen und zeitliche Korrelationen ignoriert werden. In dieser Arbeit wird ein dekomponierter Diffusionsprozess vorgestellt, bei dem das pro-Frames-Rauschen in ein gemeinsam für alle Frames genutztes Basisrauschen und ein zeitlich variierendes Restrauschen zerlegt wird. Die Entrauschungspipeline nutzt zwei gemeinsam gelernte Netzwerke, um die Rauschdekomposition entsprechend zu erfassen. Experimente auf verschiedenen Datensätzen bestätigen, dass unser Ansatz, VideoFusion genannt, sowohl GAN-basierte als auch diffusionbasierte Alternativen bei der Erzeugung hochwertiger Videos übertrifft. Darüber hinaus zeigen wir, dass unsere dekomponierte Formulierung von vortrainierten Bild-Diffusionsmodellen profitieren und die textbedingte Videogenerierung effektiv unterstützen kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
VideoFusion: Zerlegte Diffusionsmodelle zur Erzeugung hochwertiger Videos | Paper | HyperAI