HyperAIHyperAI

Command Palette

Search for a command to run...

Make Pixels Dance: Hochdynamische Videoerzeugung

Yan Zeng Guoqiang Wei Jiani Zheng Jiaxin Zou Yang Wei Yuchen Zhang Hang Li

Zusammenfassung

Die Erstellung von Videos mit hoher Dynamik, wie beispielsweise bewegungsreichen Aktionen und komplexen visuellen Effekten, stellt eine erhebliche Herausforderung im Bereich der künstlichen Intelligenz dar. Derzeitige State-of-the-art-Verfahren zur Videogenerierung, die vor allem auf Text-zu-Video-Generierung fokussiert sind, erzeugen dennoch häufig Videoclips mit nur geringen Bewegungen, obwohl die Bildqualität hoch ist. Wir argumentieren, dass die reine Abhängigkeit von Textanweisungen für die Videogenerierung unzureichend und suboptimal ist. In diesem Paper stellen wir PixelDance vor, einen neuartigen Ansatz basierend auf Diffusionsmodellen, der sowohl Bildanweisungen für den ersten und letzten Frame als auch Textanweisungen zur Videogenerierung integriert. Umfassende experimentelle Ergebnisse zeigen, dass PixelDance, trainiert auf öffentlichen Daten, erheblich bessere Fähigkeiten zur Synthese von Videos mit komplexen Szenen und fein abgestimmten Bewegungen aufweist und damit einen neuen Standard für die Videogenerierung setzt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Make Pixels Dance: Hochdynamische Videoerzeugung | Paper | HyperAI