HyperAIHyperAI

Command Palette

Search for a command to run...

Markov-Entscheidungsprozess für die Videogenerierung

Vladyslav Yushchenko Nikita Araslanov Stefan Roth

Zusammenfassung

Wir identifizieren zwei pathologische Fälle zeitlicher Inkonsistenzen bei der Videogenerierung: Videofreeze und Videoloop. Um die zeitliche Vielfalt besser quantifizieren zu können, schlagen wir eine Klasse ergänzender Metriken vor, die effektiv, einfach implementierbar, datenunabhängig und interpretierbar sind. Weiterhin beobachten wir, dass aktuelle State-of-the-Art-Modelle auf Videobeispielen fester Länge trainiert werden, was eine langfristige Modellierung behindert. Um dies zu beheben, reformulieren wir das Problem der Videogenerierung als Markov-Entscheidungsprozess (MDP). Der zugrundeliegende Ansatz besteht darin, Bewegung als stochastischen Prozess mit unendlichem Vorhersagehorizont darzustellen, um die Beschränkung auf feste Längen zu überwinden und zeitliche Artefakte zu reduzieren. Wir zeigen, dass unsere Formulierung problemlos in den aktuellen State-of-the-Art-Framework MoCoGAN integriert werden kann. Unsere Experimente auf den Datensätzen Human Actions und UCF-101 belegen, dass unser MDP-basiertes Modell effizienter im Speicherverbrauch ist und die Videqualität sowohl hinsichtlich neuer als auch etablierter Metriken verbessert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Markov-Entscheidungsprozess für die Videogenerierung | Paper | HyperAI