HyperAIHyperAI

Command Palette

Search for a command to run...

VideoGigaGAN: Hin zum detailreichen Video-Super-Resolution

Yiran Xu Taesung Park Richard Zhang Yang Zhou Eli Shechtman Feng Liu Jia-Bin Huang Difan Liu

Zusammenfassung

Video-Super-Resolution-(VSR-)Ansätze haben beeindruckende zeitliche Konsistenz in hochaufgelösten Videos gezeigt. Allerdings neigen diese Ansätze dazu, unschärfere Ergebnisse zu liefern als ihre Bildentsprechungen, da ihre generativen Fähigkeiten eingeschränkt sind. Dies wirft eine grundlegende Frage auf: Können wir den Erfolg eines generativen Bild-UPSAMPLERS auf die VSR-Aufgabe übertragen, während gleichzeitig die zeitliche Konsistenz erhalten bleibt? Wir stellen VideoGigaGAN vor, ein neuartiges generatives VSR-Modell, das Videos mit hochfrequenten Details und hoher zeitlicher Konsistenz erzeugen kann. VideoGigaGAN basiert auf einem großskaligen Bild-UPSAMPLER – GigaGAN. Die einfache Erweiterung von GigaGAN zu einem Videomodell durch Hinzufügen zeitlicher Module führt zu starken zeitlichen Flimmereffekten. Wir identifizieren mehrere zentrale Probleme und schlagen Techniken vor, die die zeitliche Konsistenz der hochaufgelösten Videos erheblich verbessern. Unsere Experimente zeigen, dass im Gegensatz zu früheren VSR-Methoden VideoGigaGAN zeitlich konsistente Videos mit feineren optischen Details erzeugt. Die Wirksamkeit von VideoGigaGAN wird durch Vergleiche mit aktuellen state-of-the-art-VSR-Modellen auf öffentlichen Datensätzen bestätigt, sowie durch die Darstellung von Videodaten mit einer Super-Resolution von 8×8\times8×.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
VideoGigaGAN: Hin zum detailreichen Video-Super-Resolution | Paper | HyperAI