VideoGigaGAN: Hin zum detailreichen Video-Super-Resolution

Video-Super-Resolution-(VSR-)Ansätze haben beeindruckende zeitliche Konsistenz in hochaufgelösten Videos gezeigt. Allerdings neigen diese Ansätze dazu, unschärfere Ergebnisse zu liefern als ihre Bildentsprechungen, da ihre generativen Fähigkeiten eingeschränkt sind. Dies wirft eine grundlegende Frage auf: Können wir den Erfolg eines generativen Bild-UPSAMPLERS auf die VSR-Aufgabe übertragen, während gleichzeitig die zeitliche Konsistenz erhalten bleibt? Wir stellen VideoGigaGAN vor, ein neuartiges generatives VSR-Modell, das Videos mit hochfrequenten Details und hoher zeitlicher Konsistenz erzeugen kann. VideoGigaGAN basiert auf einem großskaligen Bild-UPSAMPLER – GigaGAN. Die einfache Erweiterung von GigaGAN zu einem Videomodell durch Hinzufügen zeitlicher Module führt zu starken zeitlichen Flimmereffekten. Wir identifizieren mehrere zentrale Probleme und schlagen Techniken vor, die die zeitliche Konsistenz der hochaufgelösten Videos erheblich verbessern. Unsere Experimente zeigen, dass im Gegensatz zu früheren VSR-Methoden VideoGigaGAN zeitlich konsistente Videos mit feineren optischen Details erzeugt. Die Wirksamkeit von VideoGigaGAN wird durch Vergleiche mit aktuellen state-of-the-art-VSR-Modellen auf öffentlichen Datensätzen bestätigt, sowie durch die Darstellung von Videodaten mit einer Super-Resolution von $8\times$.