Feindliche Videoerzeugung auf komplexen Datensätzen

Generative Modelle für natürliche Bilder haben durch die intensive Nutzung von Skalierung hohe Treue der Proben erreicht. Wir versuchen, diesen Erfolg auf das Gebiet der Videomodellierung zu übertragen, indem wir zeigen, dass große Generative Adversarial Networks (GANs), die auf dem komplexen Kinetics-600-Datensatz trainiert wurden, Videos mit erheblich höherer Komplexität und Treue als frühere Arbeiten erzeugen können. Unser vorgeschlagenes Modell, Dual Video Discriminator GAN (DVD-GAN), skaliert auf längere und höhere Auflösungsvideos durch die Nutzung einer rechnerisch effizienten Zerlegung seines Diskriminators. Wir evaluieren die verwandten Aufgaben der Videosynthese und Vorhersage von Videos und erreichen einen neuen Stand der Technik in Bezug auf den Fréchet-Inception-Distanz für Vorhersagen im Kinetics-600-Datensatz sowie den besten Inception-Score für Synthese im UCF-101-Datensatz. Gleichzeitig legen wir eine starke Baseline für Synthese im Kinetics-600-Datensatz fest.