Latente neurale Differentialgleichungen für die Videogenerierung

Generative Adversarial Networks (GANs) haben kürzlich bei der Videoerzeugung vielversprechende Ergebnisse gezeigt, indem sie auf den Erfolgen der Bildgenerierung aufbauen und gleichzeitig eine neue Herausforderung angehen: die Zeit. Obwohl die Zeit in einigen frühen Arbeiten untersucht wurde, hat sich die Literatur nicht angemessen mit den Fortschritten im Bereich der zeitlichen Modellierung entwickelt. In dieser Studie untersuchen wir die Auswirkungen von Neuronalen Differentialgleichungen (Neural Differential Equations) auf die zeitliche Dynamik der Videoerzeugung. Das Paradigma der Neuronalen Differentialgleichungen bietet viele theoretische Stärken, darunter die erste kontinuierliche Darstellung der Zeit innerhalb der Videoerzeugung. Um die Auswirkungen von Neuronalen Differentialgleichungen zu beleuchten, untersuchen wir, wie Veränderungen in den zeitlichen Modellen die Qualität der generierten Videos beeinflussen. Unsere Ergebnisse sprechen dafür, dass Neuronale Differentialgleichungen als einfache Ersatzlösung für ältere zeitliche Generatoren verwendet werden können. Bei vergleichbaren Laufzeiten und einer Verringerung des Parameterbestands erzeugen wir ein neues Stand-of-the-Art-Modell für bedingungslose Videoerzeugung in 64$\times$64 Pixelauflösung, das einen Inception-Score von 15,20 erreicht.