Équations différentielles neuronales latentes pour la génération de vidéos

Les Réseaux Antagonistes Générateurs (Generative Adversarial Networks, GAN) ont récemment montré leur potentiel pour la génération de vidéos, en s'appuyant sur les succès obtenus dans la génération d'images tout en relevant un nouveau défi : le temps. Bien que le temps ait été analysé dans certaines études préliminaires, la littérature n'a pas suffisamment évolué avec les progrès des modèles temporels. Nous étudions les effets des Équations Différentielles Neuronales (Neural Differential Equations, NDE) pour modéliser les dynamiques temporelles de la génération de vidéos. Le paradigme des Équations Différentielles Neuronales présente de nombreuses forces théoriques, notamment la première représentation continue du temps au sein de la génération de vidéos. Pour aborder les effets des Équations Différentielles Neuronales, nous examinons comment les modifications des modèles temporels influencent la qualité des vidéos générées. Nos résultats soutiennent l'utilisation des Équations Différentielles Neuronales comme remplacement simple des anciens générateurs temporels. En maintenant des temps d'exécution similaires et en réduisant le nombre de paramètres, nous produisons un nouveau modèle de pointe pour la génération inconditionnelle de vidéos en 64×64 pixels, avec un score d'Inception de 15,20.