Réseaux de Génération Adversariaux Temporels avec Clipping de Valeurs Singulières

Dans cet article, nous proposons un modèle génératif, les Réseaux Antagonistes Générateurs Temporels (TGAN), capable d'apprendre une représentation sémantique des vidéos non étiquetées et de générer des vidéos. Contrairement aux méthodes existantes basées sur les Réseaux Antagonistes Générateurs (GAN) qui génèrent des vidéos à l'aide d'un seul générateur composé de couches déconvolutives 3D, notre modèle utilise deux types distincts de générateurs : un générateur temporel et un générateur d'images. Le générateur temporel prend en entrée une seule variable latente et produit un ensemble de variables latentes, chacune correspondant à un cadre d'image dans une vidéo. Le générateur d'images transforme cet ensemble de variables latentes en une vidéo. Pour résoudre les problèmes d'instabilité lors de l'entraînement des GAN avec ces réseaux avancés, nous adoptons le modèle récemment proposé, le Wasserstein GAN, et proposons une nouvelle méthode pour l'entraîner de manière stable et intégrée. Les résultats expérimentaux démontrent l'efficacité de nos méthodes.