Formation Éparse, Génération Dense : Formation non supervisée de GAN temporels à haute résolution efficace en mémoire

L'entraînement d'un réseau de neurones génératif adversarial (GAN) sur un ensemble de données vidéo est un défi en raison de la taille considérable de l'ensemble de données et de la complexité de chaque observation. En général, le coût computationnel de l'entraînement d'un GAN augmente exponentiellement avec la résolution. Dans cette étude, nous présentons une nouvelle méthode d'apprentissage non supervisé d'un ensemble de données vidéo à haute résolution dont le coût computationnel ne croît que linéairement avec la résolution. Nous atteignons cet objectif en concevant le modèle générateur comme une pile de petits sous-générateurs et en entraînant le modèle d'une manière spécifique. Nous entraînons chaque sous-générateur avec son propre discriminateur spécifique. Au moment de l'entraînement, nous introduisons entre chaque paire de sous-générateurs consécutifs une couche d'échantillonnage auxiliaire qui réduit le taux d'images par un certain rapport. Cette procédure permet à chaque sous-générateur d'apprendre la distribution des vidéos à différents niveaux de résolution. De plus, nous n'avons besoin que d'une poignée de GPU pour entraîner un générateur hautement complexe qui dépasse largement ses prédécesseurs en termes de scores d'inception.