Génération de vidéos avec des réseaux antagonistes génératifs implicites sensibles aux dynamiques

Dans l’ère du deep learning, la génération de vidéos longues de haute qualité reste un défi majeur en raison de la complexité spatio-temporelle et de la continuité inhérentes aux vidéos. Les travaux antérieurs ont tenté de modéliser la distribution vidéo en représentant les vidéos sous forme de grilles 3D de valeurs RGB, ce qui limite l’échelle des vidéos générées et néglige les dynamiques continues. Dans cet article, nous montrons que le paradigme émergent des représentations neurales implicites (INRs), qui encode un signal continu dans un réseau de neurones paramétrique, permet efficacement de surmonter ce problème. En exploitant les INRs pour les vidéos, nous proposons DIGAN (Dynamics-Aware Implicit Generative Adversarial Network), un nouveau modèle de réseau adversaire génératif pour la génération vidéo. Plus précisément, nous introduisons (a) un générateur vidéo basé sur les INRs, qui améliore la dynamique du mouvement en manipulant différemment les coordonnées spatiales et temporelles, et (b) un discriminateur de mouvement capable d’identifier efficacement les mouvements artificiels sans nécessiter l’observation de séquences entières longues. Nous démontrons l’efficacité supérieure de DIGAN sur plusieurs jeux de données, ainsi que plusieurs propriétés remarquables, telles que la synthèse de vidéos longues, l’extrapolation vidéo et la génération vidéo non-autorégressive. Par exemple, DIGAN améliore le score FVD (Fréchet Video Distance) du précédent état de l’art sur UCF-101 de 30,7 %, et peut être entraîné sur des vidéos de 128 cadres à une résolution de 128×128, soit 80 cadres de plus que la méthode précédente, qui était limitée à 48 cadres.