FInC Flow : Convolutions $k \times k$ Rapides et Inversibles pour les Flows de Normalisation

Les convolutions inversibles ont constitué un élément fondamental dans la construction de modèles génératifs basés sur les flows de normalisation expressifs depuis leur introduction dans Glow. Plusieurs tentatives ont été entreprises afin de concevoir des convolutions inversibles $k \times k$ efficaces tant en phase d’entraînement qu’en phase de génération. Bien que ces approches aient amélioré l’expressivité et l’efficacité de la génération, elles se sont fortement démarquées de Glow — qui utilisait uniquement des convolutions $1 \times 1$ — en termes de temps de génération. De plus, de nombreuses méthodes masquent un grand nombre de paramètres apprenables sous-jacents à la convolution, entraînant une expressivité réduite sous un budget de temps fixe. Nous proposons une couche de convolution $k \times k$ ainsi qu’une architecture de Deep Normalizing Flow qui i.) dispose d’un algorithme d’inversion parallèle rapide, de complexité temporelle O$(n k^2)$ (où $n$ désigne la hauteur et la largeur de l’image d’entrée, et $k$ la taille du noyau), ii.) masque le nombre minimal de paramètres apprenables par couche, et iii.) offre des temps de passage avant (forward) et de génération comparables à ceux des autres modèles basés sur des convolutions $k \times k$, sur des benchmarks réels. Nous fournissons une implémentation de l’algorithme parallèle proposé pour la génération, utilisant nos convolutions inversibles, sur GPU. Les benchmarks sur les jeux de données CIFAR-10, ImageNet et CelebA montrent des performances comparables aux travaux antérieurs en termes de bits par dimension, tout en améliorant significativement le temps de génération.