Réseaux de Génération Adversariaux Conscients de la Qualité

Les Réseaux de Génération Adversariaux (GANs) sont devenus un outil très populaire pour l'apprentissage implicite de distributions de probabilité à haute dimension. Plusieurs améliorations ont été apportées à la formulation originale des GANs afin de résoudre certaines de leurs limitations, telles que le collapse modulaire, les problèmes de convergence, l'entrelacement et la mauvaise qualité visuelle, entre autres. Bien qu'un effort considérable ait été consacré à l'amélioration de la qualité visuelle des images générées par les GANs, il est surprenant que des métriques objectives de qualité d'image n'aient ni été utilisées comme fonctions coût ni comme régularisateurs dans les fonctions objectif des GANs. Dans cette étude, nous montrons comment une métrique de distance qui est une variante de l'indice Structural SIMilarity (SSIM) (un algorithme courant d'évaluation de la qualité d'image avec référence complète) et une nouvelle fonction pénalité du gradient du discriminateur sensible à la qualité, inspirée par l'évaluateur Naturel de Qualité d'Image (NIQE) (un algorithme courant d'évaluation de la qualité d'image sans référence), peuvent chacune être utilisées comme excellents régularisateurs pour les fonctions objectif des GANs. Plus précisément, nous démontrons des performances d'état de l'art en utilisant le cadre du Wasserstein GAN avec pénalité du gradient (WGAN-GP) sur les ensembles de données CIFAR-10, STL10 et CelebA.