HyperAIHyperAI
il y a 17 jours

Échantillonnage de polarité : contrôle de la qualité et de la diversité des réseaux génératifs pré-entraînés via les valeurs singulières

Ahmed Imtiaz Humayun, Randall Balestriero, Richard Baraniuk
Échantillonnage de polarité : contrôle de la qualité et de la diversité des réseaux génératifs pré-entraînés via les valeurs singulières
Résumé

Nous présentons Polarity Sampling, une méthode théoriquement justifiée et facile à intégrer (plug-and-play) pour contrôler la qualité et la diversité de la génération dans les réseaux génératifs profonds pré-entraînés (DGNs). En exploitant le fait que les DGNs sont, ou peuvent être approximés par, des splines affines par morceaux continues, nous dérivons analytiquement la distribution de l’espace de sortie du DGN comme une fonction du produit des valeurs singulières de la jacobienne du DGN élevé à une puissance $ρ$. Nous désignons $ρ$ comme le paramètre de polarité et démontrons qu’il concentre l’échantillonnage du DGN sur les modes ($ρ < 0$) ou les anti-modes ($ρ > 0$) de la distribution de sortie du DGN. Nous montrons que des valeurs non nulles du paramètre de polarité permettent d’atteindre un meilleur frontière de Pareto qualité-diversité (précision-rappel) par rapport aux méthodes standards, telles que la troncature, sur plusieurs DGNs d’avant-garde. Nous fournissons également des résultats quantitatifs et qualitatifs sur l’amélioration globale de la qualité de génération (par exemple en termes de distance de Fréchet Inception) pour plusieurs DGNs d’état de l’art, notamment StyleGAN3, BigGAN-deep et NVAE, dans diverses tâches de génération d’images conditionnelles et non conditionnelles. En particulier, Polarity Sampling redéfinit l’état de l’art pour StyleGAN2 sur le jeu de données FFHQ (FID 2,57), pour StyleGAN2 sur le jeu de données LSUN Car (FID 2,27) et pour StyleGAN3 sur le jeu de données AFHQv2 (FID 3,95). Démonstration : bit.ly/polarity-samp

Échantillonnage de polarité : contrôle de la qualité et de la diversité des réseaux génératifs pré-entraînés via les valeurs singulières | Articles de recherche récents | HyperAI