MaGNET : Échantillonnage uniforme à partir des variétés de réseaux génératifs profonds sans réentraînement

Les réseaux génératifs profonds (DGNs) sont largement utilisés dans les réseaux antagonistes génératifs (GANs), les autoencodeurs variationnels (VAEs) et leurs variantes afin d’approcher la variété et la distribution des données. Toutefois, les échantillons d’entraînement sont souvent répartis de manière non uniforme sur cette variété, en raison de coûts ou de facilités liés à leur collecte. Par exemple, le jeu de données CelebA contient une proportion importante de visages souriants. Ces incohérences sont reproduites lors de l’échantillonnage à partir du DGN entraîné, ce qui n’est pas toujours souhaitable, notamment pour des raisons d’équité ou d’augmentation de données. À cette fin, nous proposons MaGNET, un nouvel échantillonneur d’espace latent, fondé sur une motivation théorique, applicable à tout DGN pré-entraîné, capable de produire des échantillons uniformément distribués sur la variété apprise. Nous menons une série d’expériences sur divers jeux de données et DGNs, par exemple sur StyleGAN2 d’état de l’art entraîné sur le jeu de données FFHQ : l’échantillonnage uniforme via MaGNET améliore la précision et le rappel de la distribution respectivement de 4,1 % et 3,0 %, tout en réduisant la biais de genre de 41,2 %, sans nécessiter d’étiquettes ni de re-entraînement. Étant donné qu’une distribution uniforme ne suppose pas une distribution sémantique uniforme, nous explorons également de manière indépendante la manière dont les attributs sémantiques des échantillons générés varient sous l’échantillonnage MaGNET.