Sous-échantillonnage efficace d'images réalistes issues de GANs conditionnelles à une classe ou à une variable continue

Récemment, l’échantillonnage par sous-échantillonnage ou le raffinement des images générées par des GANs non conditionnels a fait l’objet d’une étude active afin d’améliorer la qualité globale des images. Malheureusement, ces méthodes s’avèrent souvent moins efficaces ou inefficaces lorsqu’elles sont appliquées aux GANs conditionnels (cGANs) — qu’il s’agisse d’une condition de classe (appelés cGANs conditionnels par classe) ou d’une variable continue (appelés cGANs continus ou CcGANs). Dans ce travail, nous introduisons un schéma d’échantillonnage efficace et performant, nommé échantillonnage par rejet guidé par le ratio de densité conditionnel (cDR-RS), pour générer des images de haute qualité à partir de cGANs. Plus précisément, nous développons tout d’abord une nouvelle méthode d’estimation du ratio de densité conditionnel, appelée cDRE-F-cSP, en proposant une fonction de perte conditionnelle Softplus (cSP) ainsi qu’un mécanisme amélioré d’extraction de caractéristiques. Nous établissons ensuite une borne d’erreur pour un modèle de ratio de densité entraîné avec la perte cSP. Ensuite, nous acceptons ou rejeteons une image fausse en fonction de son ratio de densité conditionnel estimé. Un schéma de filtrage est également conçu pour renforcer la cohérence des étiquettes des images fausses sans compromettre la diversité lors de l’échantillonnage à partir de CcGANs. Nous évaluons de manière exhaustive l’efficacité et l’efficience de cDR-RS sur cinq jeux de données standard, tant pour les cGANs conditionnels par classe que pour les CcGANs. Lors de l’échantillonnage à partir de cGANs conditionnels par classe, cDR-RS dépasse largement les méthodes les plus récentes de l’état de l’art en termes d’efficacité (à l’exception de DRE-F-SP+RS). Bien que son efficacité soit souvent comparable à celle de DRE-F-SP+RS, cDR-RS se distingue par une efficacité substantiellement supérieure. Lors de l’échantillonnage à partir de CcGANs, l’avantage de cDR-RS est encore plus marqué en termes d’efficacité et d’efficacité. Notamment, en consommant des ressources computationnelles raisonnables, cDR-RS permet de réduire significativement le Label Score sans diminuer la diversité des images générées par les CcGANs, tandis que d’autres méthodes doivent généralement sacrifier une grande partie de la diversité pour obtenir une légère amélioration du Label Score.