Styleformer : Réseaux antagonistes génératifs basés sur Transformer avec vecteur de style

Nous proposons Styleformer, un générateur basé sur le style pour une architecture GAN, mais fondé sur un transformateur sans convolution. Dans notre article, nous expliquons comment un transformateur peut générer des images de haute qualité, en surmontant l'inconvénient des opérations de convolution, qui peinent à capturer les caractéristiques globales d'une image. En outre, nous modifions la démodulation de StyleGAN2 et adaptons la structure existante du transformateur (par exemple, les connexions résiduelles, la normalisation par couche) afin de concevoir un générateur puissant basé sur le style, tout en conservant une structure sans convolution. Nous rendons également Styleformer plus léger en appliquant Linformer, ce qui permet à Styleformer de générer des images à plus haute résolution, tout en améliorant significativement les performances en vitesse et en consommation mémoire. Nous avons mené des expérimentations sur des jeux de données à faible résolution, tels que CIFAR-10, ainsi que sur des jeux de données à haute résolution, comme LSUN-church. Styleformer atteint un score FID de 2,82 et un score IS de 9,94 sur CIFAR-10, un jeu de données de référence, offrant des performances comparables à l'état de l'art actuel, tout en surpassant tous les modèles génératifs basés sur les GAN, y compris StyleGAN2-ADA, avec moins de paramètres dans un cadre non conditionnel. Nous atteignons également de nouveaux états de l'art sur STL-10 et CelebA, avec respectivement un FID de 15,17 et un IS de 11,01, ainsi qu’un FID de 3,66. Nous mettons notre code à disposition à l’adresse suivante : https://github.com/Jeeseung-Park/Styleformer.