DiffiT : Transformateurs de vision par diffusion pour la génération d’images

Les modèles de diffusion, grâce à leur expressivité puissante et à la qualité élevée des échantillons qu’ils génèrent, ont atteint des performances de pointe (SOTA) dans le domaine de la génération. Le Vision Transformer (ViT), pionnier dans ce domaine, a également démontré des capacités de modélisation solides et une bonne scalabilité, en particulier pour les tâches de reconnaissance. Dans cet article, nous étudions l’efficacité des ViT dans l’apprentissage génératif basé sur la diffusion et proposons un nouveau modèle nommé Diffusion Vision Transformers (DiffiT). Plus précisément, nous introduisons une méthodologie permettant un contrôle fin du processus de débruitage, ainsi qu’un mécanisme d’attention multi-têtes dépendant du temps (Time-dependant Multihead Self Attention, TMSA). DiffiT s’avère étonnamment efficace pour générer des images de haute fidélité, tout en offrant une efficacité paramétrique significativement améliorée. Nous proposons également des modèles DiffiT dans l’espace latent et l’espace image, et démontrons des performances SOTA sur diverses tâches de synthèse conditionnelles et non conditionnelles à différentes résolutions. Le modèle Latent DiffiT atteint un nouveau score FID de 1,73 sur le jeu de données ImageNet256, tout en nécessitant respectivement 19,85 % et 16,88 % moins de paramètres que d’autres modèles basés sur les Transformers comme MDT et DiT. Code : https://github.com/NVlabs/DiffiT