Muse : Génération d'images à partir de texte via des transformateurs génératifs masqués

Nous présentons Muse, un modèle Transformer de génération d’images à partir de texte qui atteint des performances de pointe dans la génération d’images tout en étant significativement plus efficace que les modèles de diffusion ou autoregressifs. Muse est entraîné sur une tâche de modélisation masquée dans un espace de tokens discrets : étant donné l’embedding textuel extrait d’un grand modèle linguistique préentraîné (LLM), Muse est formé à prédire des tokens d’image aléatoirement masqués. Contrairement aux modèles de diffusion en espace de pixels, tels qu’Imagen ou DALL-E 2, Muse est nettement plus efficace grâce à l’utilisation de tokens discrets et à un nombre réduit d’itérations d’échantillonnage ; comparé aux modèles autoregressifs, comme Parti, Muse bénéficie d’une efficacité accrue grâce au décodage parallèle. L’utilisation d’un LLM préentraîné permet une compréhension fine du langage, se traduisant par une génération d’images de haute fidélité et une bonne compréhension de concepts visuels tels que les objets, leurs relations spatiales, leurs orientations, leur cardinalité, etc. Notre modèle de 900 millions de paramètres atteint un nouveau record sur CC3M, avec un score FID de 6,06. Le modèle Muse de 3 milliards de paramètres obtient un score FID de 7,88 sur l’évaluation zero-shot COCO, ainsi qu’un score CLIP de 0,32. Muse permet également directement une variété d’applications d’édition d’images sans nécessiter de fine-tuning ni d’inversion du modèle : le remplissage (inpainting), le prolongement (outpainting) et l’édition sans masque. Plus de résultats sont disponibles sur https://muse-model.github.io