NextStep-1 : Vers une génération d’images autoregressive avec des tokens continus à grande échelle

Les modèles autoregressifs (AR) dominants pour la génération d’images à partir de texte reposent soit sur des modèles de diffusion coûteux en ressources et intensifs en calcul pour traiter des jetons d’image continus, soit sur une quantification vectorielle (VQ) afin d’obtenir des jetons discrets, au prix d’une perte de quantification. Dans cet article, nous faisons progresser le paradigme autoregressif avec NextStep-1, un modèle autoregressif de 14 milliards de paramètres associé à un module de correspondance de flux de 157 millions de paramètres, entraîné sur des jetons textuels discrets et des jetons d’image continus avec une tâche de prédiction du jeton suivant. NextStep-1 atteint des performances de pointe parmi les modèles autoregressifs pour les tâches de génération d’images à partir de texte, démontrant une forte capacité à la synthèse d’images haute fidélité. En outre, notre méthode se distingue par de bonnes performances en édition d’images, mettant en évidence la puissance et la polyvalence de notre approche unifiée. Afin de favoriser la recherche ouverte, nous mettrons à disposition notre code et nos modèles à la communauté.