Tao Han Wanghan Xu Junchao Gong Xiaoyu Yue Song Guo Luping Zhou Lei Bai

Résumé

La génération d’images à résolution arbitraire offre une expérience visuelle cohérente à travers les appareils, avec des applications étendues tant pour les producteurs que pour les consommateurs. Les modèles de diffusion actuels entraînent une augmentation quadratique de la charge de calcul avec la résolution, ce qui provoque des délais de génération d’images 4K dépassant 100 secondes. Pour résoudre ce problème, nous explorons une deuxième génération de modèles de diffusion latente, dans laquelle le latent fixe généré par les modèles de diffusion est considéré comme une représentation du contenu, et nous proposons de décoder des images à résolution arbitraire à partir d’un latent généré compact, en utilisant un générateur à une seule étape. Ainsi, nous introduisons InfGen, qui remplace le décodeur VAE par un nouveau générateur, permettant de produire des images à toute résolution à partir d’un latent de taille fixe, sans réentraînement des modèles de diffusion. Cette approche simplifie le processus, réduit la complexité computationnelle et peut être appliquée à tout modèle utilisant le même espace latent. Les expériences montrent qu’InfGen permet de faire passer de nombreux modèles dans l’ère de la haute résolution arbitraire, tout en réduisant le temps de génération d’une image 4K à moins de 10 secondes.