Mise en cache évolutionnelle pour accélérer votre modèle de diffusion prêt à l'emploi

Les modèles de génération d'images basés sur la diffusion excellent dans la production de contenu synthétique de haute qualité, mais souffrent d'une inférence lente et coûteuse en termes de calcul. Les travaux antérieurs ont tenté d'atténuer ce problème en mettant en cache et réutilisant des caractéristiques au sein des transformateurs de diffusion à travers les étapes d'inférence. Ces méthodes s'appuient cependant souvent sur des heuristiques rigides qui entraînent une accélération limitée ou une mauvaise généralisation entre les architectures. Nous proposons l'Evolutionary Caching to Accelerate Diffusion models (ECAD), un algorithme génétique qui apprend des horaires de mise en cache efficaces, spécifiques à chaque modèle, formant une frontière de Pareto, en utilisant uniquement un petit ensemble de prompts de calibration. ECAD ne nécessite aucune modification des paramètres du réseau ni des images de référence. Il offre des accélérations significatives de l'inférence, permet un contrôle fin du compromis qualité-latence et s'adapte sans effort à différents modèles de diffusion. Notamment, les horaires appris par ECAD peuvent se généraliser efficacement à des résolutions et des variantes de modèles non vus lors de la calibration. Nous évaluons ECAD sur PixArt-alpha, PixArt-Sigma et FLUX-1.dev en utilisant plusieurs métriques (FID, CLIP, Image Reward) sur diverses benchmarks (COCO, MJHQ-30k, PartiPrompts), démontrant des améliorations constantes par rapport aux approches précédentes. Sur PixArt-alpha, ECAD identifie un horaire qui surpasse la méthode précédente state-of-the-art avec une amélioration de 4,47 points COCO FID tout en augmentant le gain de vitesse d'inférence de 2,35x à 2,58x. Nos résultats établissent ECAD comme une approche évolutrice et généralisable pour accélérer l'inférence par diffusion. Notre site web du projet est disponible à l'adresse https://aniaggarwal.github.io/ecad et notre code source est disponible à l'adresse https://github.com/aniaggarwal/ecad.