Evolutionsbasierter Caching zur Beschleunigung Ihres standardisierten Diffusionsmodells

Diffusionsbasierte Bildgenerierungsmodelle zeichnen sich durch die Erzeugung hochwertiger synthetischer Inhalte aus, leiden aber unter langsamen und rechenintensiven Inferenzprozessen. Frühere Arbeiten haben versucht, dies durch das Zwischenspeichern und Wiederverwenden von Features innerhalb von Diffusionstransformern über mehrere Inferenzschritte hinweg zu mildern. Diese Methoden basieren jedoch oft auf starreren Heuristiken, die zu begrenzter Beschleunigung oder schlechter Generalisierung über verschiedene Architekturen führen. Wir schlagen Evolutionäres Zwischenspeichern zur Beschleunigung von Diffusionsmodellen (ECAD) vor, einen genetischen Algorithmus, der effiziente, modellspezifische Zwischenspeicherpläne lernt, die eine Pareto-Front bildet, indem er nur eine kleine Menge an Kalibrierungsprompts verwendet. ECAD erfordert keine Änderungen an Netzwerkparametern oder Referenzbildern. Es bietet erhebliche Inferenzbeschleunigungen, ermöglicht eine feingranulare Kontrolle über den Qualitäts-Verzögerungs-Kompromiss und passt sich nahtlos an verschiedene Diffusionsmodelle an. Bemerkenswerterweise können die von ECAD gelernten Pläne auch für Auflösungen und Modellvarianten effektiv generalisieren, die während der Kalibrierung nicht berücksichtigt wurden. Wir evaluieren ECAD anhand von PixArt-alpha, PixArt-Sigma und FLUX-1.dev unter Verwendung verschiedener Metriken (FID, CLIP, Bildbelohnung) bei diversen Benchmarks (COCO, MJHQ-30k, PartiPrompts), wobei wir konsistente Verbesserungen gegenüber früheren Ansätzen nachweisen. Bei PixArt-alpha identifiziert ECAD einen Plan, der die bisherige Standarte in Bezug auf das COCO FID um 4,47 übertreffen kann und gleichzeitig die Inferenzgeschwindigkeit von 2,35-fach auf 2,58-fach beschleunigt. Unsere Ergebnisse etablieren ECAD als skalierbare und generalisierbare Methode zur Beschleunigung der Diffusionsinferenz. Unsere Projektwebsite ist unter https://aniaggarwal.github.io/ecad verfügbar und unser Code befindet sich unter https://github.com/aniaggarwal/ecad.