진화적 캐싱을 이용한 오프더shelf 확산 모델 가속화

확산 기반 이미지 생성 모델은 고품질의 합성 콘텐츠를 생성하는 데 우수하지만, 추론 과정이 느리고 계산 비용이 많이 드는 문제가 있습니다. 이전 연구에서는 이러한 문제를 해결하기 위해 확산 변환기에서 추론 단계 간에 특징을 캐싱하고 재사용하는 방법을 시도했습니다. 그러나 이러한 방법들은 종종 제한적인 가속이나 구조 간의 빈약한 일반화를 초래하는 강직한 휴리스틱에 의존합니다. 우리는 유전 알고리즘을 사용하여 효과적인 모델별 캐싱 일정을 학습하고, 작은 교정 프롬프트 세트만으로 파레토 최적선(Pareto frontier)을 형성하는 Evolutionary Caching to Accelerate Diffusion models (ECAD)를 제안합니다. ECAD는 네트워크 매개변수나 참조 이미지를 수정할 필요가 없습니다. 이는 상당한 추론 속도 향상을 제공하며, 품질과 지연 시간 간의 균형 조절을 미세하게 제어할 수 있으며, 다양한 확산 모델에 원활하게 적응할 수 있습니다. 특히, ECAD가 학습한 일정은 교정 과정에서 보지 못한 해상도와 모델 변형에도 효과적으로 일반화될 수 있습니다. 우리는 COCO, MJHQ-30k, PartiPrompts 등 다양한 벤치마크에서 여러 지표(FID, CLIP, Image Reward)를 사용하여 PixArt-alpha, PixArt-Sigma, FLUX-1.dev에서 ECAD를 평가했습니다. 결과는 이전 접근 방식보다 일관된 개선을 보여주며, PixArt-alpha에서는 이전 최신 기법보다 4.47 COCO FID 점수가 우수하며 추론 속도 향상률이 2.35배에서 2.58배로 증가했습니다. 우리의 결과는 ECAD가 확산 추론 가속화에 있어 확장 가능하고 일반화 가능한 접근 방식임을 입증합니다. 프로젝트 웹사이트는 https://aniaggarwal.github.io/ecad 에서 확인할 수 있으며, 코드는 https://github.com/aniaggarwal/ecad 에서 다운로드할 수 있습니다.