11일 전

분류기 지도형 확산 생성의 설계 공간 탐색

Jiajun Ma, Tianyang Hu, Wenjia Wang, Jiacheng Sun
분류기 지도형 확산 생성의 설계 공간 탐색
초록

조건부 확산 생성에서의 안내(Guidance)는 샘플 품질과 제어 가능성 측면에서 매우 중요한 역할을 한다. 그러나 기존의 안내 기법들은 여전히 개선의 여지가 있다. 한편으로, 분류기 기반 안내(classifier guidance)와 분류기 없는 안내(classifier-free guidance)와 같은 주류 방법들은 레이블이 부여된 데이터를 활용한 추가 학습이 필요하며, 이는 시간이 오래 걸리고 새로운 조건에 대한 적응이 어려운 단점이 있다. 다른 한편으로, 유니버설 안내(universal guidance)와 같은 학습이 없는 방법들은 더 유연하지만, 여전히 기존 기법들과 비교해 유사한 성능을 입증하지 못하고 있다. 본 연구에서는 설계 공간에 대한 체계적인 탐구를 통해, 학습 없이 시장에서 쉽게 구할 수 있는 분류기( off-the-shelf classifiers)를 활용함으로써 기존 안내 기법보다 상당한 성능 향상을 달성할 수 있음을 입증한다. 이는 두 가지 장점을 모두 취할 수 있는 최적의 접근 방식이다. 일반적인 지침으로서 보정(calibration)을 활용하여, 사전 훈련된 외부 분류기를 보다 효과적으로 활용하기 위한 여러 사전 조건화 기법을 제안한다. ImageNet을 대상으로 실시한 광범위한 실험을 통해 제안한 방법의 유효성을 검증하였으며, 최첨단 확산 모델(DDPM, EDM, DiT)이 외부 분류기를 활용함으로써 거의 추가 계산 비용 없이 최대 20%까지 성능을 향상시킬 수 있음을 보였다. 공개된 사전 훈련된 분류기가 점점 더 보편화됨에 따라, 본 연구에서 제안한 접근 방식은 텍스트-이미지 생성 작업으로 쉽게 확장 가능하며 큰 잠재력을 지닌다. 코드는 다음 링크에서 확인할 수 있다: https://github.com/AlexMaOLS/EluCD/tree/main.

분류기 지도형 확산 생성의 설계 공간 탐색 | 최신 연구 논문 | HyperAI초신경