Jiachen Lei Keli Liu Julius Berner Haiming Yu Hongkai Zheng Jiahong Wu Xiangxiang Chu

초록

픽셀 공간에서의 생성 모델은 일반적으로 잠재 공간 모델에 비해 학습이 더 어려우며 성능도 낮은 편이다. 이로 인해 지속적으로 성능과 효율성 간의 격차가 존재해 왔다. 본 논문에서는 픽셀 공간에서의 확산 모델 및 일관성 모델에 대해 이러한 격차를 해소하는 새로운 이단계 학습 프레임워크를 제안한다. 첫 번째 단계에서는, 사전 훈련된 인코더를 통해 깨끗한 이미지로부터 의미 있는 의미 정보를 추출하고, 사전 분포에서 데이터 분포로 이동하는 동일한 결정론적 샘플링 경로 상의 점들과 이를 일치시키는 방식으로 학습한다. 두 번째 단계에서는 무작위 초기화된 디코더와 인코더를 통합하고, 확산 모델과 일관성 모델 모두에 대해 완전한 모델을 엔드투엔드로 미세 조정한다. 제안한 학습 프레임워크는 ImageNet 데이터셋에서 강력한 실증적 성능을 보였다. 구체적으로, 우리의 확산 모델은 ImageNet-256에서 75개의 함수 평가 횟수(NFE)로 FID 2.04를 달성하였으며, ImageNet-512에서는 FID 2.35를 기록하였다. 이는 생성 품질과 효율성 면에서 기존 픽셀 공간 기반 방법들을 크게 능가하면서도, 유사한 훈련 비용으로 최상위의 VAE 기반 모델들과 경쟁 가능한 성능을 보였다. 또한 ImageNet-256에서 일관성 모델은 단일 샘플링 단계에서 놀라운 FID 8.82를 달성하여, 잠재 공간 기반 모델을 크게 능가하였다. 본 연구를 가장 잘 알고 있는 바에 따르면, 이는 사전 훈련된 VAE나 확산 모델에 의존하지 않고 고해상도 이미지 위에서 직접 일관성 모델을 성공적으로 훈련한 최초의 사례이다.