자신의 나쁜 버전으로 확산 모델을 안내하기

이미지 생성용 확산 모델에서 주목할 만한 주요 축은 이미지 품질, 결과의 변동성 정도, 그리고 주어진 조건(예: 클래스 레이블 또는 텍스트 프롬프트)과의 일치 정도이다. 일반적으로 사용되는 분류기 없는 안내(Guidance) 기법은 조건부 모델을 안내하기 위해 무조건적 모델을 활용하며, 이로 인해 프롬프트와의 일치도 향상과 더불어 이미지 품질도 개선되지만, 변동성은 감소하게 된다. 이러한 효과들은 본질적으로 얽혀 있어 제어하기 어렵다. 우리는 놀라운 관찰을 하였다. 조건부 모델을 안내하기 위해 무조건적 모델이 아닌, 모델 자체의 더 작고 덜 훈련된 버전을 사용함으로써 이미지 품질에 대해 분리된 제어가 가능하며, 변동성의 양을 희생하지 않고도 실현할 수 있다는 점이다. 이 방법은 공개된 네트워크를 사용하여 ImageNet 생성에서 큰 성과를 거두었으며, 64×64 해상도에서는 FID 기록 1.01, 512×512 해상도에서는 FID 기록 1.25를 달성하였다. 또한 이 방법은 무조건적 확산 모델에도 적용 가능하며, 그 품질을 극적으로 향상시킨다.