입력 퍼터베이션은 확산 모델에서 노출 편향을 감소시킨다

노이즈 제거 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 긴 샘플링 체인으로 인해 높은 계산 비용이 발생하지만, 놀라운 생성 품질을 보여주고 있다. 본 논문에서는 긴 샘플링 체인은 자동회귀적 텍스트 생성에서의 노출 편향(Exposure Bias)과 유사한 오차 누적 현상을 초래함을 관찰한다. 구체적으로, 학습 과정은 진정한 샘플(ground truth samples)에 조건부로 이루어지는 반면, 추론 과정은 이전에 생성된 결과에 조건부로 이루어진다는 점에서 학습과 테스트 간의 불일치가 존재함을 인지한다. 이러한 문제를 완화하기 위해, 진정한 샘플에 노이즈를 가해 추론 시 예측 오차를 시뮬레이션하는 매우 간단하면서도 효과적인 학습 정규화 기법을 제안한다. 실증적으로, 제안된 입력 노이즈화 기법은 리콜과 프리시전에 영향을 주지 않으면서도 샘플 품질을 크게 향상시키고, 학습 및 추론 시간을 모두 단축함을 입증하였다. 예를 들어, CelebA 64×64 데이터셋에서 기존 최고 성능을 상회하는 FID 점수 1.27을 달성하였으며, 학습 시간은 37.5% 절감하였다. 코드는 공개되어 있으며, https://github.com/forever208/DDPM-IP 에서 확인할 수 있다.