초록
우리는 데이터 분포의 그래디언트를 스코어 매칭(score matching)을 사용하여 추정하는 새로운 생성 모델을 소개합니다. 저차원 다양체(low-dimensional manifolds) 상에 데이터가 존재할 때 그래디언트는 정의되지 않거나 추정하기 어려울 수 있으므로, 우리는 다양한 수준의 가우시안 노이즈(Gaussian noise)로 데이터를 섞습니다. 샘플링을 위해, 우리는 점진적으로 줄어드는 노이즈 수준에 해당하는 그래디언트를 사용하는 경화 Langevin 동역학(annealed Langevin dynamics)을 제안합니다. 이 프레임워크는 유연한 모델 아키텍처를 허용하며, 학습 중 샘플링이나 적대적 방법(adversarial methods)의 사용이 필요하지 않고, 원칙적인 모델 비교에 사용할 수 있는 학습 목표를 제공합니다. 우리의 모델은 MNIST, CelebA 및 CIFAR-10 데이터셋에서 GAN과 비교 가능한 샘플을 생성하며, CIFAR-10에서 8.87의 새로운 최고 성능 인셉션 점수(inception score)를 달성했습니다. 또한, 이미지 보간(image inpainting) 실험을 통해 우리의 모델이 효과적인 표현을 학습한다는 것을 입증하였습니다.