최근 점수 기반 생성 모델(Score-based Generative Models, SGMs)은 샘플 품질과 분포 커버리지 측면에서 놀라운 성과를 보여주고 있다. 그러나 기존의 SGMs는 일반적으로 데이터 공간에서 직접 적용되며, 샘플링을 위해 수천 번에 이르는 네트워크 평가를 요구하는 경향이 있다. 본 연구에서는 변분 오토인코더(Variational Autoencoder, VAE) 프레임워크를 기반으로 하여 SGMs를 잠재 공간(latent space)에서 훈련하는 새로운 접근 방식인 잠재 점수 기반 생성 모델(Latent Score-based Generative Model, LSGM)을 제안한다. 데이터 공간에서 잠재 공간으로의 전환은 더 표현력이 풍부한 생성 모델 훈련이 가능하게 하며, 비연속적 데이터에 SGM을 적용할 수 있도록 하고, 더 작은 공간에서 부드러운 SGM을 학습함으로써 네트워크 평가 횟수를 줄이고 샘플링 속도를 향상시킨다. LSGM을 확장 가능하고 안정적인 엔드 투 엔드 방식으로 훈련하기 위해, 본 연구는 (i) LSGM 환경에 적합한 새로운 점수 매칭 목표함수를 제안하고, (ii) 표적 분포가 단순한 정규분포와 얼마나 일치하지 않는지를 집중적으로 학습할 수 있도록 하는 점수 함수의 새로운 파라미터화 방법을 제안하며, (iii) 훈련 목표함수의 분산을 감소시키기 위한 다수의 해석적 기법을 도출한다. CIFAR-10 데이터셋에서 LSGM은 기존 모든 생성 모델을 능가하는 최고 수준의 FID 점수 2.10을 달성하였으며, CelebA-HQ-256에서는 샘플 품질 면에서 이전의 SGM들과 동등한 성능을 보였지만 샘플링 시간 측면에서 두 자릿수 이상의 성능 향상을 기록하였다. 이진 이미지 모델링에서는 이진화된 OMNIGLOT 데이터셋에서 최고 수준의 로그 가능도(log-likelihood)를 달성하였다. 본 연구의 프로젝트 페이지 및 코드는 https://nvlabs.github.io/LSGM 에서 확인할 수 있다.