초록
점수 기반 확산 모델은 데이터를 노이즈로 확산시키는 확률적 과정을 역방향으로 수행함으로써 샘플을 생성하며, 점수 매칭 손실의 가중 조합을 최소화하는 방식으로 훈련된다. 점수 기반 확산 모델의 로그 가능도(log-likelihood)는 연속적인 정규화 흐름(continuous normalizing flows)과의 연결을 통해 효율적으로 계산할 수 있지만, 이는 가중 조합된 점수 매칭 손실에 의해 직접 최적화되지 않는다. 본 연구에서는 특정 가중치 설계를 사용할 경우, 목적 함수가 음의 로그 가능도를 상한으로 제한함을 보이며, 이는 점수 기반 확산 모델에 대해 근사적인 최대우도 학습(approximate maximum likelihood training)을 가능하게 한다. 실증적으로 우리는 최대우도 학습이 다양한 데이터셋, 확률적 과정 및 모델 아키텍처에서 일관되게 점수 기반 확산 모델의 가능도를 향상시킴을 관측하였다. 우리의 최적 모델은 데이터 증강 없이 CIFAR-10과 ImageNet 32x32에서 각각 2.83 비트/차원 및 3.76 비트/차원의 음의 로그 가능도를 달성하였으며, 이러한 성능은 해당 작업에서 최신의 순차적 모델(autoregressive models)과 견줄 만한 수준이다.