초록
확산 모델은 다양한 분야에서 뛰어난 성능을 보여주고 있다. 확산 모델의 확산 확률 흐름 상미분방정식(ODE, ordinary differential equation)은 연속 정규화 흐름(CNF, continuous normalizing flows)의 특수한 경우로, 결정론적 추론과 정확한 가능도 평가를 가능하게 한다. 그러나 확산 ODE를 통한 가능도 추정 성능은 여전히 최첨단 가능도 기반 생성 모델 수준에 미치지 못하고 있다. 본 연구에서는 확산 ODE의 최대 가능도 추정을 위한 여러 개선 기술을 제안하며, 훈련과 평가의 두 측면에서 접근한다. 훈련 측면에서는 속도 매개변수화를 제안하고, 더 빠른 수렴을 위한 분산 감소 기법을 탐색한다. 또한, 보정을 위한 오차 한계가 있는 고차 흐름 매칭 목표함수를 도출하여 ODE의 가능도를 향상시키고 궤적을 부드럽게 한다. 평가 측면에서는 확산 ODE에서 흔히 존재하는 훈련-평가 간 격차를 해소하기 위해 새로운 훈련 불필요한 절단 정규 분포 디퀀타이제이션 기법을 제안한다. 이러한 기법들을 기반으로, 변분 디퀀타이제이션 또는 데이터 증강 없이도 이미지 데이터셋에서 최첨단 가능도 추정 성능을 달성하였으며, CIFAR-10에서는 2.56, ImageNet-32에서는 3.43/3.69의 점수를 기록하였고, 데이터 증강을 적용한 경우 CIFAR-10에서 2.42의 성능을 달성하였다. 코드는 \url{https://github.com/thu-ml/i-DODE}에서 제공된다.