
노이즈 제거 확산 모델(Denoising Diffusion Models, DDMs)은 강력한 생성 모델의 한 클래스로 부상하고 있다. 전방 확산 과정은 데이터를 서서히 노이즈를 더하며, 깊은 신경망은 이를 점차적으로 노이즈 제거하는 방식으로 학습한다. 생성 과정은 학습된 모델에 의해 정의된 미분방정식(Differential Equation, DE)을 푸는 것으로 볼 수 있다. 이 미분방정식을 해결하기 위해서는 고품질의 생성을 위해 느린 반복적 해법이 필요하다. 본 연구에서는 고차수 노이즈 제거 확산 해법(Higher-Order Denoising Diffusion Solvers, GENIE)을 제안한다. 이는 절단된 타일러 급수(Truncated Taylor methods) 기반으로 설계된 새로운 고차수 해법으로, 생성 속도를 크게 향상시킨다. 본 해법은 편향된 데이터 분포의 고차수 미분값, 즉 고차수 스코어 함수(higher-order score functions)에 의존한다. 실제 구현에서는 고차수 미분을 계산하기 위해 자동 미분을 통해 일차 스코어 네트워크로부터 자동 미분-벡터 곱(Jacobian-vector products, JVPs)을 추출하는 방식을 사용한다. 이후 우리는 이러한 JVPs를 별도의 신경망으로 정제하여, 생성 과정에서 새로운 샘플러에 필요한 고차수 항을 효율적으로 계산할 수 있도록 한다. 이 과정에서는 일차 스코어 네트워크 위에 추가적으로 작은 헤드만을 학습하면 된다. 다양한 이미지 생성 벤치마크에서 GENIE를 검증한 결과, 기존의 모든 해법보다 우수한 성능을 보였다. 최근의 다른 방법들이 DDM의 생성 과정 자체를 근본적으로 변화시키는 반면, GENIE는 진정한 생성 미분방정식을 해석하며, 인코딩 및 가이드 샘플링과 같은 다양한 응용도 가능하게 한다. 프로젝트 페이지 및 코드: https://nv-tlabs.github.io/GENIE.