17일 전

변분 확산 모델

Diederik P. Kingma, Tim Salimans, Ben Poole, Jonathan Ho
변분 확산 모델
초록

확산 기반 생성 모델은 시각적으로 인상적인 합성 능력을 보여왔지만, 동시에 우수한 가능도 기반 모델이 될 수 있을까? 우리는 이에 대한 긍정적인 답변을 제시하며, 표준 이미지 밀도 추정 벤치마크에서 최첨단 가능도 성능을 달성하는 확산 기반 생성 모델의 새로운 가족을 소개한다. 기존의 다른 확산 기반 모델들과 달리, 본 연구에서는 모델의 나머지 부분과 함께 노이즈 스케줄을 효율적으로 최적화할 수 있는 방법을 제안한다. 우리는 변분 하한(VLB)이 확산된 데이터의 신호 대 잡음비(SNR)에 관해 놀랍게 간단한 표현으로 단순화됨을 보여주며, 이 모델 계열에 대한 이론적 이해를 크게 향상시킨다. 이러한 통찰을 바탕으로, 문헌에서 제안된 여러 모델들 사이의 동등성(equivalence)을 증명한다. 또한 연속 시간 VLB가 노이즈 스케줄에 대해 불변임을 보이며, 단지 그 끝점에서의 신호 대 잡음비를 제외하고는 스케줄에 무관하다는 점을 밝힌다. 이를 통해 결과 VLB 추정기의 분산을 최소화하는 노이즈 스케줄을 학습할 수 있으며, 이는 최적화 속도를 크게 향상시킨다. 이러한 기술적 진보를 아키텍처 개선과 결합함으로써, 수년간 자레그레시브 모델이 지배해온 이미지 밀도 추정 벤치마크에서 최첨단 가능도 성능을 달성하였으며, 종종 훨씬 빠른 최적화 속도를 제공한다. 더불어, 본 모델을 bits-back 압축 체계의 일부로 활용하는 방법을 제시하고, 이론적 최적에 근접한 무손실 압축 성능을 실험적으로 입증하였다. 코드는 https://github.com/google-research/vdm 에서 공개되어 있다.

변분 확산 모델 | 최신 연구 논문 | HyperAI초신경