디노이징 밀도 추정기를 활용한 생성 모델 학습

주어진 샘플 집합의 밀도를 추정하고, 해당 밀도에서 샘플을 생성할 수 있는 확률 모델을 학습하는 것은 비지도 기계학습 분야에서 핵심적인 과제 중 하나이다. 본 연구에서는 신경망으로 파라미터화된 스칼라 함수인 노이즈 제거 밀도 추정기(Denoising Density Estimators, DDEs)를 기반으로 하는 새로운 생성 모델을 제안한다. DDE는 데이터의 커널 밀도 추정기를 효과적으로 표현하도록 효율적으로 훈련될 수 있다. DDE를 활용하여, 본 연구의 주요 기여는 KL 발산을 직접 최소화함으로써 생성 모델을 도출하는 새로운 기법을 제안한 것이다. 우리는 이러한 생성 모델을 얻기 위한 알고리즘이 올바른 해로 보장되어 수렴함을 증명하였다. 제안한 접근법은 일반적인 정규화 흐름(normalizing flows)과 같이 특정한 네트워크 아키텍처를 요구하지 않으며, 연속 정규화 흐름(continuous normalizing flows)에서 사용하는 상미분 방정식 해법도 필요로 하지 않는다. 실험 결과를 통해 밀도 추정 성능에서 두드러진 향상과 생성 모델 훈련에서 경쟁적인 성능을 입증하였다.