에너지 기반 모델의 흐름 대비 추정

이 논문은 에너지 기반 모델과 플로우 기반 모델을 함께 학습하여 동시에 추정하는 방법을 연구한다. 이 두 모델은 공유되는 적대적 가치 함수를 기반으로 반복적으로 업데이트된다. 이러한 공동 학습 방법은 다음의 특성을 갖는다. (1) 에너지 기반 모델의 업데이트는 노이즈 대비 추정(Noise Contrastive Estimation, NCE)을 기반으로 하며, 플로우 모델이 강력한 노이즈 분포로 사용된다. (2) 플로우 모델의 업데이트는 플로우 모델과 데이터 분포 사이의 젠센-쇼넬 분산(Jensen-Shannon divergence)을 근사적으로 최소화하는 방식으로 이루어진다. (3) 생성적 적대 신경망(GAN)이 생성기 모델에 의해 정의되는 은닉 확률 분포를 추정하는 것과 달리, 본 방법은 데이터에 대해 두 개의 명시적 확률 분포를 추정한다. 제안된 방법을 사용하여 플로우 모델의 합성 품질이 크게 향상됨을 입증하였으며, 학습된 에너지 기반 모델을 통한 비지도 특징 학습의 효과성도 보여주었다. 또한, 제안된 학습 방법은 반지도 학습에 쉽게 적용 가능하며, 최신의 반지도 학습 방법들과 경쟁 가능한 성능을 달성하였다.