지정된 생성적 적대 신경망

생성적 적대 신경망(GANs)은 비지도 학습 분야에서 강력한 접근 방식으로, 이미지 영역에서 최첨단 성능을 달성하고 있다. 그러나 GANs는 두 가지 측면에서 한계를 지닌다. 첫째, 종종 낮은 지지 집합(low support)을 갖는 분포를 학습하게 되는 현상인 모드 붕괴(mode collapse)가 발생하며, 둘째, 확률 밀도의 존재를 보장하지 못해 예측 로그우도(predictive log-likelihood)를 이용한 일반화 평가가 불가능하다. 본 논문에서는 이러한 한계를 해결하기 위해 고정된 GAN(PresGAN)을 제안한다. PresGAN은 밀도 네트워크의 출력에 노이즈를 추가하고, 엔트로피 정규화된 적대적 손실을 최적화한다. 추가된 노이즈는 예측 로그우도에 대한 계산 가능하고 안정적인 근사값을 가능하게 하며, 학습 과정의 안정성을 높인다. 엔트로피 정규화 항은 PresGAN이 데이터 분포의 모든 모드를 포착하도록 유도한다. PresGAN의 학습 과정에서는 엔트로피 정규화 항의 비계산 가능한 기울기(역전파 불가능한 기울기)를 계산해야 하지만, PresGAN은 편향 없는 확률적 추정(stochastic estimates)을 활용하여 이 문제를 회피한다. 여러 데이터셋에서 PresGAN을 평가한 결과, 모드 붕괴를 완화하고 높은 인지적 품질을 갖는 샘플을 생성함을 확인하였다. 또한 PresGAN은 전통적인 GAN과 변분 오토인코더(VAEs) 간의 예측 로그우도 측면에서 성능 격차를 줄이는 효과도 확인하였다.