Wasserstein GANs의 향상된 학습 방법

생성적 적대 네트워크(GANs, Generative Adversarial Networks)는 강력한 생성 모델이지만, 훈련 불안정성을 겪고 있습니다. 최근 제안된 와세르슈타인 GAN(WGAN, Wasserstein GAN)은 GAN의 안정적인 훈련을 향해 진전을 이루었지만, 때때로 여전히 저품질 샘플만 생성하거나 수렴하지 못하는 문제가 발생합니다. 우리는 이러한 문제들이 WGAN에서 크리틱(critic)에 대한 리프시츠(Lipschitz) 제약 조건을 강제하기 위해 사용되는 가중치 클리핑(weight clipping) 때문인 경우가 많음을 발견했습니다. 이는 부적절한 동작을 초래할 수 있습니다. 우리는 가중치 클리핑의 대안으로, 크리틱의 입력에 대한 그래디언트(gradient)의 노름(norm)을 벌점(penalty)으로 부과하는 방법을 제안합니다. 제안된 방법은 표준 WGAN보다 우수한 성능을 보이며, 101층짜리 ResNet 및 이산 데이터를 다루는 언어 모델 등 다양한 GAN 아키텍처를 거의 하이퍼파라미터 튜닝(hyperparameter tuning) 없이 안정적으로 훈련시키는 데 성공하였습니다. 또한 CIFAR-10 및 LSUN 침실 이미지에서 고품질 생성물을 얻었습니다.