초록
GAN 학습의 불안정성은 놀라운 연구 노력에도 불구하고 오랫동안 해결되지 않은 문제였다. 본 연구에서는, 고정된 타겟 분포와 점진적으로 생성되는 분포 사이의 취약한 균형으로 인해 미니배치 통계를 활용한 특징 매칭 수행이 어려워지면서 불안정성이 발생함을 규명하였다. 본 연구에서는 판별자에 특징 양자화(Feature Quantization, FQ)를 제안하여 진짜 데이터와 가짜 데이터 샘플을 공유되는 이산 공간에 매핑한다. FQ의 양자화 값은 최근 분포의 통계와 일관성을 유지하는 진화하는 사전(dictionary) 형태로 구성된다. 따라서 FQ는 컴팩트한 공간에서 강인한 특징 매칭을 암묵적으로 가능하게 한다. 제안한 방법은 기존 GAN 모델에 쉽게 통합할 수 있으며, 학습 시 계산 부담이 거의 없다. 우리는 FQ를 이미지 생성을 위한 BigGAN, 얼굴 합성에 사용되는 StyleGAN, 비지도 이미지-이미지 번역에 적용된 U-GAT-IT 등 3가지 대표적인 GAN 모델에 9개의 벤치마크에서 적용하였다. 광범위한 실험 결과는 제안한 FQ-GAN이 다양한 작업에서 기준 방법 대비 FID 점수를 크게 향상시킴으로써 새로운 최고 성능을 달성함을 보여준다.