GAN은 죽었다; 길게 살아라, GAN! 현대적 GAN 기준선

GAN이 학습하기 어렵다는 주장은 널리 퍼져 있으며, 문헌에 등장하는 GAN 아키텍처들은 경험적 기술들로 가득 차 있다. 우리는 이러한 주장에 반대되는 증거를 제시하고, 더 체계적인 방식으로 현대적인 GAN 기준 모델을 구축한다. 먼저, 기존의 경험적 기술들로 해결하려고 시도했던 모드 소실(mode dropping) 및 수렴 불안정성(non-convergence) 문제를 해결할 수 있는, 잘 정의된 정규화된 상대적 GAN 손실을 도출한다. 이 손실을 수학적으로 분석하고, 기존의 대부분의 상대적 손실과 달리 국소적 수렴 보장을 갖는다는 점을 입증한다. 둘째, 본 연구에서 제안하는 새로운 손실은 모든 경험적 기술을 제거할 수 있게 하며, 기존 GAN에서 사용되는 구식 백본(Backbone)을 현대적인 아키텍처로 대체할 수 있게 한다. 예를 들어 StyleGAN2를 활용하여, 단순화와 현대화를 위한 구체적인 로드맵을 제시하고, 이를 통해 새로운 최소주의 기준 모델인 R3GAN을 도입한다. 비록 간단한 구조임에도 불구하고, 본 방법은 FFHQ, ImageNet, CIFAR, Stacked MNIST 데이터셋에서 StyleGAN2를 초월하며, 최첨단 GAN 모델 및 확산 모델(diffusion models)과 비교해도 경쟁력 있는 성능을 보인다.