두 시간 척도 업데이트 규칙으로 훈련된 GANs는 국부적 나시 균형으로 수렴한다.

생성적 적대 네트워크(GANs)는 최대 우도가 불가능한 복잡한 모델을 사용하여 실제적인 이미지를 생성하는 데 뛰어납니다. 그러나 GAN 학습의 수렴성은 아직 증명되지 않았습니다. 본 연구에서는 임의의 GAN 손실 함수에 대해 확률적 경사 하강법으로 GAN을 학습하기 위한 두 가지 시간 척도 갱신 규칙(TTUR)을 제안합니다. TTUR은 판별기와 생성기에 각각 개별 학습률을 적용합니다. 확률적 근사 이론을 사용하여, TTUR이 약한 가정 하에서 안정적인 국소 내시 균형점으로 수렴함을 증명하였습니다. 이러한 수렴성은 인기 있는 Adam 최적화 알고리즘에도 적용되며, Adam이 마찰력이 있는 무거운 공의 역학과 유사하게 동작하여 목적 함수 지형에서 평평한 최소점을 선호함을 증명하였습니다.이미지 생성 성능 평가를 위해, 우리는 생성된 이미지와 실제 이미지 간의 유사성을 Inception 점수보다 더 잘 캡처하는 "프레셰 인셉션 거리"(FID)를 도입하였습니다. 실험 결과, TTUR은 CelebA, CIFAR-10, SVHN, LSUN Bedrooms 및 One Billion Word Benchmark 데이터셋에서 기존 GAN 학습 방법보다 DCGANs와 개선된 와세르슈타인 GAN(WGAN-GP)의 학습 성능을 향상시키는 것으로 나타났습니다.