2つの時間スケール更新則で訓練されたGANは、局所ナッシュ均衡に収束する。

生成対抗ネットワーク（GANs）は、最大尤度が不可能な複雑なモデルを使用して現実的な画像を作成する点で優れています。しかし、GANの学習の収束性はまだ証明されていません。本研究では、任意のGAN損失関数に対して確率的勾配降下法を用いてGANを学習するための二つの時間スケール更新則（Two Time-Scale Update Rule, TTUR）を提案します。TTURは識別器と生成器それぞれに個別の学習率を持ちます。確率的近似理論を用いて、TTURが軽微な仮定のもとで静的な局所ナッシュ均衡に収束することを証明しました。この収束性は、人気のあるAdam最適化にも適用され、その動態が摩擦を持つ重い球の動態に従うことを証明し、目的関数の景観において平坦な最小値を好むことが示されました。画像生成におけるGANの性能評価のために、「フレシェ・インセプション距離」（Fréchet Inception Distance, FID）を導入しました。FIDは生成された画像と実際の画像との類似性をインセプションスコアよりもよく捉えます。実験では、TTURがDCGANsおよび改良されたワッサーシタインGANs（Wasserstein GAN with Gradient Penalty, WGAN-GP）の学習を改善し、CelebA、CIFAR-10、SVHN、LSUN Bedrooms、および10億単語ベンチマークにおいて従来のGAN学習を超える性能を示しました。