Wasserstein GANs の訓練の改善

生成対抗ネットワーク（GANs）は強力な生成モデルであるが、学習の不安定性に悩まされている。最近提案されたワッサーシタインGAN（WGAN）は、GANの安定した学習に向けて進歩を遂げているが、依然として低品質なサンプルしか生成できない場合や収束しない場合がある。これらの問題は、WGANにおいてクリティックに対してリプシッツ制約を課すために重みのクリッピングを使用することによく見られる。これは望ましくない挙動を引き起こす可能性がある。私たちは重みのクリッピングに代わる方法として、クリティックの入力に対する勾配のノルムを罰則化する手法を提案する。提案した方法は標準的なWGANよりも優れた性能を示し、101層のResNetや離散データ上の言語モデルなど、多様なGANアーキテクチャの安定した学習をほぼハイパーパラメータ調整なしで可能にする。また、CIFAR-10とLSUNベッドルームにおいても高品質な生成結果を得ている。