2ヶ月前

相対論的識別器:標準GANに欠けている重要な要素

Alexia Jolicoeur-Martineau
相対論的識別器:標準GANに欠けている重要な要素
要約

標準的な生成対抗ネットワーク(SGAN)において、識別器は入力データが真実である確率を推定します。生成器は偽のデータが真実である確率を高めるように訓練されます。しかし、我々は以下の理由から、生成器が同時に真のデータが真実である確率を低減するべきであると主張します:1) これはミニバッチ内のデータの半分が偽であるという事前知識を考慮するため、2) これは発散最小化において観察されるため、3) 最適な設定下では、SGANは積分確率計量(IPM)GANsに相当すると考えられるためです。この特性は、相対論的識別器を使用することで誘導することができます。相対論的識別器は、与えられた真のデータがランダムにサンプリングされた偽のデータよりも現実的である確率を推定します。また、与えられた真のデータが平均的に偽のデータよりも現実的である確率を推定する変種も提案しています。これらの手法を非標準的なGAN損失関数にも一般化し、それぞれを相対論的GANs(RGANs)および相対論的平均GANs(RaGANs)と呼びます。我々はIPMに基づくGANsが恒等関数を使用するRGANsの部分集合であることを示しています。経験的には、1) RGANsおよびRaGANsは非相対論的な同様のモデルよりも著しく安定しており、より高い品質のデータサンプルを生成することが観察されました、2) 勾配罰則付き標準RaGANはWGAN-GPよりも優れた品質のデータを生成し、1つの生成器更新につき1回の識別器更新のみが必要となるため(最先端レベルに到達するまでの時間を400%削減)、3) RaGANsは非常に少ないサンプル(N=2011)からも信頼性のある高解像度画像(256x256)を生成できることを確認しました。一方で、GANやLSGANではこれが不可能であり、これらの画像はWGAN-GPやスペクトル正規化付きSGANによって生成されるものよりも著しく高い品質となっています。

相対論的識別器:標準GANに欠けている重要な要素 | 最新論文 | HyperAI超神経