Der relativistische Diskriminator: ein entscheidendes Element, das in Standard-GANs fehlt

In einem standardmäßigen generativen adversären Netzwerk (SGAN) schätzt der Diskriminator die Wahrscheinlichkeit, dass die Eingabedaten real sind. Der Generator wird trainiert, die Wahrscheinlichkeit zu erhöhen, dass gefälschte Daten als real erkannt werden. Wir argumentieren, dass er gleichzeitig auch die Wahrscheinlichkeit verringern sollte, dass reale Daten als real erkannt werden, da 1) dies a priori-Wissen berücksichtigt, dass die Hälfte der Daten im Minibatch gefälscht ist, 2) dies bei der Minimierung von Divergenzen beobachtet wird, und 3) in optimalen Einstellungen ein SGAN äquivalent zu GANs basierend auf integralen Wahrscheinlichkeitsmetriken (IPM) wäre.Wir zeigen, dass diese Eigenschaft durch den Einsatz eines relativistischen Diskriminators induziert werden kann, der die Wahrscheinlichkeit schätzt, dass die gegebenen realen Daten realistischer sind als eine zufällig ausgewählte gefälschte Daten. Wir präsentieren auch eine Variante, in der der Diskriminator die Wahrscheinlichkeit schätzt, dass die gegebenen realen Daten im Durchschnitt realistischer sind als gefälschte Daten. Beide Ansätze verallgemeinern wir für nicht-Standard-GAN-Loss-Funktionen und bezeichnen sie jeweils als Relativistische GANs (RGANs) und Relativistische durchschnittliche GANs (RaGANs). Wir zeigen, dass IPM-basierte GANs eine Teilmenge von RGANs sind, die die Identitätsfunktion verwenden.Empirisch beobachten wir, dass 1) RGANs und RaGANs signifikant stabiler und höhere Qualität von Datensamples generieren als ihre nicht-relativistischen Entsprechungen, 2) ein Standard-RaGAN mit Gradientenstrafe Datensamples von besserer Qualität generiert als WGAN-GP und dabei nur eine einzelne Aktualisierung des Diskriminators pro Aktualisierung des Generators benötigt (die Zeit zur Erreichung des Standes der Technik um 400% reduzierend), und 3) RaGANs in der Lage sind, plausibel hohe Auflösungsbilder (256x256) aus einer sehr kleinen Stichprobe (N=2011) zu generieren, während GAN und LSGAN dies nicht können; diese Bilder haben eine signifikant bessere Qualität als jene, die von WGAN-GP und SGAN mit spektraler Normalisierung generiert werden.