Alias-Free Generative Adversarial Networks

Wir beobachten, dass der Syntheseprozess typischer generativer adversarischer Netzwerke, trotz ihres hierarchischen, konvolutionellen Aufbaus, auf eine ungesunde Weise von absoluten Pixelkoordinaten abhängt. Dies äußert sich beispielsweise darin, dass Details scheinbar an die Bildkoordinaten „geklebt“ erscheinen, anstatt an die Oberflächen der dargestellten Objekte anzupassen. Wir identifizieren die Ursache hierfür in unaufmerksamer Signalverarbeitung, die Aliasing im Generatornetzwerk verursacht. Indem wir alle Signale im Netzwerk als kontinuierlich interpretieren, leiten wir allgemein anwendbare, kleine architektonische Änderungen ab, die gewährleisten, dass unerwünschte Informationen nicht in den hierarchischen Syntheseprozess eindringen können. Die resultierenden Netzwerke erreichen die FID von StyleGAN2, unterscheiden sich jedoch deutlich in ihren internen Darstellungen und sind bereits auf Subpixel-Ebene vollständig äquivalent gegenüber Translation und Rotation. Unsere Ergebnisse eröffnen neue Möglichkeiten für generative Modelle, die besser für Video- und Animationsanwendungen geeignet sind.