Anycost GANs für interaktive Bildsynthese und -bearbeitung

Generative adversarial networks (GANs) haben die Erzeugung und Bearbeitung photorealistischer Bilder ermöglicht. Aufgrund der hohen Rechenkosten großer Generatoren (z. B. StyleGAN2) dauert es jedoch typischerweise mehrere Sekunden, um die Ergebnisse einer einzelnen Bearbeitung auf Edge-Geräten zu sehen, was eine interaktive Benutzererfahrung unmöglich macht. In diesem Paper leiten wir uns von modernen Rendering-Software-Systemen inspirieren und stellen Anycost GAN vor, ein Ansatz für interaktive Bearbeitung natürlicher Bilder. Wir trainieren Anycost GAN so, dass er flexible Auflösungen und Kanalanzahlen unterstützt, um Bildgenerierung mit variabler Geschwindigkeit zu beschleunigen. Die Ausführung von Teilen des vollständigen Generators erzeugt Ergebnisse, die perceptuell der Ausgabe des vollständigen Generators ähneln, wodurch sie sich gut als Vorschau eignen. Durch die Kombination von sampling-basiertem Multi-Resolution-Training, adaptivem Kanal-Training und einem generatorbedingten Diskriminator kann der Anycost-Generator für verschiedene Konfigurationen bewertet werden und gleichzeitig eine bessere Bildqualität erzielen als separat trainierte Modelle. Zudem entwickeln wir neue Techniken zum Encoder-Training und zur Optimierung der Latent-Codes, um Konsistenz zwischen den verschiedenen Sub-Generatoren während der Bildprojektion zu fördern. Anycost GAN kann mit unterschiedlichen Rechenbudgets (bis zu 10-fache Reduktion der Berechnungskosten) ausgeführt werden und sich an eine breite Palette an Hardware- und Latenzanforderungen anpassen. Bei der Bereitstellung auf Desktop-CPU und Edge-Geräten ermöglicht unser Modell perceptuell vergleichbare Vorschauen mit einer Geschwindigkeitssteigerung von 6 bis 12-fach, wodurch interaktive Bildbearbeitung realisierbar wird. Der Quellcode und eine Demo sind öffentlich verfügbar: https://github.com/mit-han-lab/anycost-gan.