HyperAIHyperAI

Command Palette

Search for a command to run...

Anycost GANs für interaktive Bildsynthese und -bearbeitung

Ji Lin Richard Zhang Frieder Ganz Song Han Jun-Yan Zhu

Zusammenfassung

Generative adversarial networks (GANs) haben die Erzeugung und Bearbeitung photorealistischer Bilder ermöglicht. Aufgrund der hohen Rechenkosten großer Generatoren (z. B. StyleGAN2) dauert es jedoch typischerweise mehrere Sekunden, um die Ergebnisse einer einzelnen Bearbeitung auf Edge-Geräten zu sehen, was eine interaktive Benutzererfahrung unmöglich macht. In diesem Paper leiten wir uns von modernen Rendering-Software-Systemen inspirieren und stellen Anycost GAN vor, ein Ansatz für interaktive Bearbeitung natürlicher Bilder. Wir trainieren Anycost GAN so, dass er flexible Auflösungen und Kanalanzahlen unterstützt, um Bildgenerierung mit variabler Geschwindigkeit zu beschleunigen. Die Ausführung von Teilen des vollständigen Generators erzeugt Ergebnisse, die perceptuell der Ausgabe des vollständigen Generators ähneln, wodurch sie sich gut als Vorschau eignen. Durch die Kombination von sampling-basiertem Multi-Resolution-Training, adaptivem Kanal-Training und einem generatorbedingten Diskriminator kann der Anycost-Generator für verschiedene Konfigurationen bewertet werden und gleichzeitig eine bessere Bildqualität erzielen als separat trainierte Modelle. Zudem entwickeln wir neue Techniken zum Encoder-Training und zur Optimierung der Latent-Codes, um Konsistenz zwischen den verschiedenen Sub-Generatoren während der Bildprojektion zu fördern. Anycost GAN kann mit unterschiedlichen Rechenbudgets (bis zu 10-fache Reduktion der Berechnungskosten) ausgeführt werden und sich an eine breite Palette an Hardware- und Latenzanforderungen anpassen. Bei der Bereitstellung auf Desktop-CPU und Edge-Geräten ermöglicht unser Modell perceptuell vergleichbare Vorschauen mit einer Geschwindigkeitssteigerung von 6 bis 12-fach, wodurch interaktive Bildbearbeitung realisierbar wird. Der Quellcode und eine Demo sind öffentlich verfügbar: https://github.com/mit-han-lab/anycost-gan.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Anycost GANs für interaktive Bildsynthese und -bearbeitung | Paper | HyperAI