HyperAIHyperAI

Command Palette

Search for a command to run...

Styleformer: Transformer-basierte generative adversariale Netzwerke mit Stilvektor

Jeeseung Park Younggeun Kim

Zusammenfassung

Wir stellen Styleformer vor, einen stilbasierten Generator für GAN-Architekturen, der jedoch auf einem convolutionsfreien Transformer basiert. In unserer Arbeit erklären wir, wie ein Transformer hochwertige Bilder generieren kann, wodurch der Nachteil überwunden wird, dass Faltungsoperationen Schwierigkeiten haben, globale Merkmale in Bildern zu erfassen. Zudem modifizieren wir die Demodulation von StyleGAN2 und passen die bestehende Transformer-Architektur (z. B. Residual-Verbindungen, Layer-Normalisierung) an, um einen leistungsfähigen, stilbasierten Generator mit convolutionsfreier Struktur zu schaffen. Durch die Anwendung von Linformer machen wir Styleformer zudem leichter, wodurch er Bilder mit höherer Auflösung generieren kann und gleichzeitig Verbesserungen hinsichtlich Geschwindigkeit und Speicherverbrauch erzielt. Wir testen Styleformer an Datensätzen mit niedriger Auflösung wie CIFAR-10 sowie an Datensätzen mit hoher Auflösung wie LSUN-church. Auf dem Benchmark-Datensatz CIFAR-10 erreicht Styleformer eine FID von 2,82 und eine IS von 9,94, was Leistungsmerkmale auf dem Niveau der aktuellen State-of-the-Art darstellt und alle bisherigen GAN-basierten Generativmodelle, einschließlich StyleGAN2-ADA, bei weniger Parametern im unbedingten Fall übertrifft. Zudem erreichen wir neue State-of-the-Art-Werte mit einer FID von 15,17 und einer IS von 11,01 auf STL-10 sowie einer FID von 3,66 auf CelebA. Wir stellen unseren Code unter https://github.com/Jeeseung-Park/Styleformer zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp