HyperAIHyperAI

Command Palette

Search for a command to run...

StyTr2: Bildstilübertragung mit Transformers

Changsheng Xu Lei Wang Xingjia Pan Chongyang Ma WeiMing Dong Fan Tang Yingying Deng

Zusammenfassung

Das Ziel der Bildstilübertragung besteht darin, ein Bild mit künstlerischen Merkmalen zu rendern, die durch eine Stilreferenz geleitet werden, während der ursprüngliche Inhalt beibehalten wird. Aufgrund der Lokalität in Faltungsneuralen Netzen (CNNs) ist die Extraktion und Erhaltung der globalen Informationen von Eingabebildern schwierig. Daher leiden herkömmliche Methoden der neuronalen Stilübertragung unter einer verzerrten Darstellung des Inhalts. Um dieses kritische Problem anzugehen, berücksichtigen wir in unserer vorgeschlagenen transformerbasierten Methode namens StyTr^2 die langfristigen Abhängigkeiten von Eingabebildern für die Stilübertragung. Im Gegensatz zu visuellen Transformers für andere Bildverarbeitungsaufgaben verfügt StyTr^2 über zwei unterschiedliche Transformer-Encoder, die jeweils domain-spezifische Sequenzen für Inhalt und Stil generieren. Anschließend wird ein mehrschichtiges Transformer-Decoder-Modul eingesetzt, um die Inhaltsequenz entsprechend der Stilsequenz zu stilisieren. Zudem analysieren wir die Schwächen bestehender Positions-Codierungsmethoden und schlagen die content-aware positional encoding (CAPE) vor, die skaleninvariant ist und besser für Aufgaben der Bildstilübertragung geeignet ist. Qualitative und quantitative Experimente belegen die Wirksamkeit von StyTr^2 im Vergleich zu aktuellen CNN-basierten und fluiddynamikbasierten Ansätzen. Der Quellcode und die Modelle sind unter https://github.com/diyiiyiii/StyTR-2 verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp