HyperAIHyperAI

Command Palette

Search for a command to run...

Style Injection in Diffusion: Ein trainingsfreier Ansatz zur Anpassung großer Diffusionsmodelle für Stilübertragung

Jiwoo Chung Sangeek Hyun Jae-Pil Heo

Zusammenfassung

Trotz der beeindruckenden generativen Fähigkeiten von Diffusionsmodellen erfordern bestehende auf Diffusionsmodellen basierende Stilübertragungsmethoden eine Optimierung im Inference-Stadium (z. B. Feinabstimmung oder Textual Inversion des Stils), die zeitaufwendig ist oder die generativen Fähigkeiten großer Diffusionsmodelle nicht optimal nutzt. Um diese Probleme zu lösen, stellen wir eine neuartige künstlerische Stilübertragungsmethode vor, die auf einem vortrainierten großen Diffusionsmodell basiert und keine zusätzliche Optimierung erfordert. Konkret manipulieren wir die Merkmale der Self-Attention-Schichten auf die Weise, wie der Cross-Attention-Mechanismus funktioniert: Während des Generierungsprozesses ersetzen wir die Key- und Value-Informationen des Inhalts durch die des Stilbildes. Dieser Ansatz bietet mehrere wünschenswerte Eigenschaften für die Stilübertragung, darunter 1) die Erhaltung des Inhalts durch Übertragung ähnlicher Stile auf ähnliche Bildbereiche und 2) die Stilübertragung basierend auf der Ähnlichkeit lokaler Texturen (z. B. Kanten) zwischen Inhalt und Stilbild. Zudem führen wir Query-Preservation und Attention-Temperatur-Skalierung ein, um die Störung des ursprünglichen Inhalts zu verringern, sowie eine anfängliche latente Adaptive Instance Normalization (AdaIN), um das Problem der disharmonischen Farben (Fehlschlag bei der Farbübertragung des Stils) zu bewältigen. Unsere experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode sowohl in klassischen als auch in auf Diffusionsmodellen basierenden Stilübertragungsbenchmarks die derzeitigen State-of-the-Art-Methoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp