Style Injection in Diffusion: Ein trainingsfreier Ansatz zur Anpassung großer Diffusionsmodelle für Stilübertragung

Trotz der beeindruckenden generativen Fähigkeiten von Diffusionsmodellen erfordern bestehende auf Diffusionsmodellen basierende Stilübertragungsmethoden eine Optimierung im Inference-Stadium (z. B. Feinabstimmung oder Textual Inversion des Stils), die zeitaufwendig ist oder die generativen Fähigkeiten großer Diffusionsmodelle nicht optimal nutzt. Um diese Probleme zu lösen, stellen wir eine neuartige künstlerische Stilübertragungsmethode vor, die auf einem vortrainierten großen Diffusionsmodell basiert und keine zusätzliche Optimierung erfordert. Konkret manipulieren wir die Merkmale der Self-Attention-Schichten auf die Weise, wie der Cross-Attention-Mechanismus funktioniert: Während des Generierungsprozesses ersetzen wir die Key- und Value-Informationen des Inhalts durch die des Stilbildes. Dieser Ansatz bietet mehrere wünschenswerte Eigenschaften für die Stilübertragung, darunter 1) die Erhaltung des Inhalts durch Übertragung ähnlicher Stile auf ähnliche Bildbereiche und 2) die Stilübertragung basierend auf der Ähnlichkeit lokaler Texturen (z. B. Kanten) zwischen Inhalt und Stilbild. Zudem führen wir Query-Preservation und Attention-Temperatur-Skalierung ein, um die Störung des ursprünglichen Inhalts zu verringern, sowie eine anfängliche latente Adaptive Instance Normalization (AdaIN), um das Problem der disharmonischen Farben (Fehlschlag bei der Farbübertragung des Stils) zu bewältigen. Unsere experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode sowohl in klassischen als auch in auf Diffusionsmodellen basierenden Stilübertragungsbenchmarks die derzeitigen State-of-the-Art-Methoden übertrifft.