HyperAIHyperAI

Command Palette

Search for a command to run...

Domänenverstärkte beliebige Bildstilübertragung mittels kontrastivem Lernen

Yuxin Zhang Fan Tang Weiming Dong Haibin Huang Chongyang Ma Tong-Yee Lee Changsheng Xu

Zusammenfassung

In dieser Arbeit behandeln wir das anspruchsvolle Problem der beliebigen Bildstilübertragung mittels einer neuartigen Methode zur Lernung von Stilmerkmalrepräsentationen. Eine geeignete Stilrepräsentation, als zentrale Komponente bei Aufgaben der Bildstilisierung, ist entscheidend für zufriedenstellende Ergebnisse. Bestehende Ansätze auf Basis tiefer neuronalen Netze erreichen mit der Anleitung durch zweite Ordnungseigenschaften wie die Gram-Matrix der Inhaltsmerkmale zufriedenstellende Ergebnisse. Allerdings nutzen sie nicht ausreichend Stilinformation, was zu Artefakten wie lokalen Verzerrungen und Stilinkonsistenzen führt. Um diese Probleme zu lösen, schlagen wir vor, die Stilrepräsentation direkt aus den Bildmerkmalen zu lernen, anstatt auf deren zweite Ordnungseigenschaften zurückzugreifen, indem wir die Ähnlichkeiten und Unterschiede zwischen mehreren Stilen analysieren und die Stilverteilung berücksichtigen. Konkret stellen wir Contrastive Arbitrary Style Transfer (CAST) vor, eine neue Methode zur Lernung von Stilrepräsentationen und zur Stilübertragung mittels kontrastiver Lernverfahren. Unser Framework besteht aus drei zentralen Komponenten: einem mehrschichtigen Stilprojektor zur Kodierung von Stilcodes, einem Domänenverbesserungsmodul zur effektiven Lernung der Stilverteilung sowie einem generativen Netzwerk zur Bildstilübertragung. Wir führen umfassende qualitative und quantitative Evaluierungen durch, um zu zeigen, dass unser Ansatz im Vergleich zu aktuellen State-of-the-Art-Methoden deutlich bessere Ergebnisse erzielt. Der Quellcode und die Modelle sind unter https://github.com/zyxElsa/CAST_pytorch verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp