Domänenverstärkte beliebige Bildstilübertragung mittels kontrastivem Lernen

In dieser Arbeit behandeln wir das anspruchsvolle Problem der beliebigen Bildstilübertragung mittels einer neuartigen Methode zur Lernung von Stilmerkmalrepräsentationen. Eine geeignete Stilrepräsentation, als zentrale Komponente bei Aufgaben der Bildstilisierung, ist entscheidend für zufriedenstellende Ergebnisse. Bestehende Ansätze auf Basis tiefer neuronalen Netze erreichen mit der Anleitung durch zweite Ordnungseigenschaften wie die Gram-Matrix der Inhaltsmerkmale zufriedenstellende Ergebnisse. Allerdings nutzen sie nicht ausreichend Stilinformation, was zu Artefakten wie lokalen Verzerrungen und Stilinkonsistenzen führt. Um diese Probleme zu lösen, schlagen wir vor, die Stilrepräsentation direkt aus den Bildmerkmalen zu lernen, anstatt auf deren zweite Ordnungseigenschaften zurückzugreifen, indem wir die Ähnlichkeiten und Unterschiede zwischen mehreren Stilen analysieren und die Stilverteilung berücksichtigen. Konkret stellen wir Contrastive Arbitrary Style Transfer (CAST) vor, eine neue Methode zur Lernung von Stilrepräsentationen und zur Stilübertragung mittels kontrastiver Lernverfahren. Unser Framework besteht aus drei zentralen Komponenten: einem mehrschichtigen Stilprojektor zur Kodierung von Stilcodes, einem Domänenverbesserungsmodul zur effektiven Lernung der Stilverteilung sowie einem generativen Netzwerk zur Bildstilübertragung. Wir führen umfassende qualitative und quantitative Evaluierungen durch, um zu zeigen, dass unser Ansatz im Vergleich zu aktuellen State-of-the-Art-Methoden deutlich bessere Ergebnisse erzielt. Der Quellcode und die Modelle sind unter https://github.com/zyxElsa/CAST_pytorch verfügbar.