Paint Transformer: Feed-Forward-Neuronales Malen mit Strichvorhersage

Neurales Malen bezeichnet das Verfahren, eine Reihe von Pinselstrichen für ein gegebenes Bild zu generieren und dieses nicht-fotorealistisch mittels neuronalen Netzen neu zu erstellen. Während Agenten auf Basis von Verstärkendem Lernen (Reinforcement Learning, RL) sequenziell Schritt für Schritt eine Folge von Pinselstrichen erzeugen können, ist die stabile Trainierung eines solchen RL-Agents nicht einfach. Andererseits suchen Methoden zur Strichoptimierung iterativ nach einer Menge von Strichparametern in einem großen Suchraum; diese geringe Effizienz begrenzt ihre Verbreitung und praktische Anwendbarkeit erheblich. Im Gegensatz zu früheren Ansätzen formulieren wir in diesem Paper die Aufgabe als ein Set-Prädiktionsproblem und schlagen einen neuartigen, auf Transformer basierenden Rahmen namens Paint Transformer vor, der mittels eines Feed-Forward-Netzwerks die Parameter einer Strichmenge vorhersagt. Auf diese Weise kann unser Modell eine Menge von Pinselstrichen parallel generieren und das endgültige Bild in einer Größe von 512 × 512 nahezu in Echtzeit erzeugen. Vor allem ist es wichtig, dass aufgrund der fehlenden verfügbaren Datensätze für die Ausbildung des Paint Transformer ein selbsttrainierender Pipelinesystem entwickelt wurde, das es ermöglicht, das Modell ohne jegliche externe Datensätze zu trainieren, während gleichzeitig eine hervorragende Generalisierungsfähigkeit erreicht wird. Experimente zeigen, dass unsere Methode gegenüber vorherigen Ansätzen eine bessere Malleistung erzielt, wobei die Trainings- und Inferenzkosten geringer sind. Der Quellcode und die Modelle sind verfügbar.