TextureGAN: Kontrolle der tiefen Bildsynthese durch Texturpatchs

In dieser Arbeit untersuchen wir die tiefen Bildsynthese, die durch Skizzen, Farben und Texturen gesteuert wird. Während frühere Methoden der Bildsynthese durch Skizzen und Farbstriche kontrolliert werden können, sind wir die Ersten, die Textursteuerung untersuchen. Wir ermöglichen es dem Benutzer, einen Texturstück an beliebigen Positionen und in verschiedenen Maßstäben auf eine Skizze zu platzieren, um die gewünschte Ausgabetextur zu steuern. Unser generatives Netzwerk lernt Objekte zu synthetisieren, die mit diesen Texturvorschlägen konsistent sind. Um dies zu erreichen, entwickeln wir neben einem adversariellen und einem Inhaltsverlust einen lokalen Texturverlust, um das generative Netzwerk zu trainieren. Wir führen Experimente mit Skizzen durch, die aus realen Bildern generiert wurden, und Texturen, die aus einer separaten Texturdatenbank abgetastet wurden. Die Ergebnisse zeigen, dass unser vorgeschlagener Algorithmus in der Lage ist, glaubwürdige Bilder zu erzeugen, die den Benutzerkontrollen treu bleiben. Abstraktionsstudien (Ablation studies) zeigen außerdem, dass unser vorgeschlagenes Pipeline realistischere Bilder erzeugen kann als bestehende Methoden direkt anzuwenden.