SketchyCOCO: Bildgenerierung aus Freihandskizzen von Szenen

Wir stellen die erste Methode zur automatischen Bildgenerierung aus freihandgezeichneten Skizzen auf Szenenebene vor. Unser Modell ermöglicht eine steuerbare Bildgenerierung durch die Spezifizierung des Synthesizerziels mittels freier Skizzen. Der wesentliche Beitrag ist ein attributbasierter Vektor, der eine Generative Adversarial Network (GAN) namens EdgeGAN verbindet. Dieses Netzwerk unterstützt die Erzeugung von hochwertigen objektbezogenen Bildinhalten, ohne freihandgezeichnete Skizzen als Trainingsdaten zu verwenden. Wir haben einen umfangreichen kompositen Datensatz namens SketchyCOCO erstellt, um die Lösung zu unterstützen und zu evaluieren. Unsere Methode wird sowohl bei der objektbezogenen als auch bei der szenenbezogenen Bildgenerierung auf dem SketchyCOCO-Datensatz validiert. Durch quantitative und qualitative Ergebnisse, menschliche Bewertungen und Ausfallstudien zeigen wir die Fähigkeit der Methode, realistische komplexe szenenbezogene Bilder aus verschiedenen freihandgezeichneten Skizzen zu generieren.