SESAME: Semantische Bearbeitung von Szenen durch Hinzufügen, Manipulieren oder Löschen von Objekten

Neuere Fortschritte in der Bildgenerierung haben leistungsstarke Werkzeuge für die semantische Bildbearbeitung hervorgebracht. Allerdings können bestehende Ansätze entweder nur auf einzelnen Bildern arbeiten oder erfordern eine große Menge zusätzlicher Informationen. Sie sind nicht in der Lage, die gesamte Palette an Bearbeitungsoperationen zu bewältigen, nämlich die Hinzufügung, Manipulation oder Entfernung semantischer Konzepte. Um diese Einschränkungen zu überwinden, stellen wir SESAME vor – ein neuartiges Generator-Discriminator-Paar für die semantische Bearbeitung von Szenen durch Hinzufügen, Manipulieren oder Löschen von Objekten. In unserem Ansatz gibt der Benutzer die semantischen Etiketten der zu bearbeitenden Bereiche an, und der Generator synthesiert die entsprechenden Pixel. Im Gegensatz zu früheren Methoden, die einen Discriminator verwenden, der Semantik und Bild trivial verketten, besteht der SESAME-Discriminator aus zwei getrennten Eingabeströmen, die das Bild und seine Semantik unabhängig verarbeiten und die Semantik nutzen, um die Ergebnisse der Bildverarbeitung zu beeinflussen. Wir evaluieren unser Modell an einer Vielzahl von Datensätzen und berichten über state-of-the-art-Leistungen bei zwei Aufgaben: (a) Bildmanipulation und (b) Bildgenerierung unter Bedingung semantischer Etiketten.