Stilübertragung basierend auf Inversion mit Diffusionsmodellen

Der künstlerische Stil in einem Gemälde ist die Ausdrucksform, die nicht nur Material, Farben und Pinselstriche, sondern auch hochwertige Attribute wie semantische Elemente, Objektformen usw. umfasst. Bisherige Methoden zur künstlerischen Bildgenerierung, die auf beliebigen Beispielen basieren, gelingen oft nicht, Formveränderungen präzise zu steuern oder semantische Inhalte adäquat zu übertragen. Vortrainierte Text-zu-Bild-Synthesemodelle auf Basis diffusionbaserter probabilistischer Ansätze haben hervorragende Qualität erreicht, erfordern jedoch oft umfangreiche textuelle Beschreibungen, um die Merkmale eines bestimmten Gemäldes genau zu erfassen. Wir sind der Ansicht, dass die Einzigartigkeit eines Kunstwerks gerade darin besteht, dass sie sich nicht ausreichend mit gewöhnlicher Sprache beschreiben lässt. Unser zentrales Konzept besteht darin, den künstlerischen Stil direkt aus einem einzigen Gemälde zu lernen und anschließend die Synthese ohne komplizierte textuelle Beschreibungen zu leiten. Konkret betrachten wir den Stil als eine lernbare textuelle Beschreibung eines Gemäldes. Wir stellen eine auf Inversion basierende Stilübertragungsmethode (InST) vor, die die wesentlichen Informationen eines Bildes effizient und präzise erlernen kann, wodurch der künstlerische Stil eines Gemäldes erfasst und übertragen werden kann. Wir belegen die Qualität und Effizienz unserer Methode an zahlreichen Gemälden verschiedener Künstler und Stile. Der Quellcode und die Modelle sind unter https://github.com/zyxElsa/InST verfügbar.