Shaojin Wu Mengqi Huang Yufeng Cheng Wenxu Wu Jiahe Tian Yiming Luo Fei Ding Qian He

Abstract

Die bestehende Literatur behandelt die stilbasierte und die themenbasierte Generierung üblicherweise als zwei voneinander getrennte Aufgaben: Letztere legt den Fokus auf die Stilähnlichkeit, während ersteres die thematische Konsistenz priorisiert, was zu einem offensichtlichen Widerspruch führt. Wir argumentieren, dass beide Ziele innerhalb eines einheitlichen Rahmens vereint werden können, da sie letztlich beide auf die Entkoppelung und Neukomposition von Inhalt und Stil abzielen – ein zentrales Thema in der stilbasierten Forschung. Dazu präsentieren wir USO, ein Unified Style-Subject Optimized Customization-Modell. Zunächst erstellen wir eine großskalige Dreiergruppen-Datenbank, die aus Inhalt-Bildern, Stil-Bildern und ihren entsprechenden stilisierten Inhalt-Bildern besteht. Anschließend führen wir ein entkoppeltes Lernverfahren ein, das gleichzeitig Stilmerkmale ausrichtet und Inhalt von Stil entkoppelt, durch zwei komplementäre Ziele: Stil-Ausrichtungstraining und Inhalt-Stil-Entkoppelungstraining. Drittens integrieren wir ein Stil-Belohnungs-Lernparadigma, bezeichnet als SRL (Style Reward Learning), um die Leistung des Modells weiter zu verbessern. Schließlich veröffentlichen wir USO-Bench, die erste Benchmark, die sowohl Stilähnlichkeit als auch thematische Treue über mehrere Metriken gemeinsam evaluiert. Umfangreiche Experimente zeigen, dass USO im Vergleich zu anderen Open-Source-Modellen sowohl hinsichtlich der thematischen Konsistenz als auch der Stilähnlichkeit state-of-the-art-Leistung erzielt. Code und Modell: https://github.com/bytedance/USO