Command Palette
Search for a command to run...
MegaStyle: Konstruktion eines vielfältigen und skalierbaren Style-Datensatzes durch konsistentes Text-to-Image Style Mapping
MegaStyle: Konstruktion eines vielfältigen und skalierbaren Style-Datensatzes durch konsistentes Text-to-Image Style Mapping
Junyao Gao Sibo Liu Jiaxing Li Yanan Sun Yuanpeng Tu Fei Shen Weidong Zhang Cairong Zhao Jun Zhang
Zusammenfassung
In diesem Paper stellen wir MegaStyle vor, eine neuartige und skalierbare Data Curation Pipeline, die einen qualitativ hochwertigen Stil-Datensatz erstellt, der durch intra-style Konsistenz und inter-style Diversität gekennzeichnet ist. Dies erreichen wir durch die Nutzung der konsistenten Text-zu-Bild-Stil-Mapping-Fähigkeiten aktueller großer generativer Modelle, die in der Lage sind, Bilder im selben Stil basierend auf einer gegebenen Stilbeschreibung zu generieren. Auf dieser Grundlage kuratieren wir eine diverse und ausgewogene Prompt-Galerie mit 170K Stil-Prompts und 400K Content-Prompts und generieren durch Kombination von Content- und Stil-Prompts einen groß angelegten Stil-Datensatz, MegaStyle-1.4M.Mit MegaStyle-1.4M schlagen wir ein stilüberwachtes kontrastives Lernen (style-supervised contrastive learning) vor, um einen Stil-Encoder, MegaStyle-Encoder, feinabzustimmen, der expressive, stilspezifische Representations extrahiert. Zudem trainieren wir ein auf FLUX basierendes Style-Transfer-Modell namens MegaStyle-FLUX. Umfangreiche Experimente belegen die Bedeutung der Aufrechterhaltung von intra-style Konsistenz, inter-style Diversität und hoher Qualität für Stil-Datensätze sowie die Effektivität des vorgeschlagenen MegaStyle-1.4M. Darüber hinaus bieten MegaStyle-Encoder und MegaStyle-FLUX bei einem Training auf MegaStyle-1.4M eine zuverlässige Messung der Stilähnlichkeit sowie einen generalisierbaren Style Transfer, was einen signifikanten Beitrag zur Style-Transfer-Community darstellt. Weitere Ergebnisse sind auf unserer Projektwebsite unter https://jeoyal.github.io/MegaStyle/ verfügbar.