HyperAIHyperAI

Command Palette

Search for a command to run...

vor 5 Stunden

MegaStyle: Konstruktion eines vielfältigen und skalierbaren Style-Datensatzes durch konsistentes Text-to-Image Style Mapping

Junyao Gao Sibo Liu Jiaxing Li Yanan Sun Yuanpeng Tu Fei Shen Weidong Zhang Cairong Zhao Jun Zhang

Zusammenfassung

In diesem Paper stellen wir MegaStyle vor, eine neuartige und skalierbare Data Curation Pipeline, die einen qualitativ hochwertigen Stil-Datensatz erstellt, der durch intra-style Konsistenz und inter-style Diversität gekennzeichnet ist. Dies erreichen wir durch die Nutzung der konsistenten Text-zu-Bild-Stil-Mapping-Fähigkeiten aktueller großer generativer Modelle, die in der Lage sind, Bilder im selben Stil basierend auf einer gegebenen Stilbeschreibung zu generieren. Auf dieser Grundlage kuratieren wir eine diverse und ausgewogene Prompt-Galerie mit 170K Stil-Prompts und 400K Content-Prompts und generieren durch Kombination von Content- und Stil-Prompts einen groß angelegten Stil-Datensatz, MegaStyle-1.4M.Mit MegaStyle-1.4M schlagen wir ein stilüberwachtes kontrastives Lernen (style-supervised contrastive learning) vor, um einen Stil-Encoder, MegaStyle-Encoder, feinabzustimmen, der expressive, stilspezifische Representations extrahiert. Zudem trainieren wir ein auf FLUX basierendes Style-Transfer-Modell namens MegaStyle-FLUX. Umfangreiche Experimente belegen die Bedeutung der Aufrechterhaltung von intra-style Konsistenz, inter-style Diversität und hoher Qualität für Stil-Datensätze sowie die Effektivität des vorgeschlagenen MegaStyle-1.4M. Darüber hinaus bieten MegaStyle-Encoder und MegaStyle-FLUX bei einem Training auf MegaStyle-1.4M eine zuverlässige Messung der Stilähnlichkeit sowie einen generalisierbaren Style Transfer, was einen signifikanten Beitrag zur Style-Transfer-Community darstellt. Weitere Ergebnisse sind auf unserer Projektwebsite unter https://jeoyal.github.io/MegaStyle/ verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp