HyperAIHyperAI

Command Palette

Search for a command to run...

Datenextrapolation für Text-zu-Bild-Generierung auf kleinen Datensätzen

Senmao Ye Fei Liu

Zusammenfassung

Die Text-zu-Bild-Generierung erfordert eine große Menge an Trainingsdaten, um hochwertige Bilder zu synthetisieren. Zur Erweiterung der Trainingsdaten stützen sich bisherige Methoden auf Daten-Interpolationen wie Ausschneiden, Spiegeln und Mischen, die keine neuen Informationen hinzufügen und lediglich marginale Verbesserungen erzielen. In diesem Paper stellen wir eine neue Daten-Augmentierungsmethode für die Text-zu-Bild-Generierung mittels linearer Extrapolation vor. Konkret wenden wir die lineare Extrapolation ausschließlich auf Textmerkmale an, während neue Bild-Daten über Suchmaschinen aus dem Internet abgerufen werden. Zur Gewährleistung der Zuverlässigkeit der neuen Text-Bild-Paare entwickeln wir zwei Ausreißer-Detektoren, um die abgerufenen Bilder zu filtern. Auf Basis der Extrapolation konstruieren wir Trainingsbeispiele, die das ursprüngliche Datenset um ein Vielfaches übersteigen, was zu einer signifikanten Verbesserung der Text-zu-Bild-Leistung führt. Darüber hinaus schlagen wir eine NULL-Guidance zur Verfeinerung der Score-Schätzung vor und nutzen eine rekurrente affine Transformation zur Fusion von Textinformationen. Unser Modell erreicht FID-Scores von 7,91, 9,52 und 5,00 auf den Datensätzen CUB, Oxford und COCO. Der Quellcode und die Daten werden auf GitHub verfügbar sein (https://github.com/senmaoy/RAT-Diffusion).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Datenextrapolation für Text-zu-Bild-Generierung auf kleinen Datensätzen | Paper | HyperAI