HyperAIHyperAI

Command Palette

Search for a command to run...

Rekurrente affine Transformation für die Text-zu-Bild-Synthese

Senmao Ye Fei Liu Minkui Tan

Zusammenfassung

Die Text-zu-Bild-Synthese zielt darauf ab, natürliche Bilder unter Bedingung von Textbeschreibungen zu generieren. Die zentrale Schwierigkeit dieser Aufgabe liegt in der effektiven Integration von Textinformationen in den Bildsyntheseprozess. Bestehende Methoden passen gewöhnlich geeignete Textinformationen adaptiv in den Syntheseprozess ein, indem sie mehrere isolierte Fusionsblöcke (z. B. bedingte Batch-Normalisierung und Instanz-Normalisierung) verwenden. Diese isolierten Fusionsblöcke konkurrieren jedoch untereinander und erhöhen zudem die Komplexität des Trainings (siehe erste Seite des Supplementärmaterials). Um diese Probleme zu lösen, schlagen wir eine rekurrente affin-transformierte Methode (Recurrent Affine Transformation, RAT) für Generative Adversarielle Netzwerke vor, die alle Fusionsblöcke mittels eines rekurrenten neuronalen Netzwerks verknüpft, um deren langfristige Abhängigkeiten zu modellieren. Zudem verbessern wir die semantische Konsistenz zwischen Texten und generierten Bildern, indem wir ein räumliches Aufmerksamkeitsmodell in den Diskriminator integrieren. Da dieser die entsprechenden Bildregionen erkennt, kann die Textbeschreibung den Generator dazu anleiten, relevantere Bildinhalte zu generieren. Umfassende Experimente auf den Datensätzen CUB, Oxford-102 und COCO belegen die Überlegenheit des vorgeschlagenen Modells gegenüber aktuellen State-of-the-Art-Verfahren \footnote{https://github.com/senmaoy/Recurrent-Affine-Transformation-for-Text-to-image-Synthesis.git}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp