HyperAIHyperAI

Command Palette

Search for a command to run...

Tell, Draw, and Repeat: Generierung und Modifikation von Bildern auf der Grundlage kontinuierlicher sprachlicher Anweisungen

Alaaeldin El-Nouby extsuperscript1,4,* Shikhar Sharma extsuperscript2 Hannes Schulz extsuperscript2 Devon Hjelm extsuperscript2,3,5 Layla El Asri extsuperscript2 Samira Ebrahimi Kahou extsuperscript2 Yoshua Bengio extsuperscript3,5,6 Graham W. Taylor extsuperscript1,4,6

Zusammenfassung

Bedingte Text-zu-Bild-Generierung ist ein aktives Forschungsfeld mit zahlreichen möglichen Anwendungen. Die bisherige Forschung hat sich hauptsächlich auf die Erstellung eines einzelnen Bildes aus verfügbaren bedingenden Informationen in einem Schritt konzentriert. Eine praktische Erweiterung jenseits der Einzelschrittgenerierung ist ein System, das iterativ ein Bild erstellt, wobei es sich auf fortlaufende linguistische Eingaben oder Rückmeldungen stützt. Dies ist erheblich anspruchsvoller als Einzelschrittgenerierungsaufgaben, da ein solches System den Inhalt seiner generierten Bilder im Bezug zur Rückmeldehistorie, der aktuellen Rückmeldung und den Interaktionen zwischen den in der Rückmeldehistorie vorhandenen Konzepten verstehen muss. In dieser Arbeit präsentieren wir ein rekurrentes Bildgenerierungsmodell, das sowohl die bis zum aktuellen Schritt generierte Ausgabe als auch alle früheren Generierungsanweisungen berücksichtigt. Wir zeigen, dass unser Modell in der Lage ist, den Hintergrund zu generieren, neue Objekte hinzuzufügen und einfache Transformationen an bestehenden Objekten durchzuführen. Wir glauben, dass unser Ansatz einen wichtigen Schritt in Richtung interaktiver Generierung darstellt. Der Quellcode und die Daten sind unter folgender URL verfügbar: https://www.microsoft.com/de-de/research/projekt/generative-neural-visual-artist-geneva/ .


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp