HyperAIHyperAI

Command Palette

Search for a command to run...

Bildgenerierung aus Szenengraphen

Justin Johnson Agrim Gupta Li Fei-Fei

Zusammenfassung

Um das visuelle Weltmodell wirklich zu verstehen, sollten unsere Modelle nicht nur in der Lage sein, Bilder zu erkennen, sondern auch zu generieren. In diesem Zusammenhang gab es kürzlich aufregende Fortschritte bei der Generierung von Bildern aus natürlichsprachlichen Beschreibungen. Diese Methoden erzielen beeindruckende Ergebnisse in begrenzten Bereichen wie der Beschreibung von Vögeln oder Blumen, haben jedoch Schwierigkeiten, komplexe Sätze mit vielen Objekten und Beziehungen treu wiederzugeben. Um diese Einschränkung zu überwinden, schlagen wir eine Methode zur Generierung von Bildern aus Szengraphen vor, die es ermöglicht, explizit über Objekte und ihre Beziehungen nachzudenken. Unser Modell verwendet Graphkonvolutionen zur Verarbeitung der Eingabegraphen, berechnet ein Szenenlayout durch die Vorhersage von Begrenzungsrahmen und Segmentierungsmasken für die Objekte und konvertiert das Layout in ein Bild mit einem kaskadierten Verfeinerungsnetzwerk. Das Netzwerk wird gegen ein Paar von Diskriminatoren adverarial trainiert, um realistische Ausgaben sicherzustellen. Wir validieren unseren Ansatz anhand des Visual Genome- und des COCO-Stuff-Datensatzes, wobei qualitative Ergebnisse, Abschätzungen und Nutzerstudien die Fähigkeit unserer Methode beweisen, komplexe Bilder mit mehreren Objekten zu generieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp