HyperAIHyperAI

Command Palette

Search for a command to run...

Interaktive Bildsynthese mit Panoptischer Layoutgenerierung

Bo Wang Tao Wu Minfeng Zhu Peng Du∗

Zusammenfassung

Die interaktive Bildsynthese auf der Grundlage nutzergesteuerter Eingaben ist eine herausfordernde Aufgabe, wenn Benutzer die Szenenstruktur eines generierten Bildes einfach steuern möchten. Obwohl bei ansatzbasierten Methoden für die Bildsynthese aus Layouts erhebliche Fortschritte gemacht wurden, erfordern bestehende Verfahren zur Erstellung realistischer künstlicher Bilder in interaktiven Szenen hochpräzise Eingaben, die möglicherweise mehrfach angepasst werden müssen und für Anfängerbenutzer unbenutzerfreundlich sind. Bei Störungen in der Platzierung von Begrenzungsboxen leiden layoutbasierte Modelle an „fehlenden Bereichen“ in den erstellten semantischen Layouts und damit verbunden unerwünschten Artefakten in den generierten Bildern. In dieser Arbeit schlagen wir Panoptische Layout Generative Adversarial Networks (PLGAN) vor, um diese Herausforderung zu bewältigen. Die PLGAN setzt die panoptische Theorie ein, die zwischen Objektkategorien mit amorphen Rändern („Stuff“) und solchen mit gut definierten Formen („Things“) unterscheidet, sodass „Stuff“- und Instanz-Layouts durch separate Zweige konstruiert und anschließend zu panoptischen Layouts fusioniert werden. Insbesondere können die „Stuff“-Layouts amorpe Formen annehmen und die durch die Instanz-Layouts entstandenen fehlenden Bereiche ausfüllen. Wir vergleichen experimentell unsere PLGAN mit den neuesten layoutbasierten Modellen auf den Datensätzen COCO-Stuff, Visual Genome und Landscape. Die Vorteile der PLGAN werden nicht nur visuell demonstriert, sondern auch quantitativ verifiziert hinsichtlich des Inception-Scores, der Fréchet-Inception-Distanz, der Klassifikationsgenauigkeit und des Coverage-Werts.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Interaktive Bildsynthese mit Panoptischer Layoutgenerierung | Paper | HyperAI