HyperAIHyperAI

Command Palette

Search for a command to run...

Kreuzansichtsbildsynthese mithilfe bedingter GANs

Regmi Krishna Borji Ali

Zusammenfassung

Die Generierung natürlicher Szenen stellt in der Computer Vision stets eine herausfordernde Aufgabe dar. Dies gilt besonders, wenn die Generierung auf Bildern mit grundlegend unterschiedlichen Blickwinkeln bedingt ist. Dies liegt hauptsächlich daran, dass das Verständnis, die Zuordnung und die Transformation von Erscheinungs- und semantischen Informationen zwischen verschiedenen Perspektiven keineswegs trivial ist. In diesem Artikel versuchen wir, das neuartige Problem der cross-view-Bildsynthese – sowohl von Luftbildern auf Straßenansichten als auch umgekehrt – mithilfe bedingter generativer adversarialer Netzwerke (cGAN) zu lösen. Wir stellen zwei neue Architekturen vor: Crossview Fork (X-Fork) und Crossview Sequential (X-Seq), die Szenen mit Auflösungen von 64×64 und 256×256 Pixeln generieren können. Die X-Fork-Architektur verfügt über einen einzelnen Diskriminator und einen einzelnen Generator. Der Generator erzeugt sowohl das Zielbild als auch dessen semantische Segmentierung im Zielblickwinkel. Die X-Seq-Architektur nutzt zwei cGANs: Das erste erzeugt das Zielbild, das anschließend an das zweite cGAN zur Generierung der entsprechenden semantischen Segmentierungskarte weitergeleitet wird. Der Rückkopplungsmechanismus des zweiten cGAN unterstützt das erste cGAN dabei, schärfere Bilder zu erzeugen. Beide vorgeschlagenen Architekturen lernen, sowohl natürliche Bilder als auch deren semantische Segmentierungskarten zu generieren. Die vorgestellten Methoden zeigen, dass sie in der Lage sind, die tatsächlichen Semantiken von Objekten in Quell- und Zielansichten besser zu erfassen und zu erhalten als herkömmliche Bild-zu-Bild-Übersetzungsverfahren, die lediglich die visuelle Erscheinung der Szene berücksichtigen. Umfangreiche qualitative und quantitative Evaluationen stützen die Wirksamkeit unserer Ansätze im Vergleich zu zwei state-of-the-art-Methoden für die Generierung natürlicher Szenen unter drastisch unterschiedlichen Blickwinkeln.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp