HyperAIHyperAI

Command Palette

Search for a command to run...

GRAF: Generative Radiance Fields für 3D-bewusste Bildsynthese

Katja Schwarz Yiyi Liao Michael Niemeyer Andreas Geiger

Zusammenfassung

Während 2D-generative adversarische Netze hochaufgelöste Bildsynthese ermöglicht haben, fehlt ihnen weitgehend ein Verständnis der 3D-Welt und des Bildentstehungsprozesses. Daher bieten sie keine präzise Kontrolle über die Kameraperspektive oder die Objektpose. Um dieses Problem anzugehen, nutzen mehrere kürzlich vorgestellte Ansätze Zwischendarstellungen auf Voxelbasis in Kombination mit differenzierbarem Rendering. Bestehende Methoden erzeugen jedoch entweder Bilder mit niedriger Auflösung oder sind nicht ausreichend in der Trennung von Kamera- und Szeneneigenschaften, z.B. kann die Objektidentität mit der Perspektive variieren. In dieser Arbeit schlagen wir ein generatives Modell für Strahlungsfelder vor, das sich kürzlich als erfolgreich bei der Neubildung von Perspektiven einer einzelnen Szene erwiesen hat. Im Gegensatz zu Voxelbasierten Darstellungen sind Strahlungsfelder nicht auf eine grobe Diskretisierung des 3D-Raums beschränkt, ermöglichen aber dennoch die Trennung von Kamera- und Szeneneigenschaften und verhalten sich im Falle von Rekonstruktionsambiguität grazil degradierend. Durch die Einführung eines mehrskaligen patchbasierten Diskriminators zeigen wir, dass es möglich ist, hochaufgelöste Bilder zu synthetisieren, während unser Modell allein aus unposierten 2D-Bildern trainiert wird. Wir analysieren unseren Ansatz systematisch an mehreren anspruchsvollen synthetischen und realen Datensätzen. Unsere Experimente erweisen Strahlungsfelder als eine mächtige Darstellung für generative Bildsynthese, die zu 3D-konsistenten Modellen führt, die mit hoher Genauigkeit gerendert werden können.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp