GRAF: Generative Radiance Fields für 3D-bewusste Bildsynthese

Während 2D-generative adversarische Netze hochaufgelöste Bildsynthese ermöglicht haben, fehlt ihnen weitgehend ein Verständnis der 3D-Welt und des Bildentstehungsprozesses. Daher bieten sie keine präzise Kontrolle über die Kameraperspektive oder die Objektpose. Um dieses Problem anzugehen, nutzen mehrere kürzlich vorgestellte Ansätze Zwischendarstellungen auf Voxelbasis in Kombination mit differenzierbarem Rendering. Bestehende Methoden erzeugen jedoch entweder Bilder mit niedriger Auflösung oder sind nicht ausreichend in der Trennung von Kamera- und Szeneneigenschaften, z.B. kann die Objektidentität mit der Perspektive variieren. In dieser Arbeit schlagen wir ein generatives Modell für Strahlungsfelder vor, das sich kürzlich als erfolgreich bei der Neubildung von Perspektiven einer einzelnen Szene erwiesen hat. Im Gegensatz zu Voxelbasierten Darstellungen sind Strahlungsfelder nicht auf eine grobe Diskretisierung des 3D-Raums beschränkt, ermöglichen aber dennoch die Trennung von Kamera- und Szeneneigenschaften und verhalten sich im Falle von Rekonstruktionsambiguität grazil degradierend. Durch die Einführung eines mehrskaligen patchbasierten Diskriminators zeigen wir, dass es möglich ist, hochaufgelöste Bilder zu synthetisieren, während unser Modell allein aus unposierten 2D-Bildern trainiert wird. Wir analysieren unseren Ansatz systematisch an mehreren anspruchsvollen synthetischen und realen Datensätzen. Unsere Experimente erweisen Strahlungsfelder als eine mächtige Darstellung für generative Bildsynthese, die zu 3D-konsistenten Modellen führt, die mit hoher Genauigkeit gerendert werden können.