Unbeschränkte Szenenerzeugung mit lokal bedingten Strahlungsfeldern

Wir bearbeiten die Herausforderung, eine Verteilung über komplexe, realistische Innenräume zu lernen. In diesem Artikel stellen wir Generative Scene Networks (GSN) vor, die lernen, Szenen in eine Vielzahl lokaler Strahlungsfelder zu zerlegen, die von einer frei beweglichen Kamera dargestellt werden können. Unser Modell kann als Prior verwendet werden, um neue Szenen zu generieren oder eine Szene zu vervollständigen, wenn nur spärliche 2D-Beobachtungen vorliegen. Neuere Arbeiten haben gezeigt, dass generative Modelle von Strahlungsfeldern Eigenschaften wie Multiview-Konsistenz und sichtabhängige Beleuchtung erfassen können. Diese Modelle sind jedoch auf eingeschränkte Betrachtungsperspektiven einzelner Objekte, wie Autos oder Gesichter, spezialisiert. Aufgrund der Größe und Komplexität realistischer Innenräume verfügen bestehende Modelle über eine unzureichende repräsentative Kapazität, um diese Szenen angemessen abzubilden. Unser Zerlegungsansatz skaliert auf größere und komplexere Szenen, während Details und Vielfalt bewahrt werden, und der gelernte Prior ermöglicht qualitativ hochwertige Darstellungen aus Blickwinkeln, die sich erheblich von den beobachteten Blickwinkeln unterscheiden. Im Vergleich zu bestehenden Modellen erzeugt GSN quantitativ hochwertigere Szenendarstellungen über mehrere verschiedene Szenendatensätze hinweg.