Persistente Natur: Ein generatives Modell unbegrenzter 3D-Welten

Trotz zunehmend realistischer Bildqualität operieren aktuelle 3D-Bildgenerativmodelle häufig auf 3D-Volumina mit festgelegtem Umfang und begrenzten Kamerabewegungen. Wir untersuchen die Aufgabe der bedingungslosen Synthese unbeschränkter Naturszenen, die beliebig große Kamerabewegungen ermöglichen, während gleichzeitig ein konsistenter 3D-Weltmodell erhalten bleibt. Unsere Szenendarstellung besteht aus einem erweiterbaren, ebenen Szenenlayout-Gitter, das von beliebigen Kameraposen aus über einen 3D-Decoder und Volumen-Rendering dargestellt werden kann, sowie einem panoramatischen Himmelsdome. Auf Basis dieser Darstellung lernen wir einen generativen Weltmodell ausschließlich aus einzelnen Internetbildern mit einer Ansicht. Unser Ansatz ermöglicht die Simulation langer Flüge durch 3D-Landschaften unter Beibehaltung der globalen Szenenkonsistenz – beispielsweise ergibt sich bei Rückkehr zum Ausgangspunkt dieselbe Sicht auf die Szene. Unser Verfahren erlaubt die Szenenausdehnung jenseits der festen Grenzen der aktuellen 3D-Generativmodelle und unterstützt zudem eine persistente, kameraindifferente Weltrepräsentation, die sich deutlich von autoregressiven 3D-Vorhersagemodellen unterscheidet. Unser Projekt-Page: https://chail.github.io/persistent-nature/.