HyperAIHyperAI

Command Palette

Search for a command to run...

Persistente Natur: Ein generatives Modell unbegrenzter 3D-Welten

Lucy Chai Richard Tucker Zhengqi Li Phillip Isola Noah Snavely

Zusammenfassung

Trotz zunehmend realistischer Bildqualität operieren aktuelle 3D-Bildgenerativmodelle häufig auf 3D-Volumina mit festgelegtem Umfang und begrenzten Kamerabewegungen. Wir untersuchen die Aufgabe der bedingungslosen Synthese unbeschränkter Naturszenen, die beliebig große Kamerabewegungen ermöglichen, während gleichzeitig ein konsistenter 3D-Weltmodell erhalten bleibt. Unsere Szenendarstellung besteht aus einem erweiterbaren, ebenen Szenenlayout-Gitter, das von beliebigen Kameraposen aus über einen 3D-Decoder und Volumen-Rendering dargestellt werden kann, sowie einem panoramatischen Himmelsdome. Auf Basis dieser Darstellung lernen wir einen generativen Weltmodell ausschließlich aus einzelnen Internetbildern mit einer Ansicht. Unser Ansatz ermöglicht die Simulation langer Flüge durch 3D-Landschaften unter Beibehaltung der globalen Szenenkonsistenz – beispielsweise ergibt sich bei Rückkehr zum Ausgangspunkt dieselbe Sicht auf die Szene. Unser Verfahren erlaubt die Szenenausdehnung jenseits der festen Grenzen der aktuellen 3D-Generativmodelle und unterstützt zudem eine persistente, kameraindifferente Weltrepräsentation, die sich deutlich von autoregressiven 3D-Vorhersagemodellen unterscheidet. Unser Projekt-Page: https://chail.github.io/persistent-nature/.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp