HyperAIHyperAI

Command Palette

Search for a command to run...

WorldGen: Interaktive 3D-Welten aus Textprompten

Mit der Einführung von WorldGen präsentiert ein Forschungsteam ein bahnbrechendes System, das es ermöglicht, interaktive und navigierbare 3D-Welten direkt aus einem einfachen Textprompt zu generieren – beispielsweise „cartoon medieval village“ oder „sci-fi base station on Mars“. Im Gegensatz zu bisherigen Ansätzen, die nur von einer festen Blickrichtung ausgehen und die Qualität bei größerer Entfernung schnell verlieren, erzeugt WorldGen konsistente, volltexturierte Szenen mit einer Ausdehnung von bis zu 50 x 50 Metern, wobei Stil, Geometrie und räumliche Kohärenz über die gesamte Welt hinweg gewahrt bleiben. Das System kombiniert mehrere fortschrittliche Technologien: prozedurale Planung, diffusionbasierte 3D-Generierung und objektbasierte Szenenzerlegung. Der Prozess umfasst mehrere Schritte: von der Erstellung einer globalen Planung und Navmesh-Extraktion über die Generierung von Referenzbildern und die Rekonstruktion aus 2D-Bildern bis hin zur feinen Anpassung von Mesh- und Texturmodellen. Ein zentrales Innovationsmerkmal ist die Verwendung von AutoPartGen mit beschleunigter Verarbeitung, um Szenen in semantisch sinnvolle Objekte zu zerlegen, was die Qualität und Konsistenz der generierten Welt erheblich steigert. Die resultierenden Szenen sind render-effizient und kompatibel mit gängigen Game-Engines wie Unity und Unreal, ohne zusätzliche Umwandlungen oder Rendering-Pipelines. Obwohl WorldGen derzeit noch im Forschungsstadium ist und nicht für Entwickler verfügbar ist, zeigt es das Potenzial, die Erstellung von 3D-Inhalten signifikant zu beschleunigen und zu vereinfachen. Die Technologie könnte künftig in Bereichen wie Gaming, Simulation, virtuelle Soziale Umgebungen und sogar im Architektur- und Film-Design Anwendung finden. Gegenwärtige Limitationen beinhalten begrenzte Weltgrößen und generative Latenz, die in zukünftigen Versionen adressiert werden sollen. Die Vision hinter WorldGen ist, die 3D-Inhaltschaffung für jedermann zugänglich zu machen – ohne Programmierkenntnisse, nur mit Text. Dies passt nahtlos in die kürzlich vorgestellte Strategie, die auf der Connect-Konferenz präsentiert wurde, und markiert einen entscheidenden Schritt hin zu einer Welt, in der jeder virtuelle Welten erschaffen kann, so wie man heute ein Bild mit einem Prompt generiert. Industrieexperten sehen in WorldGen einen Meilenstein der KI-gestützten Inhaltserstellung. „Bislang war die Erstellung einer navigierbaren 3D-Szene ein monatelanges, ressourcenintensives Unterfangen. WorldGen könnte diese Prozesse in Minuten reduzieren und damit die Barriere für kreative und technische Entwickler erheblich senken“, sagt ein Experte für KI-Generative Systeme. Die zugrundeliegende Forschung stammt von einem interdisziplinären Team, das unter Leitung von Dilin Wang, Hyunyoung Jung und Andrea Vedaldi an der University of Oxford, dem Max-Planck-Institut und der University of California, Berkeley, zusammenarbeitete. Die Technologie baut auf etablierten KI-Modellen wie Diffusion- und Neuronalen Netzwerken auf, wobei besonderer Fokus auf räumlicher Konsistenz und interaktiver Struktur liegt. Obwohl die kommerzielle Verfügbarkeit noch nicht absehbar ist, könnte WorldGen in Zukunft die Grundlage für neue Formen von digitalen Erlebnissen bilden – von immersiven Lernumgebungen bis hin zu massiv multiusern virtuellen Welten.

Verwandte Links

WorldGen: Interaktive 3D-Welten aus Textprompten | Aktuelle Beiträge | HyperAI