Mit der Einführung von WorldGen präsentiert ein Forschungsteam ein bahnbrechendes System, das es ermöglicht, interaktive und navigierbare 3D-Welten direkt aus einem einfachen Textprompt zu generieren – beispielsweise „cartoon medieval village“ oder „sci-fi base station on Mars“. Im Gegensatz zu früheren Ansätzen, die nur von einer festen Perspektive aus begannen und schnell an Qualität verloren, wenn man sich vom Zentrum entfernte, erzeugt WorldGen konsistente, großflächige Umgebungen von bis zu 50 x 50 Metern, die stilistisch und geometrisch einheitlich bleiben. Dies gelingt durch eine Kombination aus prozeduralem Planen, diffusionbasierten 3D-Generierungstechniken und objektbasiertem Szenen-Dezimierungsansatz. Der Prozess umfasst mehrere Schritte: von der Erstellung einer globalen Planung und Navmesh-Extraktion über die Generierung von Referenzbildern bis hin zur Bild-zu-3D-Rekonstruktion, Mesh-Refinement und Texturierung. Besonders innovativ ist die Nutzung von beschleunigten Methoden wie AutoPartGen zur präzisen Extraktion von Objekten aus Szenen, was die Qualität und Konsistenz der finalen Welt erheblich steigert. Im Gegensatz zu anderen Systemen, die nur lokal konsistente Szenen erzeugen, bietet WorldGen eine globale Kohärenz, die es ermöglicht, durch die Welt zu wandern, ohne auf geometrische Inkonsistenzen oder Abbrüche zu stoßen. Die generierten Welten sind bereits kompatibel mit Standard-Spiel-Engines wie Unity und Unreal, ohne zusätzliche Konvertierungen oder Rendering-Pipelines. Damit ist WorldGen nicht nur ein Forschungsergebnis, sondern ein Schritt hin zu einer Zukunft, in der jeder – unabhängig von technischem Know-how – virtuelle Welten erstellen kann, wie es das Team bei der Connect-Konferenz visioniert hat. Trotz der Fortschritte verfügt WorldGen noch über Einschränkungen: Die aktuelle Version generiert noch nicht ausreichend große Welten und hat eine relativ hohe Latenz. Zukünftige Versionen sollen diese Probleme lösen, indem sie größere Flächen und schnellere Generierungszeiten ermöglichen. Die Technologie hat großes Potenzial für Gaming, Simulation, immersive soziale Plattformen und andere Bereiche, in denen zeit- und kostenintensive 3D-Content-Erstellung bisher ein Hindernis war. Industrieexperten sehen in WorldGen einen Meilenstein der KI-gestützten Weltgenerierung. „Dies ist der erste Schritt zu einer vollständig generativen 3D-Welt-Entwicklung“, sagt ein Experte für KI-Animation. „Die Kombination aus globaler Planung und detailreicher Rekonstruktion ist bahnbrechend.“ Das Projekt wurde unter Leitung von Dilin Wang, Hyunyoung Jung und Andrea Vedaldi entwickelt und ist Teil eines breiteren Bemühens, die KI-Technologie für kreative Prozesse zugänglicher zu machen. Die Forschung steht noch im Experimentierstadium, aber die Vision ist klar: Eine Welt, in der kreative Ideen in wenigen Sekunden in lebendige, erkundbare 3D-Räume umgesetzt werden können.