Weltmodellierung ist zu einem Eckpfeiler der KI-Forschung geworden und ermöglicht es Agenten, ihre dynamischen Umgebungen zu verstehen, darzustellen und vorherzusagen. Während frühere Arbeiten vorwiegend generative Methoden für 2D-Bild- und Videodaten betonen, werden die rasch wachsenden Forschungsansätze, die native 3D- und 4D-Darstellungen wie RGB-D-Bilder, Besetzungsgrid-Daten und LiDAR-Punktwolken für die großflächige Szenenmodellierung nutzen, oft übersehen. Gleichzeitig führt die fehlende standardisierte Definition und Taxonomie von „Weltmodellen“ zu fragmentierten und manchmal inkonsistenten Aussagen in der Literatur. Diese Übersichtsarbeit schließt diese Lücken, indem sie die erste umfassende Analyse vorlegt, die explizit der 3D- und 4D-Weltmodellierung und -generierung gewidmet ist. Wir definieren Begriffe präzise, stellen eine strukturierte Taxonomie vor, die Ansätze basierend auf Videos (VideoGen), Besetzungsdaten (OccGen) und LiDAR (LiDARGen) umfasst, und fassen systematisch Datensätze sowie Evaluierungsmaße für 3D/4D-Umgebungen zusammen. Darüber hinaus diskutieren wir praktische Anwendungen, identifizieren offene Herausforderungen und weisen auf vielversprechende Forschungspfade hin, um eine einheitliche und fundierte Referenz für die Weiterentwicklung des Feldes bereitzustellen. Eine systematische Zusammenfassung der bestehenden Literatur ist unter https://github.com/worldbench/survey verfügbar.