世界モデルは、AI研究における基盤的な存在となり、エージェントが自らが存在する動的な環境を理解し、表現し、予測する能力を可能にしている。これまでの研究は、主に2次元画像および動画データに対する生成的手法に注目していたが、RGB-D画像、占有グリッド、LiDAR点群といったネイティブな3次元（3D）および4次元（4D）表現を用いた大規模シーンモデリングに関する急速に拡大している研究動向には、ほとんど注目を寄せていなかった。一方で、「世界モデル」という概念に対する標準的な定義や分類体系の不在により、学術文献内では断片的かつ場合によっては一貫性に欠ける主張が散見されている。本調査はこうしたギャップを埋めるために、3Dおよび4D世界モデルの構築と生成に特化した初めての包括的レビューを提示する。本稿では、明確な定義を提示し、動画に基づく（VideoGen）、占有情報に基づく（OccGen）、LiDARに基づく（LiDARGen）アプローチを網羅する構造的分類体系を導入するとともに、3D/4D環境に特化したデータセットおよび評価指標を体系的にまとめている。さらに、実用的な応用事例を検討し、未解決の課題を明らかにし、有望な研究方向性を提示することで、本分野の発展を支える一貫性のある基盤的リファレンスの提供を目指している。既存文献の体系的まとめは、https://github.com/worldbench/survey にて公開されている。