Abstract

Das Feld der 4D-Weltenmodellierung – mit dem Ziel, räumliche Geometrie und zeitliche Dynamik gemeinsam zu erfassen – hat in den letzten Jahren bemerkenswerte Fortschritte gemacht, getrieben durch Fortschritte in großskaligen generativen Modellen und multimodalen Lernverfahren. Doch die Entwicklung wirklich allgemeiner 4D-Weltenmodelle bleibt grundlegend durch die Verfügbarkeit hochwertiger Daten eingeschränkt. Bestehende Datensätze und Benchmark-Tests fehlen oft an der erforderlichen dynamischen Komplexität, vielfältiger Domänenvielfalt sowie räumlich-zeitlichen Annotationen, um zentrale Aufgaben wie die 4D-Geometrierekonstruktion, zukünftige Vorhersage und kameraorientierte Videogenerierung zu unterstützen. Um diese Lücke zu schließen, stellen wir OmniWorld vor – einen großskaligen, mehrdomänen- und multimodalen Datensatz, speziell für die 4D-Weltenmodellierung konzipiert. OmniWorld besteht aus einem neu erfassten OmniWorld-Game-Datensatz sowie mehreren ausgewählten öffentlichen Datensätzen, die sich über unterschiedliche Domänen erstrecken. Im Vergleich zu bestehenden synthetischen Datensätzen bietet OmniWorld-Game eine umfassendere Modalitätenabdeckung, eine größere Skalierung und realistischere dynamische Interaktionen. Auf Basis dieses Datensatzes etablieren wir einen anspruchsvollen Benchmark, der die Grenzen aktueller State-of-the-Art (SOTA)-Ansätze bei der Modellierung komplexer 4D-Umgebungen aufzeigt. Zudem führt die Feinabstimmung bestehender SOTA-Methoden auf OmniWorld zu signifikanten Leistungssteigerungen bei Aufgaben der 4D-Rekonstruktion und Videogenerierung, was OmniWorld als eine leistungsstarke Ressource für Training und Evaluation eindrucksvoll belegt. Wir sehen OmniWorld als einen Treiber für die Beschleunigung der Entwicklung allgemeiner 4D-Weltenmodelle und damit letztlich als Beitrag zur vertieften, ganzheitlichen Verständnis der physischen Welt durch Maschinen.