Résumé

Le domaine de la modélisation du monde en 4D — visant à capturer conjointement la géométrie spatiale et la dynamique temporelle — a connu, ces dernières années, des progrès remarquables, stimulés par les avancées des modèles génératifs à grande échelle et de l’apprentissage multimodal. Toutefois, le développement de modèles mondiaux 4D véritablement généraux reste fondamentalement freiné par la disponibilité de données de haute qualité. Les jeux de données et benchmarks existants manquent souvent de la complexité dynamique, de la diversité interdomaines et des annotations spatio-temporelles nécessaires pour soutenir des tâches clés telles que la reconstruction 4D, la prédiction de l’avenir ou la génération de vidéos contrôlées par caméra. Pour combler cet écart, nous introduisons OmniWorld, un jeu de données à grande échelle, multi-domaines et multimodal spécifiquement conçu pour la modélisation du monde en 4D. OmniWorld se compose d’un nouveau jeu de données, OmniWorld-Game, recueilli spécifiquement, ainsi que de plusieurs jeux de données publiques soigneusement sélectionnés couvrant des domaines divers. Par rapport aux jeux de données synthétiques existants, OmniWorld-Game offre une couverture modale plus riche, une échelle plus importante et des interactions dynamiques plus réalistes. À partir de ce jeu de données, nous établissons une benchmark exigeante qui met en évidence les limites des approches les plus avancées (state-of-the-art, SOTA) actuelles dans la modélisation d’environnements 4D complexes. En outre, le fine-tuning de méthodes SOTA existantes sur OmniWorld conduit à des gains significatifs de performance sur les tâches de reconstruction 4D et de génération vidéo, validant fortement OmniWorld comme une ressource puissante pour l’entraînement et l’évaluation. Nous voyons en OmniWorld un catalyseur capable d’accélérer le développement de modèles mondiaux 4D généraux, contribuant ainsi à une compréhension globale et plus profonde du monde physique par les machines.