Matrix-3D : Génération de mondes 3D omnidirectionnels explorables

La génération d’un monde 3D explorable à partir d’une seule image ou d’un prompt textuel constitue une pierre angulaire de l’intelligence spatiale. Les travaux récents exploitent des modèles vidéo pour réaliser une génération de mondes 3D à large échelle et généralisable. Toutefois, les approches existantes souffrent souvent d’un champ de génération limité dans les scènes produites. Dans ce travail, nous proposons Matrix-3D, un cadre basé sur une représentation panoramique pour la génération de mondes 3D omnidirectionnels à couverture étendue, explo-rables et intégrant à la fois la génération vidéo conditionnelle et la reconstruction 3D panoramique. Nous entraînons d’abord un modèle diffusion vidéo panoramique guidé par une trajectoire, utilisant des rendus de maillage scènes comme condition, afin de permettre la génération de vidéos scènes de haute qualité et géométriquement cohérentes. Pour passer de la vidéo panoramique à un monde 3D, nous proposons deux méthodes distinctes : (1) un modèle de reconstruction panoramique à grande échelle à propagation directe pour une reconstruction rapide de la scène 3D, et (2) une pipeline basée sur l’optimisation pour une reconstruction 3D précise et détaillée. Afin de faciliter un entraînement efficace, nous introduisons également le jeu de données Matrix-Pano, la première collection synthétique à grande échelle comprenant 116 000 séquences vidéo panoramiques statiques de haute qualité, munies d’annotations de profondeur et de trajectoire. Des expériences étendues démontrent que notre cadre proposé atteint des performances de pointe dans la génération de vidéos panoramiques et la génération de mondes 3D. En savoir plus sur https://matrix-3d.github.io.