Nature persistante : un modèle génératif de mondes 3D illimités

Malgré une qualité d’image de plus en plus réaliste, les modèles récents de génération d’images 3D fonctionnent souvent sur des volumes 3D de taille fixe, avec des mouvements de caméra limités. Nous explorons la tâche de la synthèse inconditionnelle de scènes naturelles illimitées, permettant des mouvements de caméra arbitrairement grands tout en maintenant un modèle 3D persistant du monde. Notre représentation de scène repose sur une grille de disposition scénique plane extensible, pouvant être rendue à partir de poses de caméra arbitraires grâce à un décodeur 3D et au rendu de volume, ainsi qu’un dôme panoramique du ciel. À partir de cette représentation, nous apprenons un modèle mondial génératif à partir uniquement de photos internet en vue unique. Notre méthode permet de simuler des vols prolongés à travers des paysages 3D tout en préservant une cohérence globale de la scène — par exemple, le retour au point de départ redonne la même vue de la scène. Notre approche permet une extrapolation scénique au-delà des limites fixes des modèles génératifs 3D actuels, tout en soutenant une représentation du monde persistante et indépendante de la caméra, ce qui la distingue des modèles de prédiction 3D auto-régressifs. Page de projet : https://chail.github.io/persistent-nature/.