Représentation de champ de radiance en temps réel par Splatting Gaussien 3D

Les méthodes basées sur les champs de radiance ont récemment révolutionné la synthèse de vues nouvelles à partir de scènes capturées par plusieurs photos ou vidéos. Toutefois, obtenir une qualité visuelle élevée nécessite encore des réseaux neuronaux coûteux à entraîner et à rendre, tandis que les méthodes plus rapides récentes compromettent inévitablement vitesse et qualité. Pour des scènes illimitées et complètes (plutôt que des objets isolés) et une résolution de rendu de 1080p, aucune méthode actuelle ne permet d’atteindre des taux d’affichage en temps réel. Nous introduisons trois éléments clés qui nous permettent d’obtenir une qualité visuelle de pointe tout en maintenant des temps d’entraînement compétitifs, et surtout, de réaliser une synthèse de vues nouvelles de haute qualité en temps réel (≥ 30 fps) à une résolution de 1080p. Premièrement, à partir de points épars générés lors de la calibration des caméras, nous représentons la scène à l’aide de Gaussiennes 3D, qui préserver les propriétés souhaitables des champs de radiance volumétriques continus pour l’optimisation de la scène tout en évitant les calculs inutiles dans les espaces vides ; deuxièmement, nous réalisons une optimisation imbriquée et un contrôle de densité des Gaussiennes 3D, en particulier en optimisant la covariance anisotrope afin d’obtenir une représentation précise de la scène ; troisièmement, nous avons développé un algorithme de rendu rapide et conscient de la visibilité, qui prend en charge le « splatting » anisotrope, accélérant ainsi l’entraînement tout en permettant un rendu en temps réel. Nous démontrons une qualité visuelle de pointe et un rendu en temps réel sur plusieurs jeux de données établis.