De NeRFLiX à NeRFLiX++ : un paradigme généraliste de restauration indépendant des NeRF

Les champs de radiance neuronaux (NeRF) ont connu un succès remarquable dans la synthèse de vues nouvelles. Toutefois, la récupération de détails de haute qualité à partir de scènes du monde réel reste un défi pour les approches basées sur NeRF existantes, en raison d'informations potentiellement imparfaites d'étalonnage et d'inexactitudes dans la représentation de la scène. Même avec des images d'entraînement de haute qualité, les vues synthétiques générées par les modèles NeRF souffrent encore de défauts visuels notoires, tels que le bruit ou le flou. Pour remédier à ce problème, nous proposons NeRFLiX, un paradigme généraliste de restauration indépendant des NeRF, qui apprend un mélangeur inter-vues piloté par les dégradations. Plus précisément, nous avons conçu une méthode de modélisation des dégradations inspirée du style NeRF et construit un jeu de données d'entraînement à grande échelle, permettant ainsi aux réseaux neuronaux profonds d'effacer efficacement les artefacts propres aux rendus NeRF. En outre, au-delà de la suppression des dégradations, nous introduisons un cadre d'agrégation inter-vues qui fusionne des images d'entraînement de haute qualité fortement corrélées, poussant les performances des modèles NeRF les plus avancés à de nouveaux sommets et produisant des vues synthétiques hautement réalistes. À partir de ce paradigme, nous présentons également NeRFLiX++, doté d’un simulateur de dégradation NeRF à deux étapes plus puissant et d’un mélangeur inter-vues plus rapide, offrant des performances supérieures avec une efficacité computationnelle significativement améliorée. Notamment, NeRFLiX++ est capable de restaurer des sorties ultra-haute résolution et photoréalistes à partir de vues NeRF de basse résolution bruitées. Des expériences étendues démontrent l’excellente capacité de restauration de NeRFLiX++ sur divers benchmarks de synthèse de vues nouvelles.