NeRFLiX : Synthèse de vues neurale de haute qualité par l’apprentissage d’un MiXer inter-vues piloté par la dégradation

Les champs de radiance neuronaux (NeRF) ont connu un grand succès dans la synthèse de vues nouvelles. Toutefois, dans des scènes du monde réel, il reste difficile pour les approches actuelles basées sur NeRF de reconstruire des détails de haute qualité à partir des images sources, en raison d’une information de calibration potentiellement imparfaite et d’une inexactitude dans la représentation de la scène. Même avec des images d’entraînement de haute qualité, les vues synthétiques produites par les modèles NeRF souffrent encore de défauts visuels notables, tels que du bruit, de la floue, etc. Pour améliorer la qualité de synthèse des approches basées sur NeRF, nous proposons NeRFLiX, un paradigme généraliste et indépendant des NeRF, fondé sur un mécanisme d’interpolation entre points de vue piloté par la dégradation. Plus précisément, nous avons conçu une méthode de modélisation de la dégradation inspirée du style NeRF et construit un jeu de données d’entraînement à grande échelle, rendant possible l’élimination efficace des artefacts propres à la synthèse NeRF par les réseaux neuronaux profonds existants. En outre, au-delà de la suppression des dégradations, nous proposons un cadre d’agrégation inter-points de vue capable de fusionner des images d’entraînement de haute qualité fortement corrélées, poussant ainsi les performances des modèles NeRF de pointe à de nouveaux sommets et générant des vues synthétiques hautement photoréalistes.