NeRF : Représentation des scènes sous forme de champs de rayonnement neuronaux pour la synthèse d'images de vue

Nous présentons une méthode qui obtient des résultats de pointe pour la synthèse de nouvelles vues de scènes complexes en optimisant une fonction continue volumique sous-jacente à partir d'un ensemble d'entrées éparses. Notre algorithme représente une scène à l'aide d'un réseau neuronal profond entièrement connecté (non-convolutif), dont l'entrée est un seul coordonnée continue 5D (position spatiale $(x,y,z)$ et direction de vue $(θ, ϕ)$) et dont la sortie est la densité volumique et le rayonnement émis dépendant de la vue à cette position spatiale. Nous synthétisons les vues en interrogeant les coordonnées 5D le long des rayons de caméra et utilisons des techniques classiques de rendu volumique pour projeter les couleurs et les densités de sortie dans une image. Étant donné que le rendu volumique est naturellement différentiable, la seule entrée nécessaire pour optimiser notre représentation est un ensemble d'images avec des poses de caméra connues. Nous décrivons comment optimiser efficacement les champs neuronaux de rayonnement pour rendre des vues photoréalistes nouvelles de scènes aux géométries et apparences complexes, et nous montrons des résultats qui surpassent les travaux antérieurs sur le rendu neuronal et la synthèse de vue. Les résultats de synthèse de vue sont mieux appréciés sous forme vidéo, nous encourageons donc les lecteurs à consulter notre vidéo supplémentaire pour des comparaisons convaincantes.