MobileNeRF : Exploiter la pipeline de rasterisation de polygones pour un rendu efficace des champs neuronaux sur les architectures mobiles

Les champs de radiance neuronaux (NeRF) ont démontré une capacité remarquable à synthétiser des images de scènes 3D à partir de nouvelles perspectives. Toutefois, ils dépendent d’algorithmes spécialisés de rendu volumétrique basés sur le parcours de rayons (ray marching), qui ne sont pas adaptés aux capacités des matériels graphiques largement déployés. Ce papier présente une nouvelle représentation NeRF fondée sur des polygones texturés, permettant de synthétiser efficacement des images à partir de nouvelles vues grâce à des pipelines de rendu standards. Le NeRF est représenté comme un ensemble de polygones dotés de textures qui codent des opacités binaires et des vecteurs de caractéristiques. Le rendu traditionnel de ces polygones à l’aide d’un z-buffer produit une image contenant des caractéristiques à chaque pixel, interprétées par un petit réseau de neurones à dépendance de vue (MLP), exécuté dans un shader de fragments, afin d’obtenir la couleur finale de chaque pixel. Cette approche permet de rendre les NeRF à l’aide du pipeline classique de rasterisation de polygones, offrant ainsi une parallélisation massive au niveau des pixels et atteignant des taux d’images interactifs sur une large gamme de plateformes informatiques, y compris les téléphones portables.