Mip-NeRF 360 : Champs de radiance neuronaux anti-crénelés non bornés

Bien que les champs de radiance neuronaux (NeRF) aient démontré des résultats impressionnants en synthèse de vue sur des objets ou des régions limitées de l’espace, ils peinent à traiter les scènes « non bornées », dans lesquelles la caméra peut pointer dans n’importe quelle direction et où des éléments peuvent exister à n’importe quelle distance. Dans ce cadre, les modèles NeRF existants produisent souvent des rendus flous ou à faible résolution (en raison d’un déséquilibre entre les détails et les échelles des objets proches et éloignés), sont lents à s’entraîner, et peuvent présenter des artefacts dus à l’ambiguïté inhérente à la tâche de reconstruction d’une scène vaste à partir d’un petit ensemble d’images. Nous proposons une extension de mip-NeRF (une variante de NeRF qui attaque les problèmes d’échantillonnage et d’aliasing) qui utilise une paramétrisation non linéaire de la scène, une distillation en ligne et un nouveau régulariseur basé sur la distorsion, afin de surmonter les défis posés par les scènes non bornées. Notre modèle, que nous appelons « mip-NeRF 360 » puisqu’il cible des scènes où la caméra effectue une rotation de 360 degrés autour d’un point, réduit l’erreur quadratique moyenne de 57 % par rapport à mip-NeRF, et parvient à générer des vues synthétisées réalistes ainsi que des cartes de profondeur détaillées pour des scènes réelles complexes et non bornées.