Édition des champs de radiance conditionnels

Un champ de radiance neuronal (NeRF) est un modèle de scène permettant une synthèse de vue de haute qualité, optimisé par scène. Dans cet article, nous explorons la possibilité d’éditer par l’utilisateur un NeRF de niveau catégorie — également appelé champ de radiance conditionnel — entraîné sur une catégorie de formes. Plus précisément, nous introduisons une méthode permettant de propager des griffonnages 2D grossiers fournis par l’utilisateur vers l’espace 3D, afin de modifier la couleur ou la forme d’une région locale. Tout d’abord, nous proposons un champ de radiance conditionnel intégrant de nouveaux composants réseau modulaires, notamment une branche forme partagée entre différentes instances d’objets. En observant plusieurs instances de la même catégorie, notre modèle apprend automatiquement des sémantiques de parties sans supervision, ce qui permet de propager efficacement les griffonnages 2D bruts vers l’ensemble de la région 3D (par exemple, l’assise d’un fauteuil). Ensuite, nous proposons une stratégie hybride de mise à jour du réseau, ciblant spécifiquement certains composants du réseau, afin d’atteindre un équilibre entre efficacité et précision. Lors de l’interaction utilisateur, nous formulons un problème d’optimisation qui satisfait à la fois les contraintes imposées par l’utilisateur et préserve la structure initiale de l’objet. Nous démontrons l’efficacité de notre approche sur diverses tâches d’édition réalisées sur trois jeux de données de formes, et montrons qu’elle surpasser les méthodes antérieures d’édition neuronale. Enfin, nous appliquons notre méthode à l’édition de l’apparence et de la forme d’une photographie réelle, et montrons que les modifications se propagent correctement à des vues nouvelles extrapolées.