Sem2NeRF : Conversion de masques sémantiques mono-vue en champs de rayonnement neuronaux

La traduction et la manipulation d'images ont suscité une attention croissante avec le développement rapide des modèles génératifs profonds. Bien que les approches existantes aient apporté des résultats impressionnants, elles se sont principalement concentrées sur l'espace 2D. À la lumière des récentes avancées dans les modèles génératifs 3D basés sur NeRF (Neural Radiance Fields), nous introduisons une nouvelle tâche, la traduction sémantique vers NeRF, qui vise à reconstruire un modèle de scène 3D représenté par NeRF, conditionné à partir d'un masque sémantique unique en vue simple comme entrée. Pour lancer cette tâche novatrice, nous proposons le cadre Sem2NeRF. Plus particulièrement, Sem2NeRF aborde cette tâche hautement complexe en encodant le masque sémantique dans un code latent qui contrôle la représentation de la scène 3D d'un décodeur pré-entraîné. Pour améliorer encore davantage la précision du mappage, nous intégrons une nouvelle stratégie d'apprentissage régionale dans la conception de l'encodeur et du décodeur. Nous vérifions l'efficacité du Sem2NeRF proposé et démontrons qu'il surpassse plusieurs baselines robustes sur deux jeux de données de référence. Le code source et une vidéo sont disponibles à l'adresse suivante : https://donydchen.github.io/sem2nerf/