HyperAIHyperAI

Command Palette

Search for a command to run...

Sem2NeRF : Conversion de masques sémantiques mono-vue en champs de rayonnement neuronaux

Chen Yuedong ; Wu Qianyi ; Zheng Chuanxia ; Cham Tat-Jen ; Cai Jianfei

Résumé

La traduction et la manipulation d'images ont suscité une attention croissante avec le développement rapide des modèles génératifs profonds. Bien que les approches existantes aient apporté des résultats impressionnants, elles se sont principalement concentrées sur l'espace 2D. À la lumière des récentes avancées dans les modèles génératifs 3D basés sur NeRF (Neural Radiance Fields), nous introduisons une nouvelle tâche, la traduction sémantique vers NeRF, qui vise à reconstruire un modèle de scène 3D représenté par NeRF, conditionné à partir d'un masque sémantique unique en vue simple comme entrée. Pour lancer cette tâche novatrice, nous proposons le cadre Sem2NeRF. Plus particulièrement, Sem2NeRF aborde cette tâche hautement complexe en encodant le masque sémantique dans un code latent qui contrôle la représentation de la scène 3D d'un décodeur pré-entraîné. Pour améliorer encore davantage la précision du mappage, nous intégrons une nouvelle stratégie d'apprentissage régionale dans la conception de l'encodeur et du décodeur. Nous vérifions l'efficacité du Sem2NeRF proposé et démontrons qu'il surpassse plusieurs baselines robustes sur deux jeux de données de référence. Le code source et une vidéo sont disponibles à l'adresse suivante : https://donydchen.github.io/sem2nerf/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Sem2NeRF : Conversion de masques sémantiques mono-vue en champs de rayonnement neuronaux | Articles | HyperAI