HyperAIHyperAI

Command Palette

Search for a command to run...

NeRD : Décomposition de Réflectance Neuronale à partir de Collections d'Images

Mark Boss¹ Raphael Braun¹ Varun Jampani² Jonathan T. Barron² Ce Liu² Hendrik P.A. Lensch¹

Résumé

La décomposition d'une scène en sa forme, son réflectance et son éclairage est un problème difficile mais important en vision par ordinateur et en infographie. Ce problème devient encore plus complexe lorsque l'éclairage n'est pas une seule source lumineuse sous des conditions de laboratoire, mais plutôt un éclairage environnemental non contraint. Bien que des travaux récents aient montré qu'il est possible d'utiliser des représentations implicites pour modéliser le champ de rayonnement d'un objet, la plupart de ces techniques ne permettent que la synthèse de vues et non le re-lighting (relighting). De plus, l'évaluation de ces champs de rayonnement est gourmande en ressources et en temps. Nous proposons une technique de décomposition de réflectance neuronale (NeRD) qui utilise un rendu basé sur la physique pour décomposer la scène en propriétés matérielles BRDF variant spatialement. Contrairement aux techniques existantes, nos images d'entrée peuvent être capturées sous différentes conditions d'éclairage. De plus, nous proposons également des méthodes pour convertir le volume de réflectance appris en un maillage texturé re-lightable, permettant un rendu rapide en temps réel avec des éclairages nouveaux. Nous démontrons le potentiel de notre approche proposée à travers des expériences sur des jeux de données synthétiques et réels, où nous sommes capables d'obtenir des actifs 3D re-lightables de haute qualité à partir de collections d'images. Les jeux de données et le code sont disponibles sur la page du projet : https://markboss.me/publication/2021-nerd/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp