HyperAIHyperAI

Command Palette

Search for a command to run...

GRAF : Champs de Rayonnement Génératifs pour la Synthèse d'Images Conscientes en 3D

Katja Schwarz Yiyi Liao Michael Niemeyer Andreas Geiger

Résumé

Bien que les réseaux de neurones adversariaux génératifs bidimensionnels (2D GAN) aient permis la synthèse d'images à haute résolution, ils manquent en grande partie d'une compréhension du monde tridimensionnel (3D) et du processus de formation des images. Par conséquent, ils ne fournissent pas un contrôle précis sur le point de vue de la caméra ou la pose des objets. Pour remédier à ce problème, plusieurs approches récentes exploitent des représentations intermédiaires basées sur des voxels en combinaison avec un rendu différentiable. Cependant, les méthodes existantes produisent soit une résolution d'image faible, soit échouent à dissocier les propriétés de la caméra et de la scène, par exemple, l'identité de l'objet peut varier selon le point de vue.Dans cet article, nous proposons un modèle génératif pour les champs de rayonnement qui ont récemment fait leurs preuves dans la synthèse de nouvelles vues d'une scène unique. Contrairement aux représentations basées sur des voxels, les champs de rayonnement ne sont pas limités à une discrétisation grossière de l'espace 3D, mais permettent néanmoins de dissocier les propriétés de la caméra et de la scène tout en dégradant progressivement en présence d'ambiguïtés de reconstruction. En introduisant un discriminant basé sur des patches multi-échelles, nous démontrons la synthèse d'images à haute résolution tout en formant notre modèle uniquement à partir d'images 2D non posées.Nous analysons systématiquement notre approche sur plusieurs jeux de données synthétiques et réels difficiles. Nos expériences montrent que les champs de rayonnement constituent une représentation puissante pour la synthèse d'images génératives, conduisant à des modèles 3D cohérents qui rendent avec une haute fidélité.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp