Command Palette
Search for a command to run...
GRAF : Champs de Rayonnement Génératifs pour la Synthèse d'Images Conscientes en 3D
GRAF : Champs de Rayonnement Génératifs pour la Synthèse d'Images Conscientes en 3D
Katja Schwarz Yiyi Liao Michael Niemeyer Andreas Geiger
Résumé
Bien que les réseaux de neurones adversariaux génératifs bidimensionnels (2D GAN) aient permis la synthèse d'images à haute résolution, ils manquent en grande partie d'une compréhension du monde tridimensionnel (3D) et du processus de formation des images. Par conséquent, ils ne fournissent pas un contrôle précis sur le point de vue de la caméra ou la pose des objets. Pour remédier à ce problème, plusieurs approches récentes exploitent des représentations intermédiaires basées sur des voxels en combinaison avec un rendu différentiable. Cependant, les méthodes existantes produisent soit une résolution d'image faible, soit échouent à dissocier les propriétés de la caméra et de la scène, par exemple, l'identité de l'objet peut varier selon le point de vue.Dans cet article, nous proposons un modèle génératif pour les champs de rayonnement qui ont récemment fait leurs preuves dans la synthèse de nouvelles vues d'une scène unique. Contrairement aux représentations basées sur des voxels, les champs de rayonnement ne sont pas limités à une discrétisation grossière de l'espace 3D, mais permettent néanmoins de dissocier les propriétés de la caméra et de la scène tout en dégradant progressivement en présence d'ambiguïtés de reconstruction. En introduisant un discriminant basé sur des patches multi-échelles, nous démontrons la synthèse d'images à haute résolution tout en formant notre modèle uniquement à partir d'images 2D non posées.Nous analysons systématiquement notre approche sur plusieurs jeux de données synthétiques et réels difficiles. Nos expériences montrent que les champs de rayonnement constituent une représentation puissante pour la synthèse d'images génératives, conduisant à des modèles 3D cohérents qui rendent avec une haute fidélité.