Estimation de l'éclairage en extérieur profond

Nous présentons une technique basée sur un réseau de neurones convolutifs (CNN) pour estimer l'éclairage extérieur à grande dynamique à partir d'une seule image à faible dynamique. Pour entraîner le CNN, nous utilisons un grand ensemble de données composé de panoramas extérieurs. Nous ajustons un modèle d'éclairage extérieur basé sur la physique et de dimensionnalité réduite aux ciels présents dans ces panoramas, ce qui nous fournit un ensemble compact de paramètres (y compris la position du soleil, les conditions atmosphériques et les paramètres de la caméra). Nous extrayons des images à champ de vision limité des panoramas et entraînons un CNN avec cet ensemble important de paires image d'entrée--paramètres d'éclairage en sortie. Étant donné une image de test, ce réseau peut être utilisé pour inférer les paramètres d'éclairage qui, à leur tour, peuvent être utilisés pour reconstruire une carte d'environnement d'éclairage extérieur. Nous démontrons que notre approche permet la récupération de conditions d'éclairage plausibles et facilite l'insertion photoréaliste d'objets virtuels à partir d'une seule image. Une évaluation approfondie sur le jeu de données de panoramas et sur des cartes d'environnement HDR capturées montre que notre technique surpass significativement les solutions précédentes à ce problème.