Réseaux de re-éclairage profonds pour la manipulation de la source lumineuse dans les images

La manipulation de la source lumineuse dans des images données constitue une tâche intéressante et utile dans diverses applications, notamment la photographie et le cinéma. Les méthodes existantes nécessitent généralement des informations supplémentaires, telles que la structure géométrique de la scène, qui ne sont pas disponibles pour la majorité des images. Dans cet article, nous formulons la tâche de re-éclairage d'une seule image et proposons un nouveau réseau profond de re-éclairage (Deep Relighting Network, DRN), composé de trois composants : 1) la reconstitution de la scène, visant à révéler la structure principale de la scène à l’aide d’un réseau auto-encodeur profond ; 2) l’estimation a priori des ombres, permettant de prédire l’effet lumineux d’une nouvelle direction d’éclairage via un apprentissage adversaire ; et 3) le re-renderer, chargé d’associer la structure principale avec la vue des ombres reconstruite afin de produire l’estimation requise sous la source lumineuse cible. Les résultats expérimentaux montrent que la méthode proposée surpasser les autres approches, tant sur le plan qualitatif que quantitatif. En particulier, le DRN proposé a obtenu le meilleur score PSNR dans le cadre du défi « AIM2020 - Any to one relighting » organisé lors de la conférence ECCV 2020.