WDRN : Un RelightNet basé sur la décomposition par ondelettes pour le relumage d’images

La tâche de recalibrer les paramètres d’éclairage d’une image vers une configuration cible est connue sous le nom de re-éclairage (relighting). Les techniques de re-éclairage présentent des applications potentielles dans la photographie numérique, l’industrie du jeu vidéo et la réalité augmentée. Dans cet article, nous abordons le problème de re-éclairage un-à-un, dans lequel une image sous des conditions d’éclairage cible est prédite à partir d’une image d’entrée soumise à des conditions d’éclairage spécifiques. À cette fin, nous proposons un réseau innovant appelé WDRN (Wavelet Decomposed RelightNet), un réseau encodeur-décodeur qui utilise une décomposition par ondelettes suivie de couches de convolution dans un cadre multi-résolution. Nous introduisons également une nouvelle fonction de perte, nommée « gray loss », qui garantit un apprentissage efficace des gradients d’éclairage selon différentes directions de l’image de référence, conduisant à des images re-éclairées de qualité visuelle supérieure. La solution proposée a obtenu la première place lors du défi de re-éclairage organisé dans le cadre du workshop Advances in Image Manipulation (AIM) 2020, ce qui atteste de son efficacité, mesurée par un score moyen perceptuel basé sur la SSIM (Structural Similarity Index) et un score de similarité d’image par patch perceptuelle apprise (LPIPS).