EnlightenGAN : Amélioration profonde de l'éclairage sans supervision appariée

Les méthodes basées sur l'apprentissage profond (deep learning) ont connu un succès remarquable dans le domaine de la restauration et de l'amélioration d'images, mais restent-elles compétitives en cas de pénurie de données d'entraînement appariées ? Comme exemple, cet article explore le problème de l'amélioration des images à faible luminosité, où il est extrêmement difficile en pratique de prendre simultanément une photo à faible luminosité et une photo à lumière normale du même scène visuelle. Nous proposons un réseau génératif adversarial non supervisé (generative adversarial network, GAN) très efficace, appelé EnlightenGAN, qui peut être entraîné sans paires d'images à faible/lumière normale, tout en montrant une excellente généralisation sur diverses images réelles de test. Au lieu de superviser l'apprentissage avec des données vérités-terrain (ground truth), nous proposons de régulariser l'entraînement non apparié en utilisant les informations extraites directement de l'entrée elle-même. Nous évaluons également une série d'innovations pour le problème d'amélioration des images à faible luminosité, notamment une structure discriminatrice globale-locale, une fusion de pertes perceptuelles auto-régularisées et un mécanisme d'attention. Grâce à des expériences approfondies, notre approche proposée surpasses les méthodes récentes selon diverses métriques en termes de qualité visuelle et d'études subjectives auprès des utilisateurs. En raison de la grande flexibilité apportée par l'entraînement non apparié, il est démontré que EnlightenGAN peut facilement s'adapter à l'amélioration des images réelles provenant de différents domaines. Le code source est disponible à l'adresse \url{https://github.com/yueruchen/EnlightenGAN}.