Apprentissage d'une orientation sémantique consciente pour l'amélioration d'images en faible éclairage

L’amélioration d’images en faible éclairage (LLIE) vise à améliorer l’illumination et à produire des images équivalentes à celles prises sous une luminosité normale. La majorité des méthodes existantes améliorent les images en faible éclairage de manière globale et uniforme, sans tenir compte des informations sémantiques des différentes régions. En l’absence de priori sémantique, un réseau peut facilement dévier des couleurs originales d’une région donnée. Pour résoudre ce problème, nous proposons un nouveau cadre guidé par des connaissances sémantiques (SKF), capable d’aider un modèle d’amélioration en faible éclairage à apprendre des priori riches et diversifiés intégrés dans un modèle de segmentation sémantique. Notre approche se concentre sur l’intégration des connaissances sémantiques selon trois axes clés : un module d’encodage sensible à la sémantique qui intègre intelligemment les priori sémantiques dans l’espace de représentation des caractéristiques, une fonction de perte de histogramme des couleurs guidée par la sémantique, qui préserve la cohérence des couleurs entre différentes instances, et une perte adversarielle guidée par la sémantique, qui produit des textures plus naturelles grâce à l’apport des priori sémantiques. Notre cadre SKF s’avère particulièrement prometteur en tant que cadre généralisable pour la tâche de LLIE. Des expériences étendues montrent que les modèles équipés de SKF surpassent significativement les méthodes de référence sur plusieurs jeux de données, et que SKF se généralise bien à différents modèles et scènes. Le code est disponible à l’adresse suivante : Semantic-Aware-Low-Light-Image-Enhancement.