GLARE : Amélioration des images à faible luminosité par récupération de codebook basée sur les caractéristiques latentes génératives

La plupart des méthodes existantes d'amélioration d'images à faible éclairage (LLIE) procèdent soit par une cartographie directe de l'éclairage faible (LL) à l'éclairage normal (NL), soit en utilisant des cartes sémantiques ou d'éclairage comme guides. Cependant, la nature mal posée de LLIE et la difficulté de récupérer des informations sémantiques à partir d'entrées dégradées limitent ces méthodes, en particulier dans des conditions d'éclairage extrêmement faibles. Pour résoudre ce problème, nous présentons un nouveau réseau LLIE basé sur la récupération de codes latents génératifs (Generative LAtent feature based codebook REtrieval, GLARE), où le priori du codebook est dérivé d'images NL non dégradées en utilisant une stratégie de quantification vectorielle (VQ). Plus important encore, nous développons un module de flux latent inversible génératif (Invertible Latent Normalizing Flow, I-LNF) pour aligner la distribution des caractéristiques LL sur les représentations latentes NL, garantissant ainsi une récupération correcte des codes dans le codebook. De plus, un nouveau module de transformation de caractéristiques adaptatives (Adaptive Feature Transformation, AFT), doté d'une fonction ajustable pour les utilisateurs et comprenant un bloc mix-up adaptable (Adaptive Mix-up Block, AMB) ainsi qu'une architecture à double décodeur, a été conçu pour améliorer davantage la fidélité tout en préservant les détails réalistes fournis par le priori du codebook. Des expériences approfondies confirment les performances supérieures de GLARE sur divers jeux de données de référence et des données réelles. Son efficacité en tant qu'outil de prétraitement dans les tâches de détection d'objets à faible éclairage valide également GLARE pour des applications visuelles avancées. Le code est disponible sur https://github.com/LowLevelAI/GLARE.