Modèles de diffusion pyramidaux pour l'amélioration d'images en faible éclairage

Récupérer des détails masqués par le bruit dans des images prises dans des conditions de faible éclairage est un défi, et les résultats obtenus par les méthodes antérieures laissent encore place à des améliorations. Les modèles de diffusion récents ont démontré une génération d’images réaliste et détaillée grâce à une suite d’étapes de débruitage itératives, ce qui nous a inspirés à les appliquer à l’amélioration des images en faible éclairage afin de restaurer des détails réalistes. Toutefois, nous avons identifié deux problèmes dans cette approche : 1) les modèles de diffusion maintiennent une résolution constante au cours d’un processus de rétropropagation, ce qui limite leur vitesse ; 2) ces modèles peuvent parfois entraîner une dégradation globale (par exemple, un décalage RGB). Pour surmonter ces limitations, ce papier propose un modèle de diffusion pyramidal (PyDiff) dédié à l’amélioration des images en faible éclairage. PyDiff utilise une nouvelle méthode de diffusion pyramidal qui effectue l’échantillonnage selon un style de résolution hiérarchique (c’est-à-dire une augmentation progressive de la résolution au cours d’un processus de rétropropagation). Cette approche pyramidal rend PyDiff bien plus rapide que les modèles de diffusion classiques, sans entraîner de perte de performance. En outre, PyDiff intègre un correcteur global pour atténuer les dégradations globales susceptibles de survenir durant le processus de rétropropagation, améliorant significativement les performances tout en rendant l’entraînement des modèles de diffusion plus facile, avec un coût computationnel additionnel négligeable. Des expériences étendues sur des benchmarks populaires montrent que PyDiff atteint des performances supérieures en termes de qualité et d’efficacité. En outre, PyDiff se généralise efficacement à des distributions de bruit et d’éclairage inédites.