RFSR : Amélioration des modèles de diffusion ISR par apprentissage à rétroaction de récompense

Les modèles de diffusion génératifs (DM) ont été largement utilisés dans la super-résolution d'images (ISR). La plupart des méthodes existantes adoptent la perte de débruitage des modèles de diffusion à pas de temps diffus (DDPM) pour l'optimisation du modèle. Nous soutenons que l'introduction d'un apprentissage par rétroaction de récompense pour affiner les modèles existants peut encore améliorer la qualité des images générées. Dans cet article, nous proposons une stratégie d'entraînement sensible aux pas de temps avec apprentissage par rétroaction de récompense. Plus précisément, dans les premières étapes de débruitage de l'ISR diffusion, nous appliquons des contraintes à basse fréquence aux images en super-résolution (SR) afin de maintenir la stabilité structurelle. Dans les étapes ultérieures de débruitage, nous utilisons l'apprentissage par rétroaction de récompense pour améliorer la qualité perceptive et esthétique des images SR. De plus, nous intégrons une régularisation Gram-KL pour atténuer la stylisation causée par le hacking de récompenses. Notre méthode peut être intégrée à tout modèle ISR basé sur la diffusion d'une manière plug-and-play. Les expériences montrent que lorsque les modèles ISR diffusion sont affinés avec notre méthode, ils améliorent considérablement la qualité perceptive et esthétique des images SR, obtenant d'excellents résultats subjectifs. Code : https://github.com/sxpro/RFSR