HyperAIHyperAI

Command Palette

Search for a command to run...

RFSR : Amélioration des modèles de diffusion ISR par apprentissage à rétroaction de récompense

Sun Xiaopeng ; Lin Qinwei ; Gao Yu ; Zhong Yujie ; Feng Chengjian ; Li Dengjie ; Zhao Zheng ; Hu Jie ; Ma Lin

Résumé

Les modèles de diffusion génératifs (DM) ont été largement utilisés dans la super-résolution d'images (ISR). La plupart des méthodes existantes adoptent la perte de débruitage des modèles de diffusion à pas de temps diffus (DDPM) pour l'optimisation du modèle. Nous soutenons que l'introduction d'un apprentissage par rétroaction de récompense pour affiner les modèles existants peut encore améliorer la qualité des images générées. Dans cet article, nous proposons une stratégie d'entraînement sensible aux pas de temps avec apprentissage par rétroaction de récompense. Plus précisément, dans les premières étapes de débruitage de l'ISR diffusion, nous appliquons des contraintes à basse fréquence aux images en super-résolution (SR) afin de maintenir la stabilité structurelle. Dans les étapes ultérieures de débruitage, nous utilisons l'apprentissage par rétroaction de récompense pour améliorer la qualité perceptive et esthétique des images SR. De plus, nous intégrons une régularisation Gram-KL pour atténuer la stylisation causée par le hacking de récompenses. Notre méthode peut être intégrée à tout modèle ISR basé sur la diffusion d'une manière plug-and-play. Les expériences montrent que lorsque les modèles ISR diffusion sont affinés avec notre méthode, ils améliorent considérablement la qualité perceptive et esthétique des images SR, obtenant d'excellents résultats subjectifs. Code : https://github.com/sxpro/RFSR


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp