HyperAIHyperAI

Command Palette

Search for a command to run...

RFSR: Verbesserung von ISR-Diffusionsmodellen durch Lernen mit Belohnungsfeedback

Sun Xiaopeng ; Lin Qinwei ; Gao Yu ; Zhong Yujie ; Feng Chengjian ; Li Dengjie ; Zhao Zheng ; Hu Jie ; Ma Lin

Zusammenfassung

Generative Diffusionsmodelle (DM) werden ausgiebig in der Bildaufklärung (ISR) eingesetzt. Die meisten existierenden Methoden nutzen den Denoising-Loss von DDPMs zur Modelloptimierung. Wir gehen davon aus, dass das Einführen von Reward-Feedback-Lernen zur Feinabstimmung der bestehenden Modelle die Qualität der generierten Bilder weiter verbessern kann. In dieser Arbeit schlagen wir eine trainingsstrategie vor, die zeitlich bewusst mit Reward-Feedback-Lernen arbeitet. Insbesondere wenden wir in den anfänglichen Denoising-Phasen der ISR-Diffusion Niederfrequenz-Beschränkungen auf Super-Resolution-(SR)-Bilder an, um die strukturelle Stabilität zu gewährleisten. In den späteren Denoising-Phasen nutzen wir Reward-Feedback-Lernen, um die wahrnehmungsbezogene und ästhetische Qualität der SR-Bilder zu verbessern. Darüber hinaus integrieren wir Gram-KL-Regularisierung, um Stylisierungen durch Reward-Hacking zu reduzieren. Unsere Methode kann in jedes diffusionsbasierte ISR-Modell auf einfache Weise integriert werden. Experimente zeigen, dass ISR-Diffusionsmodelle, die mit unserer Methode feinabgestimmt wurden, die wahrnehmungsbezogene und ästhetische Qualität von SR-Bildern erheblich verbessern und ausgezeichnete subjektive Ergebnisse erzielen. Code: https://github.com/sxpro/RFSR


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp