RFSR: Verbesserung von ISR-Diffusionsmodellen durch Lernen mit Belohnungsfeedback

Generative Diffusionsmodelle (DM) werden ausgiebig in der Bildaufklärung (ISR) eingesetzt. Die meisten existierenden Methoden nutzen den Denoising-Loss von DDPMs zur Modelloptimierung. Wir gehen davon aus, dass das Einführen von Reward-Feedback-Lernen zur Feinabstimmung der bestehenden Modelle die Qualität der generierten Bilder weiter verbessern kann. In dieser Arbeit schlagen wir eine trainingsstrategie vor, die zeitlich bewusst mit Reward-Feedback-Lernen arbeitet. Insbesondere wenden wir in den anfänglichen Denoising-Phasen der ISR-Diffusion Niederfrequenz-Beschränkungen auf Super-Resolution-(SR)-Bilder an, um die strukturelle Stabilität zu gewährleisten. In den späteren Denoising-Phasen nutzen wir Reward-Feedback-Lernen, um die wahrnehmungsbezogene und ästhetische Qualität der SR-Bilder zu verbessern. Darüber hinaus integrieren wir Gram-KL-Regularisierung, um Stylisierungen durch Reward-Hacking zu reduzieren. Unsere Methode kann in jedes diffusionsbasierte ISR-Modell auf einfache Weise integriert werden. Experimente zeigen, dass ISR-Diffusionsmodelle, die mit unserer Methode feinabgestimmt wurden, die wahrnehmungsbezogene und ästhetische Qualität von SR-Bildern erheblich verbessern und ausgezeichnete subjektive Ergebnisse erzielen. Code: https://github.com/sxpro/RFSR