RFSR：通过奖励反馈学习改进ISR扩散模型

生成扩散模型（DM）在图像超分辨率（ISR）领域得到了广泛应用。现有的大多数方法采用来自去噪扩散概率模型（DDPM）的去噪损失进行模型优化。我们认为，通过引入奖励反馈学习来微调现有模型可以进一步提高生成图像的质量。在本文中，我们提出了一种带有奖励反馈学习的时间步长感知训练策略。具体而言，在ISR扩散的初始去噪阶段，我们对超分辨率（SR）图像施加低频约束以保持结构稳定性；在后续的去噪阶段，我们利用奖励反馈学习来提升SR图像的感知质量和美学效果。此外，我们引入了Gram-KL正则化来缓解由奖励劫持引起的风格化问题。我们的方法可以以即插即用的方式集成到任何基于扩散的ISR模型中。实验结果表明，当使用我们的方法进行微调时，ISR扩散模型显著提升了SR图像的感知和美学质量，取得了优异的主观评价结果。代码：https://github.com/sxpro/RFSR