RFSR: 報酬フィードバック学習を用いたISR拡散モデルの改善

生成拡散モデル（Generative Diffusion Models, DM）は、画像の超解像（Image Super-Resolution, ISR）に広く利用されています。既存の手法の多くは、モデルの最適化のためにDDPMsからのノイズ除去損失を採用しています。本研究では、報酬フィードバック学習を導入して既存のモデルを微調整することで、生成された画像の品質がさらに向上すると主張します。本論文では、報酬フィードバック学習を用いたタイムステップ認識型トレーニング戦略を提案します。具体的には、ISR拡散の初期ノイズ除去段階において、低周波数制約を超解像（Super-Resolution, SR）画像に適用し、構造的な安定性を維持します。後期のノイズ除去段階では、報酬フィードバック学習を使用してSR画像の知覚的および美的品質を向上させます。さらに、報酬ハッキングによって引き起こされるスタイリゼーションを軽減するためにGram-KL正則化を取り入れています。当方法はプラグアンドプレイ形式で任意の拡散ベースのISRモデルに統合することができます。実験結果は、当方法で微調整されたISR拡散モデルがSR画像の知覚的および美的品質を大幅に向上させることを示しており、優れた主観的な結果を得ています。コード: https://github.com/sxpro/RFSR