RFSR: 보상 피드백 학습을 통한 ISR 확산 모델 개선

생성 확산 모델(DM)은 이미지 초해상도(ISR)에 광범위하게 활용되어 왔습니다. 기존의 대부분 방법들은 모델 최적화를 위해 DDPMs의 노이즈 제거 손실을 채택하고 있습니다. 우리는 보상 피드백 학습을 도입하여 기존 모델들을 미세 조정하면 생성된 이미지의 품질을 더욱 개선할 수 있다고 주장합니다. 본 논문에서는 보상 피드백 학습을 적용한 시간 단계 인식 훈련 전략을 제안합니다. 구체적으로, ISR 확산의 초기 노이즈 제거 단계에서 저주파 제약을 초해상도(SR) 이미지에 적용하여 구조적 안정성을 유지합니다. 후기 노이즈 제거 단계에서는 보상 피드백 학습을 사용하여 SR 이미지의 지각적 및 미적 품질을 개선합니다. 또한, Gram-KL 정규화를 통합하여 보상 해킹으로 인한 스타일화를 완화시킵니다. 우리의 방법은 플러그 앤 플레이 방식으로 어떤 확산 기반 ISR 모델에도 통합될 수 있습니다. 실험 결과, 우리의 방법으로 미세 조정된 ISR 확산 모델들이 SR 이미지의 지각적 및 미적 품질을 크게 개선했으며, 우수한 주관적인 결과를 달성하였습니다. 코드: https://github.com/sxpro/RFSR