Resfusion: 사전 잔여 노이즈를 기반으로 한 이미지 복원을 위한 디노이징 확산 확률 모델

최근, 노이즈 제거 확산 모델에 대한 연구가 이미지 복원 분야로 확장되었습니다. 전통적인 확산 기반 이미지 복원 방법은 저하된 이미지를 조건부 입력으로 사용하여 역 생성 과정을 효과적으로 안내하지만, 원래의 노이즈 제거 확산 과정을 수정하지 않습니다. 그러나 저하된 이미지는 이미 저주파 정보를 포함하고 있으므로, 가우시안 백색 노이즈에서 시작하면 샘플링 단계가 증가하게 됩니다. 우리는 이 문제를 해결하기 위해 잔차 항을 확산 전방 과정에 통합하는 일반적인 프레임워크인 Resfusion(레스퓨전)을 제안합니다. Resfusion의 추론 과정 형태는 DDPM과 일치합니다. 우리는 예측 대상으로 가중 잔차 노이즈(resnoise)를 도입하였으며, resnoise의 잔차 항과 노이즈 항 간의 정량적 관계를 명시적으로 제공합니다. 부드러운 동등 변환을 활용함으로써, Resfusion은 최적의 가속 단계를 결정하고 기존의 노이즈 스케줄의 완전성을 유지하며, 학습과 추론 과정을 통합합니다. 실험 결과는 Resfusion이 ISTD 데이터셋, LOL 데이터셋 및 Raindrop 데이터셋에서 단 5개의 샘플링 단계로 경쟁력 있는 성능을 보임을 입증하였습니다. 또한, Resfusion은 이미지 생성에도 쉽게 적용될 수 있으며 강한 유연성을 지니고 있습니다. 우리의 코드와 모델은 https://github.com/nkicsl/Resfusion에서 이용 가능합니다.