DiffBIR: Generative Diffusion Prior를 활용한 Blind Image Restoration 연구

우리는 DiffBIR을 소개합니다. 이는 다양한 블라인드 이미지 복원 작업을 통합된 프레임워크로 처리할 수 있는 일반적인 복원 파이프라인입니다. DiffBIR은 블라인드 이미지 복원 문제를 두 단계로 분리합니다: 1) 화질 저하 제거: 이미지와 무관한 내용 제거; 2) 정보 재생성: 손실된 이미지 내용 생성. 각 단계는 독립적으로 개발되었지만, 캐스케이드 방식으로 원활하게 작동합니다.첫 번째 단계에서는 복원 모듈을 사용하여 화질 저하를 제거하고 고충실도의 복원 결과를 얻습니다. 두 번째 단계에서는 잠재 확산 모델의 생성 능력을 활용하여 실제적인 세부 정보를 생성하는 IRControlNet을 제안합니다. 특히, IRControlNet은 방해되는 노이즈가 없는 특별히 생성된 조건 이미지를 기반으로 훈련되어 안정적인 생성 성능을 보장합니다.또한, 우리는 추론 과정 중 모델 재훈련 없이 디노이징 과정을 수정할 수 있는 영역 적응형 복원 가이던스를 설계하였습니다. 이를 통해 사용자는 조절 가능한 가이던스 스케일을 통해 실제성과 충실도 사이의 균형을 맞출 수 있습니다. 광범위한 실험 결과, DiffBIR은 합성 데이터셋과 실제 데이터셋에서 블라인드 이미지 초해상화, 블라인드 얼굴 복원 및 블라인드 이미지 디노이징 작업에서 최신 접근법보다 우수함이 입증되었습니다. 코드는 https://github.com/XPixelGroup/DiffBIR에서 확인할 수 있습니다.