ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow Removal シャドウ디퓨전: 훼손 사전 지식이 확산 모델과 만나 그림자 제거를 위한 방법을 제시할 때

최근의 딥 러닝 방법들은 이미지 그림자 제거에서 유망한 결과를 달성하였습니다. 그러나, 이러한 방법들로 복원된 이미지는 여전히 불만족스러운 경계 아티팩트(boundary artifacts) 문제를 겪고 있으며, 이는 감쇠 사전(degradation prior) 임베딩 부족과 모델링 용량 부족으로 인해 발생합니다. 본 연구에서는 이러한 문제들을 해결하기 위해 이미지와 감쇠 사전을 통합하는 고도로 효과적인 그림자 제거를 위한 통합 확산 프레임워크를 제안합니다. 구체적으로, 우리는 먼저 그림자 감쇠 모델(shadow degradation model)을 제안하였으며, 이를 바탕으로 새로운 확산 모델인 ShandowDiffusion을 설계하였습니다. 이 모델은 본질적으로 이미지 복원(image restoration)에 대한 새로운 강력한 기준(baseline)이 될 수 있으며, 감쇠 사전과 확산 생성 사전(diffusive generative prior)을 통해 점진적으로 원하는 출력을 개선하여 그림자 제거 능력을 크게 향상시킵니다. 또한, ShandowDiffusion은 확산 생성기의 보조 작업(auxiliary task)으로서 추정된 그림자 마스크(shadow mask)를 점진적으로 개선하여 더욱 정확하고 강건한 그림자 없는 이미지 생성을 가능하게 합니다. 우리는 ISTD, ISTD+, SRD 등 세 가지 인기 있는 공개 데이터셋에서 광범위한 실험을 수행하여 본 방법의 유효성을 검증하였습니다. 최신 기술(state-of-the-art methods)과 비교할 때, 우리의 모델은 SRD 데이터셋에서 PSNR 측면에서 상당한 개선을 보여주며, 31.69dB에서 34.73dB로 증가하였습니다.