17일 전

저조도 이미지 향상을 위한 피라미드 확산 모델

Dewei Zhou, Zongxin Yang, Yi Yang
저조도 이미지 향상을 위한 피라미드 확산 모델
초록

낮은 조도 이미지에서 노이즈에 의해 덮인 세부 정보를 복원하는 것은 도전적인 과제이며, 이전의 방법들이 제시한 결과도 개선의 여지가 있다. 최근의 확산 모델은 반복적인 노이즈 제거 및 개선 과정을 통해 사실감 있고 세부적인 이미지를 생성하는 데 성공하여, 낮은 조도 이미지 증강에 이러한 모델을 도입하여 현실적인 세부 정보를 복원하는 데 유용할 수 있음을 시사한다. 그러나 이러한 접근을 수행하면서 두 가지 문제를 발견하였다. 첫째, 확산 모델은 역방향 과정 중 해상도를 일정하게 유지하기 때문에 처리 속도에 제약이 있다. 둘째, 확산 모델은 때때로 전역적인 품질 저하(예: RGB 색편이)를 초래할 수 있다. 이러한 문제를 해결하기 위해 본 논문은 낮은 조도 이미지 증강을 위한 피라미드 확산 모델(Pyramid Diffusion, PyDiff)을 제안한다. PyDiff는 새로운 피라미드 확산 방법을 도입하여 역방향 과정 내에서 해상도를 점진적으로 증가시키는 방식으로 샘플링을 수행한다(즉, 하나의 역방향 과정에서 해상도를 점차 높이는 방식). 피라미드 확산은 PyDiff가 기존의 순수 확산 모델보다 훨씬 빠른 처리 속도를 제공하면서도 성능 저하 없이 작동함을 보여준다. 또한 PyDiff는 역방향 과정에서 발생할 수 있는 전역적 품질 저하를 완화하기 위해 전역 보정기(Global Corrector)를 사용하며, 이는 성능을 크게 향상시키고, 확산 모델의 학습을 더 쉽게 만들며 추가적인 계산 비용은 거의 발생시키지 않는다. 주요 벤치마크에서 실시한 광범위한 실험 결과에 따르면, PyDiff는 우수한 성능과 효율성을 달성하였다. 더불어 PyDiff는 미지의 노이즈 및 조도 분포에 대해서도 잘 일반화됨을 확인할 수 있었다.