17일 전

저조도 이미지 증강을 위한 CLIP-푸리에 지도형 웨이블릿 확산

Minglong Xue, Jinhong He, Wenhai Wang, Mingliang Zhou
저조도 이미지 증강을 위한 CLIP-푸리에 지도형 웨이블릿 확산
초록

저조도 이미지 증강 기술은 크게 발전해왔지만, 이미지 품질 회복의 불안정성과 만족스럽지 못한 시각적 인식은 여전히 큰 도전 과제로 남아 있다. 이러한 문제를 해결하기 위해 본 연구에서는 CLIP-푸리에 지도 웨이블릿 확산 기반의 새로운 강력한 저조도 이미지 증강 방법, 즉 CFWD(CLIP-Fourier Guided Wavelet Diffusion)를 제안한다. 구체적으로, CFWD는 다중 웨이블릿 변환을 통해 생성된 주파수 도메인 공간 내에서 다모달 시각-언어 정보를 활용하여 증강 과정을 지도한다. 다양한 모달리티 간의 다스케일 감독은 웨이블릿 확산 과정 중 이미지 특징과 의미 특징 간의 정렬을 촉진하여, 손상된 도메인과 정상 도메인 사이의 격차를 효과적으로 해소한다. 또한, 이미지 세부 구조의 효과적인 복원을 위해 웨이블릿 변환 기반의 푸리에 변환을 결합하여, 세부 특징에 대한 높은 감지 능력을 갖춘 하이브리드 고주파 인지 모듈(HFPM, Hybrid High Frequency Perception Module)을 설계하였다. 이 모듈은 세부 구조 복원을 지도함으로써 웨이블릿 확산 과정에서 발생할 수 있는 다양성 혼란을 방지하여, 정량적 지표와 시각적 인식 측면에서 우수한 증강 성능을 달성한다. 공개된 실세계 벤치마크 데이터셋을 대상으로 실시한 광범위한 정량적 및 정성적 실험 결과는 제안한 방법이 기존 최첨단 기법들을 능가함을 보여주며, 이미지 품질 향상과 노이즈 억제 측면에서 상당한 성과를 달성하고 있음을 확인하였다. 본 연구의 프로젝트 코드는 https://github.com/hejh8/CFWD 에서 공개되어 있다.