이미지 흐림 제거를 위한 주파수 선택의 흥미로운 결과

블러는 날카로운 이미지와 블러 커널을 주어진 블러 이미지로부터 추정함으로써 자연스럽게 주파수 도메인에서 분석된다. 최근 이미지 디블러링 기술의 발전은 항상 엔드투엔드 아키텍처를 설계하며 픽셀 수준에서 블러 이미지와 날카로운 이미지 쌍 간의 차이를 학습하는 데 초점을 맞추고 있다. 그러나 이는 블러 커널의 중요성을 무시하게 되는 결과를 초래한다. 본 논문은 블러 이미지의 주파수 도메인에 단순히 ReLU 연산을 적용한 후 역 푸리에 변환을 수행하는 방식—즉, 주파수 선택(frequency selection)—을 통해 블러 패턴(예: 블러 방향, 블러 수준 등)에 대한 충실한 정보를 얻을 수 있음을 밝혀냈다. 이는 커널 패턴이 암시적으로 드러나는 현상이다. 이러한 관찰을 바탕으로, 표준 ResBlock에 푸리에 변환, ReLU 연산, 역 푸리에 변환을 삽입함으로써 커널 수준의 정보를 이미지 디블러링 네트워크에 활용하고자 하였다. 또한, 1x1 컨볼루션을 추가하여 주파수 선택에 대해 유연한 임계값을 조절할 수 있도록 하였다. 본 논문에서 제안하는 새로운 블록은 Res FFT-ReLU 블록이라 명명하였으며, 주파수-공간 이중 도메인 표현을 학습함으로써 커널 수준과 픽셀 수준의 특징을 모두 활용한다. 제안된 방법의 통찰을 철저히 분석하기 위해 광범위한 실험을 수행하였다. 또한, 제안된 블록을 NAFNet에 통합함으로써 GoPro 데이터셋에서 PSNR 33.85 dB를 달성할 수 있었다. 본 방법은 많은 파라미터를 추가하지 않으면서도 백본 아키텍처를 현저히 개선하면서도 낮은 계산 복잡도를 유지한다. 코드는 https://github.com/DeepMed-Lab/DeepRFT-AAAI2023 에서 제공된다.