이미지 복원을 위한 선택적 주파수 네트워크

이미지 복원은 손상된 이미지로부터 잠재된 선명한 이미지를 재구성하는 것을 목표로 한다. 공간 영역에서 이 오랜 과제를 다루는 것 외에도, 선명한 이미지와 훼손된 이미지 쌍 간의 스펙트럼 차이가 크다는 점을 고려해 일부 연구들은 주파수 영역에서의 해결책을 탐색하고 있다. 그러나 이러한 기존 방법들은 웨이블릿 변환과 같은 변환 도구를 활용하여 특징을 여러 주파수 부분으로 분할하는 방식을 사용하는데, 이는 복원에 가장 유용한 주파수 성분을 유연하게 선택하는 데 한계가 있다. 본 논문에서는 다중 브랜치 및 콘텐츠 인식 모듈을 활용하여 특징을 동적으로, 국소적으로 별도의 주파수 하위대역으로 분해하고, 채널별 주의 가중치를 통해 유용한 성분을 강조한다. 또한, 대규모의 왜곡 블러를 처리하기 위해, 전역 및 윈도우 기반 평균 풀링을 통해 수용 영역을 확장하는 매우 간단한 분리 및 조절 모듈을 제안한다. 제안된 두 가지 모듈을 U-Net 기반 아키텍처에 통합한 선택적 주파수 네트워크(Selective Frequency Network, SFNet)는 단일 이미지 초점 왜곡 제거, 이미지 안개 제거, 이미지 운동 왜곡 제거, 눈송이 제거, 비 제거를 포함한 다섯 가지 이미지 복원 작업에서 최신 기술 대비 우수한 성능을 보였다.