고품질 이미지 흐림 제거를 위한 효율적인 주파수 도메인 기반 트랜스포머

우리는 고품질 이미지 흐림 제거를 위해 Transformer의 주파수 도메인 특성을 탐색하는 효과적이고 효율적인 방법을 제안한다. 본 연구는 공간 도메인에서 두 신호 간의 상관관계 또는 컨볼루션은 주파수 도메인에서 요소별 곱셈(element-wise product)과 동치라는 컨볼루션 정리(convolution theorem)에 기반한다. 이 아이디어는 공간 도메인에서의 행렬 곱셈 대신 주파수 도메인에서의 요소별 곱셈 연산을 활용하여 스케일드 도트-프로덕트 어텐션을 효율적으로 추정할 수 있는 주파수 도메인 기반 자기주의 해결기(FSAS, Frequency-domain-based Self-attention Solver)를 개발하도록 유도한다. 또한, Transformer에서 단순히 기존의 일반적인 피드포워드 네트워크(FFN)를 사용하는 것은 만족스러운 복원 결과를 얻지 못한다는 점을 관찰하였다. 이를 극복하기 위해, JPEG 압축 알고리즘을 기반으로 한 게이트(gated) 메커니즘을 도입한 간단하면서도 효과적인 구분형 주파수 도메인 기반 FFN(DFFN, Discriminative Frequency-domain-based FFN)을 제안한다. DFFN은 특징의 저주파 및 고주파 정보 중에서 잠재적인 명료한 이미지 복원에 유용한 정보를 선택적으로 보존하도록 한다. 제안된 FSAS와 DFFN은 인코더-디코더 아키텍처 기반의 비대칭 네트워크에 통합되며, 디코더 모듈에서만 FSAS를 활용하여 이미지 흐림 제거 성능을 향상시킨다. 실험 결과는 제안한 방법이 최신 기술 대비 우수한 성능을 보임을 입증한다. 코드는 \url{https://github.com/kkkls/FFTformer}에서 공개될 예정이다.