SwinFIR: SwinIR을 재검토하며 이미지 초해상도를 위한 빠른 푸리에 합성곱과 개선된 학습 방법 도입

트랜스포머 기반 방법은 CNN 기반 방법과 비교하여 장거리 의존성을 모델링하는 능력 덕분에 인상적인 이미지 복원 성능을 달성하였습니다. 그러나 SwinIR와 같은 최신 연구는 성능과 계산 부하를 균형있게 맞추기 위해 창(window)-기반 및 지역 주의 메커니즘을 채택하였는데, 이는 초기 레이어에서 전역 정보를 포착하고 장거리 의존성을 설정하기 위한 큰 수용 영역의 사용을 제한합니다. 본 연구에서는 이러한 전역 정보 포착의 효율성을 더욱 향상시키기 위해, 이미지 전체 수용 영역을 가진 Fast Fourier Convolution (FFC) 구성 요소로 SwinIR을 확장한 SwinFIR를 제안합니다. 또한 데이터 증강, 사전 학습, 특징 앙상블 등의 다른 고급 기술들을 재검토하여 이미지 재구성의 효과를 개선하였습니다. 우리의 특징 앙상블 방법은 훈련 및 테스트 시간을 증가시키지 않으면서 모델의 성능을 크게 향상시킬 수 있습니다. 우리는 여러 유명한 대규모 벤치마크에 알고리즘을 적용하여 기존 방법들과 비교해 최고 수준의 성능을 달성하였습니다. 예를 들어, 우리의 SwinFIR는 Manga109 데이터셋에서 32.83 dB의 PSNR 값을 얻었으며, 이는 최고 수준인 SwinIR 방법보다 0.8 dB 높습니다.