SwinIR: Swin Transformer를 사용한 이미지 복원

이미지 복원은 저품질 이미지(예: 축소, 노이즈가 많은, 압축된 이미지)에서 고품질 이미지를 복원하는 것을 목표로 하는 오랜 저레벨 비전 문제입니다. 최신의 이미지 복원 방법들은 주로 합성곱 신경망(CNN)을 기반으로 하고 있지만, 고레벨 비전 작업에서 뛰어난 성능을 보이는 트랜스포머를 활용한 시도는 아직 많지 않습니다. 본 논문에서는 Swin 트랜스포머를 기반으로 한 강력한 베이스라인 모델인 SwinIR을 제안합니다. SwinIR은 세 부분으로 구성되어 있습니다: 얕은 특징 추출, 깊은 특징 추출 및 고품질 이미지 재구성. 특히, 깊은 특징 추출 모듈은 여러 개의 잔차 Swin 트랜스포머 블록(RSTB)으로 구성되며, 각 블록은 여러 개의 Swin 트랜스포머 층과 잔차 연결을 포함하고 있습니다. 우리는 세 가지 대표적인 작업에 대해 실험을 수행했습니다: 이미지 초해상화(클래식, 경량화 및 실제 세계 이미지 초해상화 포함), 이미지 노이즈 제거(그레이스케일 및 컬러 이미지 노이즈 제거 포함) 그리고 JPEG 압축 아티팩트 감소. 실험 결과는 SwinIR이 다양한 작업에서 최신 방법론들을 최대 0.14~0.45dB까지 능가하며, 전체 매개변수 수를 최대 67%까지 줄일 수 있음을 입증하였습니다.