WaveMixSR: 이미지 초해상도를 위한 자원 효율적인 신경망

최근 이미지 초해상도(image super-resolution) 연구는 자기주의(self-attention)의 이차 복잡도로 인해 CNN보다 더 높은 계산 자원을 요구하는 트랜스포머 모델에 의해 주도되어 왔다. 본 연구에서는 2차원 이산 웨이블릿 변환(2D-discrete wavelet transform)을 활용하여 공간적 토큰 믹싱(token-mixing)을 수행하는 WaveMix 아키텍처를 기반으로 한 새로운 신경망인 WaveMixSR을 제안한다. 트랜스포머 기반 모델과 달리, WaveMixSR은 이미지를 픽셀 또는 패치의 시퀀스로 전개하지 않는다. 대신, 컨볼루션의 인덕티브 바이어스(inductive bias)와 웨이블릿 변환의 손실 없는 토큰 믹싱 성질을 결합함으로써, 더 적은 자원과 학습 데이터로도 높은 성능을 달성할 수 있다. 제안된 네트워크의 성능을 다른 최첨단 이미지 초해상도 방법들과 비교하였다. 실험 결과, WaveMixSR은 모든 데이터셋에서 경쟁력 있는 성능을 보였으며, 여러 초해상도 작업에서 BSD100 데이터셋에서 최고 수준의 성능을 달성하였다. 기존 최첨단 모델들과 비교해 더 적은 학습 데이터와 계산 자원을 사용하면서도 높은 파라미터 효율성을 유지하며 우수한 성능을 실현할 수 있었다.