이미지 슈퍼리졸루션을 위한 분포 변환을 통한 순차적 계층적 학습

최근 이미지 초해상도(SR) 연구에서는 계층적 특징 정보를 탐색하기 위해 다중 스케일 설계가 고려되고 있다. 기존의 다중 스케일 네트워크는 복원을 위해 정교한 블록 구조나 점진적 아키텍처를 구축하는 데 초점을 맞추고 있다. 일반적으로 큰 스케일 특징은 구조적이고 고차원적인 정보에 더 집중하는 반면, 작은 스케일 특징은 풍부한 세부 정보와 질감 정보를 포함한다. 이러한 관점에서, 큰 스케일 특징은 작은 스케일 특징으로부터 유도될 수 있다. 본 논문에서는 이러한 관찰을 바탕으로 효과적인 이미지 초해상도를 위한 순차적 계층 학습 초해상도 네트워크(SHSR)를 제안한다. 특히 특징의 다중 스케일 상호관계를 고려하여, 계층적 정보를 점진적으로 탐색할 수 있도록 순차적 다중 스케일 블록(SMB)을 설계하였다. SMB는 컨볼루션의 선형성에 기반하여 제약된 파라미터로 재귀적으로 설계되었다. 또한 순차적 계층 학습 외에도 특징 맵 간의 상관관계를 탐구하여 분포 변환 블록(DTB)을 제안하였다. 주목할 점은 DTB는 주의 기반 방법과 달리 정규화 방식으로 변환을 다루며, 스케일링 및 편향 계수를 통합하여 공간적 및 채널별 상관관계를 함께 고려한다. 실험 결과, SHSR는 $\times4$ 확대 비율에서 최첨단 기법들에 비해 약 34%의 파라미터와 50%의 MACs를 절감하면서도 우수한 정량적 성능과 시각적 품질을 달성하였다. 추가적으로, 추가 학습 없이 성능을 향상시키기 위해 자가 앙상블(self-ensemble) 기능을 갖춘 확장 모델 SHSR$^+$를 제안하였으며, 이는 $\times4$ 확대 비율에서 약 92%의 파라미터와 42%의 MACs를 절감하면서 더 큰 네트워크들과 경쟁 가능한 성능을 보였다.