iiTransformer: 이미지 복원을 위한 국소 및 비국소 정보를 통합적으로 활용하는 새로운 접근법

이미지 복원의 목표는 품질이 저하된 입력에서 고품질 이미지를 복원하는 것이다. CNN을 활용하여 다양한 이미지 복원 작업에서 뛰어난 성과가 달성되었지만, 컨볼루션 연산은 수용 영역(Receptive Field) 외부의 정보를 활용하는 데 한계가 있다. 반면, 자기 주목(self-attention) 메커니즘을 사용하여 입력 데이터의 장거리 의존성을 모델링하는 트랜스포머는 다양한 고수준 비전 작업에서 유망한 성과를 보여주었다. 본 논문에서는 픽셀 수준과 패치 수준에서 장거리 의존성을 명시적으로 모델링함으로써 국소적 및 비국소적 특징 상관관계를 동시에 고려할 수 있는 내부-외부 트랜스포머(Intra-Inter Transformer, iiTransformer)를 제안한다. 또한, 임의의 크기의 이미지를 지원할 수 있도록 경계 아티팩트가 없는 솔루션을 제시한다. 다양한 이미지 복원 작업에 대한 광범위한 실험을 통해 iiTransformer가 일반적인 백본 아키텍처로서의 잠재력을 입증한다.