참조 기반 이미지 초해상화에 있어서 변형 가능한 어텐션 트랜스포머의 활용

참조 기반 이미지 초해상화(RefSR)는 보조 참조(Ref) 이미지를 활용하여 저해상도(LR) 이미지를 초해상화하는 것을 목표로 합니다. 최근에 RefSR은 단일 이미지 SR을 능가하는 대안적인 방법을 제공하기 때문에 많은 주목을 받고 있습니다. 그러나 RefSR 문제를 해결하는 데 두 가지 중요한 도전 과제가 있습니다: (i) LR 이미지와 참조 이미지 간의 대응 관계를 일치시키는 것이 매우 어렵습니다, 특히 이들이 크게 다를 때; (ii) 참조 이미지에서 관련 텍스처를 전송하여 LR 이미지의 세부 정보를 보완하는 것이 매우 어려운 문제입니다. 이러한 RefSR의 문제를 해결하기 위해 본 논문에서는 여러 스케일을 가진 변형 가능한 주의력 Transformer, 즉 DATSR을 제안합니다. 각 스케일은 텍스처 특성 인코더(TFE) 모듈, 참조 기반 변형 가능한 주의력(RDA) 모듈 및 잔차 특성 집합(RFA) 모듈로 구성됩니다. 구체적으로, TFE는 먼저 LR 이미지와 참조 이미지에서 화질 변환(예: 명도)에 영향을 받지 않는 특성을 추출하고, RDA는 이후 여러 관련 텍스처를 활용하여 LR 특성에 더 많은 정보를 보완할 수 있으며, 마지막으로 RFA는 LR 특성과 관련 텍스처를 집합하여 시각적으로 더욱 만족스러운 결과를 얻습니다. 광범위한 실험을 통해 우리의 DATSR이 벤치마크 데이터셋에서 정량적이고 정성적으로 최고 수준의 성능을 달성함을 입증하였습니다.