17일 전

DRCT: 정보 밸류블록에서 이미지 슈퍼리졸루션 구하기

Chih-Chung Hsu, Chia-Ming Lee, Yi-Shiuan Chou
DRCT: 정보 밸류블록에서 이미지 슈퍼리졸루션 구하기
초록

최근 몇 년간 저수준 비전 작업을 위한 비전 트랜스포머 기반 접근법이 광범위한 성공을 거두었다. CNN 기반 모델과 달리 트랜스포머는 장거리 의존성을 더 효과적으로 포착할 수 있어, 비국소적 정보를 활용한 이미지 복원이 가능하다. 초해상도 분야에서는 스위닝 트랜스포머 기반 모델이 전통적인 전역 공간 정보 모델링 능력과 착시 윈도우 주목력 메커니즘을 통해 서로 다른 윈도우 간 정보 교환을 촉진한다는 점에서 주류로 자리 잡았다. 많은 연구자들이 수용 영역을 확장하거나 정교한 네트워크 아키텍처를 설계함으로써 모델 성능을 향상시켜 높은 성과를 달성해왔다. 그러나 우리는 네트워크의 끝단으로 갈수록 특징 맵의 강도가 갑작스럽게 작은 값으로 억제되는 일반적인 현상을 관찰했다. 이는 정보 병목 현상과 공간 정보의 감소를 암시하며, 모델의 잠재력을 암묵적으로 제한하는 원인이 된다. 이를 해결하기 위해 우리는 밀도형 잔차 연결을 통한 트랜스포머(DRCT, Dense-residual-connected Transformer)를 제안한다. 이는 계층 간 밀도형 잔차 연결을 통해 공간 정보 손실을 완화하고 정보 흐름을 안정화함으로써 모델의 잠재력을 극대화하고 정보 병목 현상으로부터 모델을 보호하는 것을 목표로 한다. 실험 결과, 제안한 방법은 기준 데이터셋에서 최신 기술을 능가하며, NTIRE-2024 이미지 초해상도(x4) 챌린지에서도 뛰어난 성능을 발휘하였다. 본 연구의 소스 코드는 다음 링크에서 확인할 수 있다: https://github.com/ming053l/DRCT

DRCT: 정보 밸류블록에서 이미지 슈퍼리졸루션 구하기 | 최신 연구 논문 | HyperAI초신경