저품질 이미지의 해상도 향상을 위한 구간 밀집 연결 전략 기반 Swin Transformer를 활용한 처리

트랜스포머 기반 방법은 컨볼루션 신경망(CNN) 기반 방법과 비교하여 이미지 초해상화에서 뛰어난 성능을 보여주었습니다. 그러나 스윈IR(SwinIR, Image Restoration Using Swin Transformer)와 같은 자기 주의 메커니즘을 사용하여 이미지에서 특징 정보를 추출하는 것은 많은 계산 자원이 필요하여 저성능 컴퓨팅 플랫폼에서의 적용을 제한하고 있습니다. 모델의 특징 재사용을 개선하기 위해, 이 연구에서는 새로운 알고리즘에 따라 다른 블록들을 연결하는 간격 밀집 연결 전략(Interval Dense Connection Strategy)을 제안합니다. 우리는 이 전략을 스윈IR에 적용하여 새로운 모델인 스윈OIR(SwinOIR, Object Image Restoration Using Swin Transformer)를 소개합니다. 이미지 초해상화를 위해, 간격 밀집 연결 전략이 모델 성능에 미치는 긍정적인 영향을 입증하기 위한 축소 실험이 수행되었습니다. 또한, 다양한 인기 벤치마크 데이터셋에서 우리의 모델을 평가하고 다른 최신 경량 모델들과 비교하였습니다. 예를 들어, 스윈OIR은 Urban100 데이터셋에서 x4 확대 이미지 초해상화에 대해 26.62 dB의 PSNR 값을 얻었으며, 이는 최신 기술(SOTA) 모델인 스윈IR보다 0.15 dB 높습니다. 실제 응용 분야에서는 최신 버전의 YOLOv8 모델과 제안된 모델을 사용하여 저품질 이미지에서 객체 검출 및 실제 생활 이미지 초해상화를 수행하였습니다. 이 구현 코드는 https://github.com/Rubbbbbbbbby/SwinOIR 에서 공개적으로 이용할 수 있습니다.