Stripformer: 빠른 이미지 흐림 제거를 위한 스트립 트랜스포머

운동 장면에서 촬영된 이미지에는 원치 않는 운동 흐림이 포함될 수 있으며, 이는 시각적 품질을 크게 저하시킨다. 이러한 흐림은 일반적으로 방향성 있고 비균일한 특성을 지닌 단거리 및 장거리 영역별 부드러움 아티팩트를 유발하며, 제거하기가 어렵다. 컴퓨터 비전 및 이미지 처리 과제에서 트랜스포머의 최근 성공에 영감을 받아, 우리는 수평 및 수직 방향에서 다양한 방향을 가진 흐림 패턴을 포착할 수 있도록 이미지 특징을 재가중하는 내부 스트립 및 상호 스트립 토큰을 구성하는 트랜스포머 기반 아키텍처인 Stripformer를 개발했다. Stripformer는 교차 배치된 내부 스트립 및 상호 스트립 어텐션 계층을 반복적으로 스택하여 흐림의 크기를 정밀하게 파악한다. 또한 다양한 방향과 크기의 영역별 흐림 패턴을 탐지할 뿐만 아니라, 토큰 효율성과 파라미터 효율성이 뛰어난 트랜스포머 모델로, 기존의 기본 트랜스포머보다 훨씬 적은 메모리 사용량과 계산 비용을 요구하면서도 거대한 학습 데이터에 의존하지 않고도 뛰어난 성능을 발휘한다. 실험 결과, Stripformer는 동적 장면의 흐림 제거에서 최신 기술(SOTA) 모델들과 비교하여 우수한 성능을 보였다.