BSRT: Swin Transformer와 흐름 안내 변형 정렬을 활용한 버스트 슈퍼 해상도 향상

이 연구는 새로운 아키텍처를 사용하여 노이즈가 많고, 정렬되지 않으며, 저해상도인 RAW 버스트 시퀀스에서 고품질 이미지를 복원하는 버스트 슈퍼 리졸루션(BurstSR) 작업을 다룹니다. BurstSR의 어려움을 극복하기 위해, 우리는 프레임 간 정보 추출 및 재구성을 크게 향상시킬 수 있는 버스트 슈퍼 리졸루션 트랜스포머(Burst Super-Resolution Transformer, BSRT)를 제안합니다. 이 목표를 달성하기 위해, 피라미드 플로우 가이드 디폼러블 컨볼루션 네트워크(Pyrmaid FG-DCN)를 제안하고 Swin 트랜스포머 블록과 그룹을 주요 백본으로 통합합니다. 더욱 구체적으로, 우리는 광학 흐름과 디폼러블 컨볼루션을 결합하여 우리의 BSRT가 미정렬 문제를 처리하고 다중 프레임에서 잠재적인 텍스처 정보를 더 효율적으로 집계할 수 있도록 설계하였습니다. 또한, 트랜스포머 기반 구조는 장거리 의존성을 포착하여 성능을 더욱 개선할 수 있습니다. 합성 데이터와 실제 환경에서의 평가 결과는 우리의 접근 방식이 BurstSR 작업에서 새로운 최고 수준의 성능을 달성함을 보여줍니다. 더불어, 우리의 BSRT는 NTIRE2022 Burst Super-Resolution 챌린지에서 우승을 차지하였습니다.