BurstM: Fourier 공간과 광학 흐름을 활용한 깊은 다중 스케일 초해상도 재구성

다중 프레임 슈퍼 리졸루션(MFSR)은 단일 이미지 슈퍼 리졸루션(SISR)보다 더 높은 성능을 달성합니다. 이는 MFSR이 여러 프레임에서 풍부한 정보를 활용하기 때문입니다. 최근의 MFSR 접근 방식들은 변형 가능한 컨볼루션 네트워크(DCN)를 사용하여 프레임들을 정렬합니다. 그러나 DCN의 수용 영역이 작고 사전 정의된 커널 개수 등의 제한으로 인해, 기존 MFSR은 참조 프레임과 소스 프레임 간의 오차 정렬 문제에 직면해 있습니다. 이러한 문제들로 인해, 기존 MFSR 접근 방식들은 고주파 정보를 표현하는 데 어려움을 겪습니다. 이를 해결하기 위해, 우리는 푸리에 공간과 광학 유동(Optical Flow)을 사용한 딥 버스트 다중 스케일 슈퍼 리졸루션(Deep Burst Multi-scale SR using Fourier Space with Optical Flow, BurstM)을 제안합니다. 제안된 방법은 정확한 정렬을 위해 광학 유동 오프셋을 추정하고, 각 프레임의 연속적인 푸리에 계수를 예측하여 고주파 패턴을 표현합니다. 또한, 우리는 다양한 슈퍼 리졸루션(SR) 배율을 단일 모델로 지원함으로써 네트워크의 유연성을 강화했습니다. 실험 결과, 우리의 방법이 기존 MFSR 방법들보다 가장 높은 성능과 유연성을 보임을 입증하였습니다. 우리의 소스 코드는 https://github.com/Egkang-Luis/burstm에서 이용할 수 있습니다.