초록
최근 몇 년 동안 단일 이미지 초해상도(Single Image Super-Resolution, SISR)는 많은 관심을 받았지만, 제안된 접근 방식은 고주파 세부 정보를 추가하기 위해 이미지 사전을 학습하는 데 한정되어 있습니다. 반면에 다중 프레임 초해상도(Multi-Frame Super-Resolution, MFSR)는 여러 개의 이동된 이미지에서 신호 정보를 결합하여 풍부한 세부 정보를 재구성할 수 있는 가능성을 제공합니다. 이 핵심적인 장점과 버스트 사진 촬영(Burst Photography)의 인기가 증가함에 따라 MFSR은 실제 응용 분야에서 중요한 문제로 부각되었습니다.우리는 버스트 초해상도 작업을 위한 새로운 아키텍처를 제안합니다. 우리의 네트워크는 여러 개의 노이즈가 포함된 RAW 이미지를 입력으로 받아, 노이즈가 제거되고 초해상된 RGB 이미지를 출력으로 생성합니다. 이를 위해서 입력 프레임들의 딥 임베딩을 픽셀 단위 광학 유동(Pixel-wise Optical Flow)을 사용하여 명시적으로 정렬합니다. 그런 다음 모든 프레임에서 얻은 정보를 주의 기반 융합 모듈(Attention-based Fusion Module)을 통해 적응적으로 병합합니다. 실제 데이터에서의 학습과 평가를 가능하게 하기 위해, 우리는 스마트폰 버스트와 고해상도 DSLR 참조 이미지로 구성된 BurstSR 데이터셋을 추가로 소개합니다. 우리는 포괄적인 실험 분석을 수행하여 제안된 아키텍처의 효과성을 입증하였습니다.