RAW 버스트 이미지 초해상도를 위한 단순 기준 프레임 유도 잔차 네트워크

최근 몇 년간 버스트 초해상도(super-resolution) 또는 다프레임 초해상도(Multi-frame Super-Resolution, MFSR)는 모바일 사진 촬영 분야에서 큰 주목을 받고 있다. 현대의 휴대용 장치들은 지속적으로 처리 성능을 향상시키고 있으며, 더 빠른 속도로 다수의 이미지를 촬영할 수 있는 능력을 갖추고 있다. 이러한 환경 속에서 강력한 MFSR 알고리즘의 개발이 점차 가능해지고 있다. 또한 단일 이미지 초해상도(Single-Image Super-Resolution, SISR)와 달리, 버스트 초해상도는 여러 이동된 프레임에서 얻은 정보를 통합함으로써 저해상도 이미지로부터 고해상도 이미지를 복원하는 과정에서 발생하는 부정확한 문제(ill-posed problem)를 완화할 수 있다. 본 연구에서는 이 도전적인 문제를 해결하기 위해 설계된 새로운 효과적인 딥러닝 접근법인 SBFBurst를 제안한다. 제안하는 네트워크는 여러 노이즈가 포함된 RAW 이미지를 입력으로 받아, 노이즈 제거된 고해상도 RGB 이미지를 출력한다. 우리는 특징 맵의 연결(concatenation)과 스킵 연결(skip connections)과 같은 연산을 통해 기준 프레임을 기반으로 하는 가이드 메커니즘을 도입함으로써 이 문제에서 상당한 성능 향상을 달성할 수 있음을 입증한다. 또한, 색상 패턴을 유지하는 망상형 컨볼루션(mosaicked convolution)을 활용함으로써 정렬 성능을 향상시켜 전체 네트워크의 초해상도 처리 성능을 높일 수 있음을 강조한다. 이러한 비교적 간단한 개선 사항들이 기존의 최첨단 기법들과 비교했을 때 제안된 방법의 경쟁력을 입증하고 있다.