HighRes-net: Recursive Fusion을 통한 다중 프레임 슈퍼해상도

생성형 딥러닝은 단일 이미지를 놀라운 미학적 결과로 향상시키는 새로운 형태의 초해상도(SR) 알고리즘을 촉발하였지만, 가상의 세부 정보를 포함하는 경향이 있다. 다중 프레임 초해상도(MFSR)는 여러 저해상도 이미지 관측값을 조건으로 삼음으로써, 이 잘 정의되지 않은 문제에 더 현실적인 접근을 가능하게 한다. 이는 산림 파괴부터 인권 침해에 이르기까지 지구상의 인간 활동을 위성 모니터링하는 데 있어 신뢰할 수 있는 영상 데이터를 필요로 하는 분야에서 특히 중요하다. 이러한 목적을 위해 우리는 처음으로 다중 프레임 초해상도(MFSR)를 엔드투엔드(end-to-end) 방식으로 하위 작업들을 동시에 학습하는 딥러닝 기반 접근법인 HighRes-net을 제안한다. 이 하위 작업들은 (i) 공통 등록(co-registration), (ii) 융합(fusion), (iii) 상향 변환(up-sampling), 그리고 (iv) 손실 함수에서의 등록(registration-at-the-loss)이다. 저해상도 영상들의 공통 등록은 명시적인 등록 메커니즘 없이 참조 프레임 채널을 통해 암묵적으로 학습된다. 임의의 수의 저해상도 이미지 쌍에 대해 반복적으로 적용 가능한 전역 융합 연산자를 학습한다. 또한 ShiftNet을 활용하여 SR 출력을 정답 데이터에 정렬하도록 학습함으로써 등록된 손실(registered loss)을 도입한다. 본 연구에서는 여러 관측 시점의 깊은 표현을 동시에 학습함으로써 저해상도 신호를 초해상도로 복원하고, 대규모 지구 관측 데이터를 향상시킬 수 있음을 입증한다. 본 연구의 접근법은 최근 유럽우주국(ESA)이 주관한 실제 위성 영상 기반 MFSR 경진대회에서 최우수 성과를 기록하며 선두를 달렸다.