HighRes-net: 다중 프레임 위성 영상의 슈퍼 해상도 재구성에 대한 재귀적 융합

생성적 딥 러닝은 인상적인 미적 결과를 내는 단일 이미지를 향상시키는 새로운 슈퍼 리졸루션(SR) 알고리즘의 파동을 일으켰습니다. 그러나 이러한 방법은 상상적인 세부 정보를 포함하기도 합니다. 다중 프레임 슈퍼 리졸루션(MFSR)은 여러 저해상도 뷰에 조건을 부여하여 이 문제에 대해 보다 실질적인 접근 방식을 제공합니다. 이는 지구에서 인간의 영향을 위성으로 모니터링하는 데 중요합니다 -- 삼림 파괴부터 인권 침해까지 -- 신뢰할 수 있는 이미지에 의존하는 분야입니다. 이를 위해 우리는 HighRes-net을 제시합니다. 이는 다중 저해상도 뷰의 하위 작업들을 엔드투엔드 방식으로 학습하는 첫 번째 딥 러닝 접근법입니다: (i) 공통 등록, (ii) 융합, (iii) 확대, 그리고 (iv) 손실 시점에서 등록(Registration-at-the-loss). 저해상도 뷰들의 공통 등록은 참조 프레임 채널을 통해 암시적으로 학습되며, 명시적인 등록 메커니즘이 필요하지 않습니다. 우리는 임의의 수의 저해상도 쌍에 재귀적으로 적용되는 전역 융합 연산자를 학습합니다. ShiftNet을 통해 SR 출력이 진실값(Ground-truth)과 정렬되도록 하는 등록된 손실(Registered loss)을 도입하였습니다. 우리는 다중 뷰의 깊은 표현을 학습함으로써 저해상도 신호를 슈퍼 리졸루션화하고 대규모로 지구 관측 데이터를 향상시킬 수 있음을 보였습니다. 우리의 접근법은 최근 실제 위성 이미지를 사용한 유럽 우주 기관(ESA)의 MFSR 경쟁에서 최고 성능을 달성하였습니다.