17일 전

경량화된 순환 집약 네트워크를 활용한 위성 영상 슈퍼해상도

{Manqi Zhao, Shengyang Li, Han Wang}
초록

위성 영상의 지능형 처리 및 분석은 원격 감지 표현 분야에서 연구의 핫스팟이 되었으며, 위성 영상 초해상도화(Satellite Video Super-Resolution, SVSR)는 위성 영상의 이미지 품질을 향상시키는 중요한 연구 방향이다. 그러나 기존의 SVSR 기법들은 위성 영상 고유의 중요한 장점인 일정한 장면을 지속적으로 촬영한 장시간 순차 영상 데이터를 충분히 활용하지 못하고 있다. 현재 대부분의 SVSR 방법은 단지 개별 프레임의 해상도 향상을 위해 제한된 수의 인접 프레임만을 사용하고 있어 정보 활용도가 최적화되지 못하고 있다. 이를 해결하기 위해 우리는 위성 영상 초해상도화를 위한 순환 집계 네트워크(RASVSR: Recurrent Aggregation Network for Satellite Video Super-Resolution)를 제안한다. 이 혁신적인 프레임워크는 양방향 순환 신경망을 활용하여 각 프레임에서 추출한 특징을 전체 영상 시퀀스에 걸쳐 전파한다. 특징 정렬에는 광류(optical flow) 기반의 방법과 변형 가능 컨볼루션(Deformable Convolution, DCN)을 결합하여 정확한 특징 정렬을 실현하고, 시간에 따른 효과적인 특징 융합을 위해 시간적 특징 융합 모듈(Temporal Feature Fusion Module, TFF)을 도입한다. 특히 본 연구는 긴 이미지 시퀀스를 SVSR에 활용할 때 나타나는 긍정적 영향을 강조한다. RASVSR에서는 정교한 정렬과 융합을 통해 각 프레임의 인지 범위를 영상 전체 100프레임에 걸쳐 확장함으로써 풍부한 정보를 획득하고, 서로 다른 프레임 간 정보가 상호 보완적 역할을 할 수 있도록 한다. 이러한 전략적 접근은 기존 방법 대비 뛰어난 성능을 달성하며, PSNR 측면에서 1.15dB의 두드러진 향상이 나타났으며, 파라미터 수는 매우 적다.