17 天前

一种轻量级循环聚合网络用于卫星视频超分辨率

{Manqi Zhao, Shengyang Li, Han Wang}
摘要

卫星视频的智能处理与分析已成为遥感图像表达领域的研究热点,其中卫星视频超分辨率(Satellite Video Super-Resolution, SVSR)作为关键研究方向,能够显著提升卫星视频的图像质量。然而,现有SVSR方法普遍未能充分挖掘卫星视频固有的一项重要优势:即其包含大量连续拍摄、覆盖同一场景的时序图像。目前,多数SVSR方法仅依赖有限数量的邻近帧来提升单帧分辨率,导致信息利用不充分,性能受限。针对上述问题,本文提出一种面向卫星视频超分辨率的循环聚合网络(Recurrent Aggregation Network for Satellite Video Super-Resolution, RASVSR)。该创新框架采用双向循环神经网络,实现从每一帧中提取的特征在整个视频序列中的跨帧传播。通过基于光流与可变形卷积(Deformable Convolution, DCN)的对齐方法,有效实现特征在时空维度上的精准对齐;同时引入时间特征融合模块(Temporal Feature Fusion Module, TFF),实现跨时间维度的高效特征融合。尤为重要的是,本研究强调了在SVSR中使用更长图像序列所带来的积极影响。在RASVSR框架下,得益于更优的特征对齐与融合机制,单帧的感知感受野可覆盖长达100帧的视频序列,从而获取更为丰富的上下文信息,并实现不同帧间信息的有效互补。该策略显著提升了模型性能,在保持参数量极低的前提下,相较现有方法实现了PSNR指标上高达1.15 dB的提升,充分验证了所提方法的优越性。