摘要
生成式深度学习催生了一波新的超分辨率（Super-Resolution, SR）算法，能够显著提升单张图像的视觉质量，尽管其生成的细节可能包含虚构内容。多帧超分辨率（Multi-frame Super-Resolution, MFSR）通过利用多幅低分辨率图像作为条件，为这一病态逆问题提供了更为稳健的解决方案，尤其适用于卫星遥感中对人类活动影响地球的监测任务——从森林砍伐到人权侵犯等，均依赖于可靠、高精度的影像数据。为此，我们提出HighRes-net，这是首个采用端到端方式学习MFSR各子任务的深度学习方法，包括：（i）联合配准（co-registration）、（ii）融合（fusion）、（iii）上采样（up-sampling），以及（iv）损失函数层面的配准（registration-at-the-loss）。低分辨率图像之间的联合配准通过一个参考帧通道隐式学习实现，无需显式的配准机制。我们设计了一个全局融合算子，可递归应用于任意数量的低分辨率图像对。此外，我们引入了一种受控配准损失（registered loss），通过ShiftNet学习将超分辨率输出与真实图像对齐。实验表明，通过深度学习多视角的联合表示，我们能够有效实现低分辨率信号的超分辨率重建，并在大规模地球观测数据增强中展现出卓越性能。该方法近期在欧洲航天局（ESA）举办的基于真实卫星影像的MFSR竞赛中脱颖而出，取得第一名的优异成绩。