2 个月前

基于迁移学习与PSRGAN的红外图像超分辨率

{Yongsong Huang; Zetao Jiang; Rushi Lan; Shaoqin Zhang; Kui Pi}
基于迁移学习与PSRGAN的红外图像超分辨率
摘要

近年来,单张图像超分辨率(Single Image Super-Resolution, SISR)领域的进展充分展现了深度学习在提升性能方面的强大能力。然而,由于红外(Infrared, IR)图像超分辨率任务中重新收集训练数据并重新训练模型成本高昂,导致可用于恢复红外图像的样本数量极为有限,这成为SISR领域面临的一项重要挑战。为解决该问题,本文首先提出一种渐进式超分辨率生成对抗网络(Progressive Super-Resolution Generative Adversarial Network, PSRGAN),该网络包含主路径与分支路径结构。在主路径中,采用深度可分离残差块(Depthwise Residual Block, DWRB)对红外图像特征进行有效表征;在分支路径中,则引入一种新型轻量级浅层知识蒸馏残差块(Shallow Lightweight Distillation Residual Block, SLDRB),用于提取 readily available 可见光图像的特征。此外,受迁移学习思想的启发,本文进一步提出一种多阶段迁移学习策略,用以弥合不同高维特征空间之间的差异,从而进一步提升PSRGAN的性能表现。最后,基于两个公开数据集的定量与定性评估结果表明,所提出的PSRGAN方法在超分辨率重建效果上优于现有的多种主流方法。