基于改进的深度图像先验与残差重建的高光谱全色锐化

高光谱图像全色锐化旨在将低分辨率高光谱图像（LR-HSI）与配准的全色图像（PAN）融合，生成兼具高光谱分辨率和高空间分辨率的增强型高光谱图像。近年来，基于深度卷积神经网络（ConvNets）的高光谱全色锐化方法取得了显著进展，其典型流程通常包含三个步骤：（1）对低分辨率高光谱图像进行上采样；（2）利用卷积神经网络预测残差图像；（3）通过将第一步的上采样结果与第二步的残差图像相加，得到最终融合的高光谱图像。近期方法引入了深度图像先验（Deep Image Prior, DIP），用于上采样低分辨率高光谱图像，因其无需依赖大规模数据集即可有效保留空间与光谱信息而备受关注。然而，我们观察到，若在传统的光谱域能量函数中引入额外的空间域约束，可进一步提升上采样后高光谱图像的质量。为此，我们定义空间域约束为预测的全色图像与真实全色图像之间的 $L_1$ 距离。为估计上采样后高光谱图像对应的全色图像，我们进一步提出了一种可学习的光谱响应函数（Spectral Response Function, SRF）。此外，我们注意到上采样后的高光谱图像与参考图像之间的残差图像主要包含边缘信息和极细微结构。为更准确地建模这些精细结构，本文提出一种新型的过完备网络结构——HyperKite，该网络通过在深层网络中限制感受野的扩展，聚焦于高层特征的学习。我们在三个高光谱图像数据集上进行了实验，结果表明，所提出的 DIP-HyperKite 方法在性能上优于当前最先进的全色锐化方法。相关代码、预训练模型以及最终融合结果将公开发布于 GitHub 仓库：https://github.com/wgcban/DIP-HyperKite.git。