9 天前
HDNet:用于光谱压缩成像的高分辨率双域学习
Xiaowan Hu, Yuanhao Cai, Jing Lin, Haoqian Wang, Xin Yuan, Yulun Zhang, Radu Timofte, Luc Van Gool

摘要
深度学习的快速发展为高光谱图像(HSI)的端到端重建提供了更优的解决方案。然而,现有的基于学习的方法仍存在两大缺陷:其一,采用自注意力机制的网络通常为平衡模型性能与复杂度而牺牲内部分辨率,导致细粒度高分辨率(HR)特征的丢失;其二,即便针对空间-光谱域学习(SDL)的优化能够收敛至理想解,重建的HSI与真实图像之间仍存在显著的视觉差异。为此,本文提出一种高分辨率双域学习网络(HDNet)用于HSI重建。一方面,所提出的高分辨率空间-光谱注意力模块通过高效的特征融合机制,能够生成连续且精细的像素级特征;另一方面,引入频域学习(FDL)以缩小重建结果与真实图像在频域上的差异。通过动态FDL监督机制,模型被强制恢复细粒度的频率信息,有效补偿由像素级损失带来的过度平滑与失真问题。HDNet中高分辨率像素级注意力与频域级特征精炼相互促进,显著提升了HSI的感知质量。大量定量与定性评估实验表明,本方法在模拟与真实HSI数据集上均达到了当前最优(SOTA)性能。相关代码与模型将开源发布于:https://github.com/caiyuanhao1998/MST