退化感知的展开半洗牌Transformer用于光谱压缩成像

在编码孔径快照式压缩谱成像（Coded Aperture Snapshot Spectral Compressive Imaging, CASSI）系统中，高光谱图像（Hyperspectral Image, HSI）重建方法被用于从压缩测量中恢复空间-光谱信号。在现有算法中，深度展开（deep unfolding）方法展现出良好的性能，但仍面临两个关键问题：其一，这些方法未能从高度相关的CASSI系统中估计退化模式及病态程度，因而无法有效指导迭代学习过程；其二，现有方法主要基于卷积神经网络（CNN），在捕捉长程依赖关系方面存在局限。本文提出一种原理性的退化感知深度展开框架——退化感知展开框架（Degradation-Aware Unfolding Framework, DAUF），该框架能够从压缩图像和物理掩模中联合估计关键参数，并利用这些参数动态调控每一轮迭代过程。此外，本文设计了一种新型的半混洗Transformer（Half-Shuffle Transformer, HST），可在保持局部细节的同时有效建模非局部依赖关系。通过将HST模块嵌入DAUF框架，我们首次构建了基于Transformer的深度展开方法——退化感知展开半混洗Transformer（Degradation-Aware Unfolding Half-Shuffle Transformer, DAUHST），用于高光谱图像重建。实验结果表明，DAUHST在重建性能上显著优于当前最先进的方法，同时在计算开销和内存占用方面具有更低的成本。相关代码与模型将公开发布于：https://github.com/caiyuanhao1998/MST