基于粗到精稀疏Transformer的高光谱图像重建

针对编码孔径快照式光谱成像（Coded Aperture Snapshot Spectral Imaging, CASSI）的逆问题，即从二维压缩测量中恢复三维高光谱图像（Hyperspectral Images, HSIs），已有大量算法被提出。近年来，基于学习的方法展现出优异性能，并已成为主流研究方向。然而，现有的基于卷积神经网络（CNN）的方法在捕捉长距离依赖关系和非局部自相似性方面仍存在局限。此前的基于Transformer的方法通常对特征令牌（tokens）进行密集采样，其中部分令牌信息量较低，且在语义上无关的令牌之间仍需计算多头自注意力（Multi-Head Self-Attention, MSA），这与高光谱图像信号在空间上稀疏的特性不符，从而限制了模型的可扩展性。本文提出一种新型基于Transformer的重建方法——粗到细稀疏Transformer（Coarse-to-Fine Sparse Transformer, CST），首次将高光谱图像的稀疏性特征融入深度学习框架，用于高光谱图像重建。具体而言，CST引入了一种新型的谱感知筛选机制（Spectra-Aware Screening Mechanism, SASM），用于粗粒度图像块的选择；随后，将筛选出的图像块输入至我们自定义的谱聚类哈希多头自注意力模块（Spectra-Aggregation Hashing Multi-Head Self-Attention, SAH-MSA），以实现细粒度像素聚类与自相似性建模。大量实验结果表明，所提出的CST方法在重建性能上显著优于当前最先进的方法，同时具有更低的计算成本。相关代码与模型将开源发布于：https://github.com/caiyuanhao1998/MST