基于掩码引导的谱域Transformer用于高效高光谱图像重建

高光谱图像（HSI）重建旨在从编码孔径快照式光谱成像（CASSI）系统中的二维测量数据中恢复出三维的空间-光谱信号。HSI在光谱维度上具有高度相似性和强相关性，建模光谱间的相互作用有助于提升重建性能。然而，现有的基于卷积神经网络（CNN）的方法在捕捉光谱维度上的相似性以及长程依赖关系方面存在局限。此外，CASSI系统中HSI信息受到编码孔径（物理掩模）的调制，但当前算法尚未充分挖掘该掩模对HSI复原的引导作用。为此，本文提出一种新型框架——掩模引导的光谱自注意力网络（Mask-guided Spectral-wise Transformer, MST）。具体而言，我们设计了一种光谱维度多头自注意力机制（Spectral-wise Multi-head Self-Attention, S-MSA），将每个光谱特征视为一个“令牌”（token），并在光谱维度上计算自注意力。同时，我们引入一种掩模引导机制（Mask-guided Mechanism, MM），引导S-MSA关注具有高保真光谱表征的空间区域。大量实验结果表明，所提出的MST在仿真与真实HSI数据集上均显著优于当前最先进的方法，且在计算和内存开销方面具有显著优势。代码与预训练模型已开源，地址为：https://github.com/caiyuanhao1998/MST/