9 天前

端到端低成本压缩感知光谱成像中的空间-光谱自注意力机制

{Ziyi Meng, Xin Yuan, Jiawei Ma}
端到端低成本压缩感知光谱成像中的空间-光谱自注意力机制
摘要

编码孔径快照式光谱成像(Coded Aperture Snapshot Spectral Imaging, CASSI)是一种高效捕捉真实世界三维高光谱图像的工具。尽管已有大量研究聚焦于硬件设计与算法优化,本文进一步迈向低成本、具备视频级速率与高质量重建能力的解决方案。为在这一极具挑战性 yet 研究尚不充分的任务上取得实质性进展,我们复现了一个稳定的单色散器(Single Disperser, SD)CASSI系统,用于采集大规模真实世界CASSI数据,并提出一种新型深度卷积网络,通过引入自注意力机制实现实时重建。为同时捕捉高光谱图像中不同维度间的自注意力特性(即通道间的光谱相关性与非局部空间区域之间的关联),我们提出一种空间-光谱自注意力机制(Spatial-Spectral Self-Attention, TSA),该机制按顺序处理各维度,但保持对处理顺序的无关性。我们将TSA模块嵌入编码器-解码器网络结构中,构建出名为TSA-Net的模型,用于重建所需的三维光谱立方体。此外,我们系统研究了噪声对重建结果的影响,并提出在模型训练过程中引入散粒噪声(shot noise),显著提升了模型在真实数据上的表现。我们期望所构建的大规模CASSI数据集能成为未来研究的基准数据集,而所提出的TSA-Net模型可作为基于深度学习的重建算法中的基准模型。

端到端低成本压缩感知光谱成像中的空间-光谱自注意力机制 | 最新论文 | HyperAI超神经