摘要
具备高时间分辨率、低延迟和高动态范围的脉冲相机（spike camera），有效应对了高速成像中的运动模糊等挑战。该相机在每个像素上独立捕捉光子，生成富含时间信息的二进制脉冲流，但这类数据在图像重建方面仍具挑战性。当前的重建算法，无论是传统方法还是基于深度学习的方法，在利用脉冲流中丰富的时序细节以及恢复重建图像细节方面仍有待提升。为此，我们提出一种新型模型——Swin Spikeformer（SwinSF），用于从脉冲流中重建动态场景。SwinSF由脉冲特征提取模块、时空特征提取模块和最终重建模块构成，融合了移位窗口自注意力机制与所提出的时序脉冲注意力机制，实现了对空间与时间动态信息的全面特征提取，显著提升了脉冲流重建的鲁棒性与准确性。此外，我们构建了一个新的合成数据集，其分辨率与最新脉冲相机相匹配，确保该数据集与当前脉冲成像技术的发展保持高度相关性和实用性。实验结果表明，所提出的SwinSF网络在一系列数据集上均取得了当前最优性能，涵盖真实世界数据与合成数据，且适用于多种分辨率。该模型为脉冲成像领域的动态场景重建设立了新的基准。相关代码与所提出的数据集即将公开发布。