对比、注意和扩散以从脑活动解码高分辨率图像

通过功能磁共振成像（fMRI）记录的神经反应解码视觉刺激在认知神经科学和机器学习之间提供了一个引人入胜的交汇点，有望在理解人类视觉感知和构建非侵入式脑机接口方面取得进展。然而，由于fMRI信号的噪声特性和大脑视觉表征的复杂模式，这一任务极具挑战性。为了应对这些挑战，我们提出了一种两阶段的fMRI表征学习框架。第一阶段使用所提出的双重对比掩模自编码器（Double-contrastive Mask Auto-encoder）对fMRI特征学习器进行预训练，以学习去噪表征。第二阶段则在图像自编码器的指导下调整特征学习器，使其关注对视觉重建最有信息量的神经激活模式。优化后的fMRI特征学习器随后条件化一个潜在扩散模型，从大脑活动重建图像刺激。实验结果表明，我们的模型在生成高分辨率和语义准确的图像方面表现出色，在50类顶级语义分类准确性上比现有最佳方法提高了39.34%。我们的研究邀请进一步探索解码任务的潜力，并为非侵入式脑机接口的发展做出贡献。