Command Palette

Search for a command to run...

20 天前

Brain-IT:通过Brain-Interaction Transformer从fMRI进行图像重建

Roman Beliy Amit Zalcher Jonathan Kogman Navve Wasserman Michal Irani

Brain-IT:通过Brain-Interaction Transformer从fMRI进行图像重建

摘要

从人的fMRI脑部记录中重建其视觉所见的图像,为非侵入性地窥探人类大脑提供了可能。尽管扩散模型的出现推动了该领域近期的进展,但现有方法在还原实际所见图像方面仍常缺乏准确性。我们提出“Brain-IT”——一种受大脑机制启发的方法,其核心为脑交互Transformer(Brain Interaction Transformer, BIT),通过实现功能相似脑体素簇之间的高效交互,有效应对这一挑战。这些功能簇在所有受试者中共享,可作为整合脑内及跨脑信息的基本单元。所有模型组件均在所有簇与受试者间共享,从而在数据量有限的情况下仍能实现高效训练。为指导图像重建,BIT预测两种互补的局部图像块级特征:(i) 高层语义特征,用于引导扩散模型生成与图像内容相符的语义信息;(ii) 低层结构特征,用于在扩散过程初始阶段提供图像的粗略布局。BIT的设计使得脑体素簇与局部图像特征之间能够实现信息的直接流动。基于上述原理,我们的方法能够从fMRI数据中实现对所见图像的高保真重建,在视觉效果和标准客观评价指标上均超越当前最先进(SotA)方法。此外,仅需一名新受试者1小时的fMRI数据,我们即可获得与现有方法在40小时完整数据上训练所得结果相媲美的性能。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Brain-IT:通过Brain-Interaction Transformer从fMRI进行图像重建 | 论文 | HyperAI超神经