「我高兴地在北京市的天安门广场上看红色的国旗升起」
快速阅读一下这个句子,大家可能会发现,只需「我在天安门广场看升旗」几个字,就能概述我们需要的信息,也就是说,无需逐字逐句地阅读,抓住重点即可破译全部信息。那么,科学研究是不是也能如此呢?
受此启发,研究人员将人工智能 (AI) 与显微技术结合,训练 AI 主动识别样本中的关键特征,供研究者分析。不同于传统显微技术中对样本的全点式扫描,AI + 显微技术的方法彻底改变了研究人员获取样本数据的方式,显著加快实验进程,实现了微观层面的「快速阅读」。
作者 | 加零
编辑 | 雪菜、三羊
显微镜的原理是通过扫描样品产生空间分辨信号,收集信号进行分析,从而形成样品图像。随着仪器仪表技术的不断进步,显微镜的扫描速度和分辨率都有了很大提升。
但是,高分辨率的显微扫描实验有一些明显的缺点:产生的数据量庞大,且探针对样品的损伤也很大。以在 ≈10 nm 的分辨率下进行 1mm^3 体积的 X 射线成像为例,传统扫描方式会产生 10^15 体素的数据,并且需要相当大剂量的探针。
同时,样本中的大多区域信息密度低、可以直接忽略,反而是少部分的「边界、缺陷、特殊元素」区域包含丰富的信息量,需要重点研究。
精准定位信息密度大的关键区域,传统方法主要依赖经验丰富的操作员分析数据、指导探针扫描,这极大增加了工作量,拖慢实验进度。
那么,有没有可能引入 AI ,让它帮助研究者识别样本中的研究重点,加速数据采集和分析呢?
在 APS 进行自动暗场扫描显微实验的艺术图示
为此,美国阿贡国家实验室 (Argonne National Laboratory) 的研究人员开发了 FAST (Fast Autonomous Scanning Toolkit),它是一个快速自动扫描套件,与传统显微镜研究样本的全点式扫描不同,FAST 允许 AI 自动识别扫描的位置,从而高效精准的获取样本信息。目前相关成果已发表于「Nature Communications」。
相关成果已发表于「Advanced Science」
FAST 科研人员在模拟测试 (simulations) 及暗场 X 射线 (dark-field X-ray) 显微镜实验中,对 WSe2 film 进行了 FAST 扫描,结果表明,<25% 的 FAST 扫描就足以准确地成像并分析样本。
论文链接:
https://www.nature.com/articles/s41467-023-40339-1
FAST 所采用的算法不需要利用大型数据集开展训练,AI 可利用通用图像识别感兴趣的区域。
训练数据由 MIT Libraries,USC-SIPI Image Database 和 Scikit-image software package 公开提供的图像生成。
所用的测试图像示例
FAST 全称 Fast Autonomous Scanning Toolkit,它结合了 SLADS-Net 方法、路径优化技术以及高效且模块化的硬件控制,是一个快速自主扫描工具套件,可用于基于同步加速器的扫描显微镜 (synchrotron-based scanning microscopy) 的实时采样和扫描路径选择。
FAST 工作流程
A:一组准随机 (quasi-random) 初始测量值被传输到边缘设备,依次生成初始样本估计,计算下一个要测量的候选点 (candidate points),并计算出测量路径。新测量值与现有的测量值结合,计算新估计值,重复该过程直至达到完成标准。
B:候选点运算开始时会检查每个未被测量 point P(半径为 r)的局部邻域,已经测量过的点会高亮,从而生成 6 维特征向量。使用径向基核函数 (RBF) 内核将特征向量转换为 50 维向量,并作为多层神经网络 (NN) 的输入。接下来神经网络 (NN) 会通过测量 point P 对图像预期改进进行预测 (ERD) 。选择 ERD 最高的一组未测量像素,作为下次测量的候选。
FAST 的训练不依赖具体的样本数据,就可以动态测量和重构一个复杂的(非二进制)样本,这与现有的基于 SLADS 的工作流程有所不同。此外,与获取时间 (acquisition time) 相比,其计算成本可以忽略不计,即使运行在低功耗边缘计算设备(放在同步加速器束线)上也是如此,这对于更通用的自主实验技术而言具有显著优势。
这些特性使得 FAST 能够应用于 APS hard X-ray nanoprobe beamline 上现有的高精度纳米级扫描 X 射线显微镜仪器。
为了验证 FAST 的性能,研究人员将其与另外 3 种静态取样技术进行了对比实验。
实验对象:即测试数据集,为一张 600 × 400 像素的暗场图像,代表 24 万个可能的测量位置,覆盖 900 × 600 μm 的物理区域,并包含多片不同厚度的 WSe2 切片;
对比方式:3 种静态采样技术分别为栅格 (RG, Raster grid) 采样、均匀随机 (UR, Uniform random) 采样、低差异 (LDR, Low-discrepancy) 准随机采样;
实验过程:在相同的扫描覆盖率下,生成 FAST 、 RG 、 UR 和 LDR 采样重建图像。
对比一:
FAST 与静态采样重建图像对比
A :ground truth 图像,颜色刻度代表归一化强度
B-D:10% 扫描覆盖率下 RG 、 LDR 和 FAST 重建图像
结果显示:FAST 采样能够高保真地再现实验对象中边界、气泡和不同厚度水平之间的过渡区域。
对比二:
不同扫描覆盖率下 FAST 与静态采样方法性能对比
A:归一化平方平均数误差 (NRMSE) 随扫描覆盖率的变化,值越低性能越优;
B:结构相似性度量 (SSIM) 随扫描覆盖率的变化,值越高性能越优。
结果显示:FAST 采样效率高,在扫描覆盖率达到 27% 时,实现了稳定重建;静态取样的 3 种方法要达到同样的效果,则需要更长的时间。
对比三:
相同取样条件下,覆盖率 10% 时 FAST 及 2 种静态取样方法的实际测量位置
结果显示,FAST 重建结构相似性高,误差低。
未来可通过在 FAST 方法中使用更复杂的修复技术 (inpainting technique),来进一步改善结果。
以上 3 组对比结果显示:
FAST 优于静态采样技术。 FAST 会优先选择具有显著异质性的区域进行采样,而非均匀区域。这极大减少了在空白区域无效取样的时间,对稀疏样本特别有效。
在同步加速器光束线实验中,FAST 进一步展现了卓越性能。
此实验过程完全由 AI 自驱动进行,研究人员除启动 FAST 脚本外没有进行任何干扰。实验样本是变形的 WSe2 薄片,空间分辨率为 100 nm 。
FAST 扫描的演进
A 、 C 、 E :5% 、 15% 和 20% 扫描覆盖率下 FAST 重建暗场图像;
B 、 D 、 F :相应的实际测量点;
G :通过全网格逐点扫描(100% 覆盖率)获得的图像;
A-G:颜色刻度显示了归一化强度;
H:仅显示在 15%-20% 覆盖率之间的采样点。
上图显示,低扫描覆盖率的情况下,FAST 方法优先识别了一些异质性区域,如气泡的边缘;随着扫描覆盖率逐步上升,重建结果越发清晰,在 15%-20% 的扫描覆盖率之间重建图像达到稳定。
20% 扫描覆盖率下,FAST 可清晰、准确地复制全扫描图像中所有主要特征,同时帮助实验节省约 80 分钟 (≈65%) 的时间,大大提高了实验效率。
FAST 流程的优势不仅在提升显微数据采集效率,还在于广泛的应用范围。来自美国阿贡国家实验室的科学家 Tao Zhou 说「从 X 射线显微镜到电子显微镜再到原子探针显微镜,这种技术可以为任何需要二维扫描的显微镜研究赋能」。
未来,AI 技术也将在显微技术领域迎来更深入地应用。通过训练,AI 正逐步接手如自动化图像分析和识别、图像增强和重建、定量分析和疾病诊断等任务。
AI + 显微技术,朝着更清晰、更高效、更精准的未来走去,科学研究的边界也将不断拓宽。
参考链接:
[1]https://www.nature.com/articles/s41467-023-40339-1
[2]https://phys.org/news/2023-10-artificial-intelligence-scientists-self-driving-microscopy.html
[3]A Supervised Learning Approach for Dynamic Sampling